OpenAI ابزار تشخیص تصاویر سوءاستفاده جنسی از کودکان و هشدارهای جدید ChatGPT را برای مقابله با محتوای آسیب‌زا معرفی کرد.

فهرست مطالب

شرکت OpenAI با معرفی ابزار تشخیص تصاویر سوءاستفاده از کودکان و افزودن هشدارها و محدودیت‌های جدید به ChatGPT، اقدامات خود را برای افزایش امنیت کودکان گسترش داد.

به گزارش سرویس هوش مصنوعی تک‌ناک، این اقدام در شرایطی انجام می‌شود که نگرانی‌ها درباره پیامدهای امنیتی استفاده از ابزارهای هوش مصنوعی افزایش یافته است.

این قابلیت‌ها شامل یک طبقه‌بند تصویری جدید برای شناسایی محتوای سوءاستفاده از کودکان، نمایش هشدار و اعمال مسدودیت‌های موقت برای جلوگیری از تولید یا دسترسی کاربران به محتوایی است که کودکان را در موقعیت‌های جنسی قرار می‌دهد. OpenAI همچنین دستورالعمل‌های تازه‌ای برای توسعه‌دهندگان منتشر کرده و مجموعه‌ای از ابزارها را در اختیار نهادهای مجری قانون قرار داده است.

ابزار جدید OpenAI برای شناسایی تصاویر سوءاستفاده جنسی از کودکان

OpenAI یک طبقه‌بند تصویری جدید توسعه داده است که می‌تواند تصاویر حاوی محتوای سوءاستفاده جنسی از کودکان، از جمله تصاویر تولیدشده با هوش مصنوعی، را شناسایی کند. این شرکت دسترسی برخی شرکت‌های منتخب به این ابزار را از طریق API و به‌صورت رایگان فراهم می‌کند.

این ابزار نشانه‌های بصری سوءاستفاده را در تصاویری که پیش‌تر مشاهده نشده‌اند، بررسی می‌کند و به هر تصویر امتیازی اختصاص می‌دهد. این امتیاز می‌تواند به کارشناسان در تشخیص و بررسی موارد احتمالی محتوای سوءاستفاده جنسی از کودکان کمک کند.

OpenAI اعلام کرد این طبقه‌بند را با همکاری مرکز ملی کودکان مفقودشده و مورد سوءاستفاده قرارگرفته (NCMEC) توسعه داده است. این شرکت همچنین برای فراهم کردن دسترسی به ابزار جدید با سازمان‌های Tech Coalition و ROOST همکاری می‌کند.

شرکت در آزمایش‌های اولیه با شرکای خود دریافت که این ابزار، در حالی همان تعداد تصاویر سوءاستفاده‌آمیز را شناسایی می‌کند، تعداد تصاویر علامت‌گذاری‌شده را ۴۸ درصد کاهش می‌دهد. این موضوع می‌تواند حجم کار کارشناسان بررسی‌کننده محتوا را کمتر کند. همچنین احتمال اینکه تصاویر شناسایی‌شده توسط این طبقه‌بند واقعاً حاوی محتوای سوءاستفاده‌آمیز باشند، دو برابر بیشتر است.

هشدارها و محدودیت‌های جدید در ChatGPT

OpenAI همچنین صفحه‌های هشدار جدیدی را به ChatGPT اضافه می‌کند تا مانع دسترسی کاربران به محتوایی شود که کودکان را در موقعیت‌های جنسی قرار می‌دهد.

ChatGPT هنگام مواجهه با درخواست‌های مرتبط، به کاربران هشدار می‌دهد و آن‌ها را به منابع تخصصی برای دریافت کمک و توقف رفتارهای آسیب‌زا هدایت می‌کند. این پلتفرم همچنین به‌عنوان یک اقدام هشداردهنده، حساب کاربر را به مدت ۲۴ ساعت تعلیق می‌کند.

ChatGPT پیش از این نیز محتوای سوءاستفاده از کودکان و درخواست‌های مرتبط با آن را مسدود می‌کرد. با این حال، OpenAI اعلام کرده است که تکرار چنین تخلف‌هایی می‌تواند به حذف دائمی حساب کاربری منجر شود.

این شرکت تأکید کرد که پیام‌ها و دستورالعمل‌های مربوط به این رفتارها را با همکاری سازمان‌ها و پژوهشگران تدوین کرده است. از جمله این همکاران می‌توان به سازمان Protect Children، بنیاد Lucy Faithfull و جوئل اسکنلان از دانشگاه تاسمانی اشاره کرد. اسکنلان به‌طور مستقل یک دوره آزمایشی از پیام‌های بازدارنده را ارزیابی کرده است.

دستورالعمل‌های تازه برای توسعه‌دهندگان و ابزارهای پلیس

تصویری از لوگوی شرکت OpenAI

OpenAI همچنین دستورالعمل‌هایی را برای توسعه‌دهندگان منتشر کرده است که از ابزارهای این شرکت استفاده می‌کنند. هدف این دستورالعمل‌ها، پیشگیری از تولید محتوای سوءاستفاده از کودکان، شناسایی چنین محتوایی و کمک به کاربران برای گزارش آن است.

این شرکت اعلام کرد که دستورالعمل‌های جدید در آزمایش‌های اولیه به تعدادی از توسعه‌دهندگان کمک کرده است تا ابزارهای حفاظت از کودکان را به محصولات خود اضافه کنند و برای گزارش محتوای سوءاستفاده‌آمیز به NCMEC ثبت‌نام کنند.

OpenAI در کنار این اقدامات، ابزارهای مبتنی بر هوش مصنوعی را نیز در اختیار نهادهای مجری قانون قرار می‌دهد تا به تحقیقات مرتبط با امنیت کودکان کمک کنند. این امکانات شامل افزونه‌های اختصاصی، ابزارهای تحقیقاتی و قابلیت تحلیل داده‌های پیچیده است. مدیران برنامه نیز دسترسی به این ابزارها را مدیریت می‌کنند.

این شرکت همچنین برای مأموران تحقیقاتی دوره‌های آموزشی برگزار می‌کند و راهنمایی عملی درباره نحوه استفاده از هوش مصنوعی در اختیار آن‌ها قرار می‌دهد.

افزایش فشارها بر OpenAI درباره امنیت کودکان

شرکت OpenAI در ماه‌های اخیر با چندین پرونده قضایی روبه‌رو شده است که در آن‌ها شاکیان، فناوری این شرکت را عامل آسیب به کاربران، به‌ویژه کودکان، دانسته‌اند.

سازمان غیرانتفاعی Common Sense Media که بر ایمنی فناوری برای کودکان و نوجوانان تمرکز دارد، فناوری OpenAI را برای نوجوانان دارای «ریسک غیرقابل‌قبول» توصیف کرده است.

در همین حال، برخی چت‌بات‌های هوش مصنوعی دیگر، به‌ویژه Grok، برای تولید تصاویر جنسی بدون رضایت افراد مورد استفاده قرار گرفته‌اند. گزارش‌ها همچنین به تولید چنین تصاویری از کودکان با استفاده از این ابزار اشاره کرده‌اند.

شرکت OpenAI طی ۱۲ ماه گذشته تغییرات متعددی را برای افزایش ایمنی محصولات خود اعمال کرده است. انتشار یک نقشه راه ایمنی، به‌روزرسانی دستورالعمل‌های محتوایی برای ممنوع کردن محتوای نامناسب، تنظیم مجدد مدل‌های هوش مصنوعی برای جلوگیری از تولید محتوای آسیب‌زا و عرضه نسخه ویژه ChatGPT برای نوجوانان از جمله این اقدامات بوده‌اند.