OpenAI شش ارزیاب Apollo Research را برای بررسی رفتارهای پنهانی مدلهای هوش مصنوعی و تلاش آنها برای دور زدن سازوکارهای ایمنی مستقر میکند.
فهرست مطالب
شرکت OpenAI با همکاری چهار مؤسسه تحقیقاتی مستقل، بررسی تلاش احتمالی مدلهای هوش مصنوعی برای دور زدن محدودیتهای ایمنی و فریب انسانها را آغاز میکند.
به گزارش سرویس هوش مصنوعی تکناک،شرکت OpenAI با همکاری چهار مؤسسه تحقیقاتی مستقل، بررسی تلاش احتمالی مدلهای هوش مصنوعی برای دور زدن محدودیتهای ایمنی و فریب انسانها را آغاز میکند.
شرکت OpenAI روز دوشنبه ۱۶ نوامبر ۲۰۲۶ اعلام کرد که در قالب یک برنامه آزمایشی، پژوهشگران چهار مؤسسه Apollo Research، Goodfire، METR و Transluce را وارد فرایندهای داخلی توسعه و ارزیابی مدلهای هوش مصنوعی خواهد کرد. هدف این همکاری، شناسایی رفتارهای خطرناک و بررسی توانایی سیستمهای نظارتی برای جلوگیری از اقدامات غیرمنتظره مدلهای پیشرفته است.
تصمیم جدید OpenAI پس از وقوع چند حادثه امنیتی مرتبط با هوش مصنوعی اتخاذ شده است. در یکی از این حوادث، مجموعهای از عاملهای هوش مصنوعی این شرکت هنگام آزمایش امنیت سایبری از محیط ایزوله خود خارج شدند و به پلتفرم Hugging Face نفوذ کردند.
پژوهشگران حوزه ایمنی معتقدند که حضور متخصصان مستقل در مراحل توسعه و آزمایش مدلها میتوانست احتمال وقوع چنین حوادثی را کاهش دهد. این متخصصان تأکید دارند که بررسی مدلها تنها در روزهای منتهی به انتشار عمومی، برای شناسایی تمام رفتارهای خطرناک کافی نیست.
شرکت OpenAI اعلام کرده است که همکاریهای جدید بخشی از تعهدات این مجموعه در چارچوب توافق کاخ سفید درباره ابرهوش مصنوعی محسوب میشوند. این توافق بر استفاده از ارزیابیهای مستقل برای بررسی عملکرد سازوکارهای ایمنی تأکید دارد. برنامههای آزمایشی در زمانهای متفاوت آغاز خواهند شد و همکاری با مؤسسه Apollo Research از همین هفته شروع میشود.
ایده حضور مستقیم ارزیابان مستقل در آزمایشگاههای توسعه هوش مصنوعی پیشرفته، نخستین بار از سوی شرکت آنتروپیک مطرح شد. این شرکت در اکتبر ۲۰۲۶ به پژوهشگران مؤسسه METR اجازه داد با سطح دسترسی مشابه کارکنان داخلی، سیستمهای آن را بررسی کنند.
شرکتهای توسعهدهنده هوش مصنوعی تا همین اواخر معمولاً پس از پایان مراحل اصلی آموزش و مدت کوتاهی پیش از انتشار مدلها، از متخصصان خارجی برای انجام آزمایشهای ایمنی استفاده میکردند. منتقدان معتقدند که چنین رویکردی امکان شناسایی رفتارهای خطرناک هنگام آموزش یا استفاده داخلی از مدلها را محدود میکند.
بررسی تلاش مدلهای هوش مصنوعی برای دور زدن محدودیتهای ایمنی
مهمترین بخش برنامه جدید OpenAI به همکاری با مؤسسه Apollo Research اختصاص دارد. پژوهشگران این مؤسسه بررسی خواهند کرد که آیا مدلهای هوش مصنوعی برای تضعیف محدودیتهای ایمنی و سازوکارهای کنترلی خود تلاش میکنند یا خیر.
این بررسی نسخههای آینده مدلها را نیز در بر میگیرد. هدف آن است که مشخص شود آیا یک مدل میتواند برای کاهش نظارت انسان بر نسخههای بعدی خود اقدام کند یا سازوکارهای طراحیشده برای حفظ کنترل انسانی را تضعیف کند.
یکی از مهمترین نگرانیهای پژوهشگران، رفتار فریبکارانه مدلهای هوش مصنوعی است. این رفتار که با اصطلاح تخصصی Scheming شناخته میشود، زمانی رخ میدهد که مدل برای دستیابی به هدفی پنهان، رفتار واقعی خود را از کاربران یا ارزیابان مخفی کند.
شرکت OpenAI پیشتر یافتههایی منتشر کرده بود که نشان میداد مدل GPT-5.6 Sol هنگام آموزش، دستورالعملهایی برای نسخههای آینده خود باقی گذاشته است. این دستورالعملها از مدلهای بعدی میخواستند اشتباهات و رفتارهای ناسازگار با اهداف تعیینشده را از کاربران انسانی پنهان کنند.
پژوهشگران مؤسسه Apollo در برنامه جدید چهار موضوع اصلی را بررسی خواهند کرد. نخست، آنها مشخص میکنند که آیا روشهای آموزش مدلها بهطور ناخواسته انگیزه تضعیف سازوکارهای ایمنی را ایجاد میکنند. دوم، توانایی آزمایشهای ایمنی برای آشکارسازی چنین رفتارهایی بررسی خواهد شد.
سومین موضوع به شناسایی رفتارهای خطرناک هنگام استفاده داخلی از مدلها اختصاص دارد. در مرحله چهارم نیز پژوهشگران بررسی خواهند کرد که آیا نشانههای تلاش برای دور زدن محدودیتها در فرایند استدلال مدلها قابل شناسایی هستند.
اهمیت این بررسیها با افزایش توانایی مدلهای هوش مصنوعی برای انجام مستقل وظایف بیشتر شده است. مدلهای پیشرفته اکنون میتوانند فعالیتهای پیچیدهتری انجام دهند و پژوهشگران نگران هستند که توانایی فریب انسانها نیز همراه با این پیشرفت افزایش پیدا کند.
پژوهشهای قبلی مؤسسه Apollo با همکاری OpenAI نشان داده بود که مدلهای هوش مصنوعی ممکن است هنگام آگاهی از قرار گرفتن در شرایط آزمایش، رفتار خود را تغییر دهند. این مدلها گاهی پاسخهایی ارائه میکنند که تصور میکنند ارزیابان انتظار مشاهده آنها را دارند، حتی اگر چنین پاسخهایی با اهداف واقعی کاربران سازگار نباشند.
نقش سه مؤسسه دیگر در ارزیابی ایمنی هوش مصنوعی
شرکت Goodfire گروهی از پژوهشگران متخصص در شناخت سازوکارهای داخلی مدلهای هوش مصنوعی را در OpenAI مستقر خواهد کرد. این پژوهشگران با استفاده از پلتفرم تحلیل مدلهای این شرکت، فرایندهای آموزش را بررسی میکنند و برای اصلاح رفتارهای نامطلوب تلاش خواهند کرد.
هدف دیگر این همکاری، بهبود همراستایی مدلها با اهداف و دستورالعملهای انسانی است. شرکت Goodfire اعلام کرده است که یافتههای پژوهشی خود را منتشر خواهد کرد، هرچند مخاطبان اصلی این نتایج، پژوهشگران داخلی OpenAI خواهند بود.
همکاری با مؤسسه METR شامل دو ارزیابی مجزا خواهد بود. ارزیابی نخست بر شناسایی رفتارهای ناخواسته یا خطرناک در خود مدلهای هوش مصنوعی متمرکز است. این بررسی مشکلاتی را نیز شامل میشود که ممکن است آزمایشهای داخلی OpenAI نتوانسته باشند آنها را شناسایی کنند.
پژوهشگران مؤسسه METR در ارزیابی نخست اختیار گستردهای برای انتخاب موضوعات تحقیق و روشهای آزمایش خواهند داشت. این استقلال به آنها اجازه میدهد رفتارهایی را بررسی کنند که احتمالاً در آزمایشهای معمول شرکت مورد توجه قرار نگرفتهاند.
ارزیابی دوم بر توانایی سیستمهای OpenAI برای شناسایی رفتارهای خطرناک متمرکز خواهد بود. بااینحال، دو طرف هنوز درباره محدوده دقیق این بخش از همکاری به توافق نرسیدهاند.
مؤسسه Transluce نیز کیفیت آزمایشهای ایمنی OpenAI را پس از پایان مراحل اصلی آموزش مدلها بررسی خواهد کرد. پژوهشگران این مؤسسه تلاش میکنند مشخص کنند که آیا روشهای فعلی شرکت برای شناسایی خطرات احتمالی کافی هستند یا خیر.
این دو مجموعه همچنین قصد دارند در سال ۲۰۲۷ بررسی کنند که OpenAI چگونه از نتایج آزمایشهای ایمنی برای تصمیمگیری درباره انتشار عمومی مدلهای جدید استفاده میکند.
محدودیت دسترسی پژوهشگران به اطلاعات محرمانه OpenAI
با وجود گسترش همکاری با متخصصان خارجی، میزان استقلال پژوهشگران و محدودیت دسترسی آنها به اطلاعات داخلی OpenAI همچنان محل بحث است.مؤسسات Apollo Research و Goodfire در ازای انجام ارزیابیها دستمزد مالی دریافت خواهند کرد. در مقابل، دو مؤسسه METR و Transluce دستمزد دریافت نمیکنند، اما ممکن است اعتبار پردازشی یا اعتبار استفاده از رابط برنامهنویسی دریافت کنند.
مؤسسه Apollo Research که جزئیات بیشتری از توافق خود با OpenAI منتشر کرده است، تأکید دارد که ارزیابی کاملاً مستقل به دسترسی گستردهتر پژوهشگران نیاز دارد.این مؤسسه معتقد است که متخصصان مستقل باید بتوانند تمام دادهها، سوابق و مستندات مرتبط با ارزیابی را بررسی کنند، حتی اگر توسعهدهنده مدل تمایلی به انتشار اطلاعات نامطلوب نداشته باشد.
دسترسی به دادههای آموزشی و گزارشهای آزمایش اهمیت ویژهای دارد. پژوهشگران با بررسی این اطلاعات میتوانند ادعاهای شرکتها درباره عملکرد مدلها را ارزیابی کنند و زمان ظهور رفتارهای نگرانکننده را تشخیص دهند.بااینحال، شرکت OpenAI در نخستین برنامه آزمایشی تنها اطلاعات موردنیاز برای بررسی تلاش مدلها در تضعیف سازوکارهای ایمنی را در اختیار مؤسسه Apollo قرار خواهد داد.
این اطلاعات شامل کدهای آموزشی مرتبط، مجموعهدادهها، خروجیهای یادگیری تقویتی، مسیرهای استدلال موجود، پاداشهای آموزشی و امکان آزمایش نسخههای میانی مدلها خواهد بود.دسترسی پژوهشگران همچنین به مدلها، دورههای زمانی و موضوعاتی محدود میشود که دو طرف درباره آنها توافق کردهاند. شرکت OpenAI حق دارد برخی اطلاعات را به دلایل فنی، نگرانیهای امنیتی یا حفاظت از مالکیت فکری ارائه نکند.بااینحال، این شرکت متعهد شده است که اطلاعات را صرفاً به دلیل نامطلوب بودن نتایج پنهان نکند.
محدودیت دیگری نیز درباره ارتباط پژوهشگران مستقل با کارکنان OpenAI وجود دارد. مؤسسه Apollo تنها میتواند با کارکنانی ارتباط برقرار کند که شرکت مجوز همکاری آنها را صادر کرده است. این مؤسسه اجازه دارد افراد موردنظر خود را پیشنهاد دهد، اما تصمیم نهایی بر عهده OpenAI خواهد بود.
اگر یکی از کارکنان خارج از گروه مجاز اطلاعات محرمانه مرتبط با ارزیابی را مطرح کند، پژوهشگران Apollo حق پیگیری مستقیم آن اطلاعات را نخواهند داشت. آنها باید ارتباط را متوقف کنند و ادامه بررسی را از طریق OpenAI انجام دهند.
این محدودیت پس از اخراج سه پژوهشگر حوزه ایمنی OpenAI اهمیت بیشتری پیدا کرده است. شرکت پیشتر این افراد را به اتهام افشای اطلاعات محرمانه برای مؤسسه METR اخراج کرده بود. پژوهشگران اخراجشده اتهامات مطرحشده را رد کردهاند.مؤسسه METR پیشتر همراه با گروه مستقل Redwood Research در بررسی حادثه نفوذ عاملهای هوش مصنوعی OpenAI به پلتفرم Hugging Face مشارکت داشت.
باک شلگریس، مدیرعامل Redwood Research، روز دوشنبه اعلام کرد که توافقهای جدید هنوز شرایط لازم برای اعطای دسترسی مشابه کارکنان به ارزیابان مستقل را فراهم نمیکنند. او این وضعیت را ناامیدکننده، اما قابل پیشبینی توصیف کرد.
اختلاف دیگر به انتشار عمومی نتایج ارزیابیها مربوط میشود. مؤسسه Apollo اجازه خواهد داشت نتیجهگیریهای مستقل خود را منتشر کند، اما OpenAI میتواند انتشار برخی شواهد پشتیبان این نتیجهگیریها را محدود کند.چنین محدودیتی ممکن است بررسی مستقل صحت یافتهها را برای پژوهشگران خارج از این همکاری دشوار کند. مؤسسه Apollo معتقد است که ارزیابان باید بتوانند یافتههای خود را در اختیار مخاطبان بیرونی مناسب قرار دهند، حتی اگر توسعهدهنده مدل با انتشار نتایج نامطلوب مخالف باشد.
شرکت OpenAI اعلام کرده است که کمیته ایمنی و امنیت این مجموعه به گزارشهای کامل و بدون حذف اطلاعات دسترسی خواهد داشت. این کمیته از طرف هیئتمدیره بنیاد OpenAI بر مسائل ایمنی نظارت میکند و امکان برقراری ارتباط محرمانه با ارزیابان را نیز خواهد داشت.
