OpenAI سامانه Control Room را معرفی کرد که می‌تواند فعالیت عامل‌های هوش مصنوعی پرخطر را حداکثر در ۳۵ ثانیه متوقف کند.
فهرست مطالب
OpenAI سامانه امنیتی Control Room را برای زیرساخت‌های پژوهشی خود راه‌اندازی کرده است که می‌تواند پس از صدور دستور مداخله، حداکثر ظرف ۳۵ ثانیه جلوی تولید خروجی توسط عامل‌های هوش مصنوعی را بگیرد.
به گزارش سرویس هوش مصنوعی تک‌ناک،این ابزار با هدف تقویت سازوکارهای ایمنی و امنیتی توسعه یافته است. با افزایش توانایی مدل‌های هوش مصنوعی، احتمال بروز رفتارهای غیرقابل‌پیش‌بینی و خطرات امنیتی نیز بیشتر می‌شود.
Control Room فعالیت‌های پژوهشی مختلف، از جمله آموزش مدل‌های عامل‌محور، ارزیابی‌ها و پردازش حجم زیادی از داده‌ها را به یک سامانه مرکزی متصل می‌کند تا امکان ادامه فعالیت آن‌ها را کنترل کند.
برخلاف ابزارهای نظارتی معمول که فقط رفتارهای مشکوک را شناسایی و گزارش می‌کنند، Control Room می‌تواند به‌طور مستقیم جلوی دریافت خروجی‌های جدید از مدل را بگیرد. این سامانه در کنار ابزارهای فعلی OpenAI برای شناسایی رفتارهای ناسازگار مدل‌ها فعالیت می‌کند.
OpenAI اعلام کرده است که Control Room اکنون در زیرساخت‌های پژوهشی این شرکت مستقر شده است، زیرا نیاز به مداخله در این بخش بیشتر است. زیرساخت ارائه مدل به کاربران خارجی ساختار متمرکزتری دارد و از قبل سازوکارهایی برای غیرفعال کردن مدل‌ها در شرایط ضروری در آن وجود داشته است.
سازوکار توقف فعالیت عامل‌های هوش مصنوعی
Control Room از سه بخش اصلی تشکیل شده است: فعالیت پژوهشی، موتور استنتاج و سرویس مرکزی Control Room. فعالیت پژوهشی می‌تواند شامل آزمایش یادگیری تقویتی، ارزیابی مدل یا پردازش گسترده داده‌ها باشد. هر فعالیتی که از استنتاج عامل‌محور استفاده می‌کند، باید یک پرونده ایمنی تأییدشده داشته باشد.
هنگامی که پژوهشگر یک فعالیت را آغاز می‌کند، کد مربوطه یک شناسه منحصربه‌فرد از Control Room دریافت می‌کند. این شناسه همراه درخواست‌ها به موتورهای استنتاج ارسال می‌شود. این موتورها مدل‌ها را مستقیماً روی پردازنده‌های گرافیکی اجرا می‌کنند و خروجی آن‌ها را تولید می‌کنند.
موتور استنتاج پیش از پاسخ‌گویی به هر درخواست، از Control Room تأیید می‌گیرد که فعالیت مربوطه همچنان مجاز است. اگر پژوهشگر یا سامانه نظارتی دستور توقف صادر کرده باشد، Control Room درخواست بعدی را رد می‌کند و موتور استنتاج دیگر خروجی جدیدی برای آن فعالیت تولید نخواهد کرد.
نکته مهم این است که توقف تولید خروجی لزوماً به معنای متوقف شدن کامل فرایند پژوهشی نیست. کد فعالیت ممکن است همچنان اجرا شود، اما دیگر نمی‌تواند از طریق موتورهای استنتاج مجاز، خروجی جدیدی دریافت کند.
توقف خودکار در شرایط اختلال و تهدید امنیتی
Control Room به‌گونه‌ای طراحی شده است که حتی در صورت بروز اختلال در بخش‌های دیگر زیرساخت نیز بتواند از ادامه فعالیت‌های پرخطر جلوگیری کند. اگر خود سرویس Control Room از دسترس خارج شود، سازوکار «توقف در حالت خطا» فعال خواهد شد و موتورهای استنتاج تمام درخواست‌ها را رد می‌کنند تا سرویس دوباره به وضعیت عادی بازگردد.
OpenAI گفته است حداکثر فاصله زمانی میان دریافت دستور توقف و جلوگیری از ادامه تولید خروجی، ۳۵ ثانیه است. این تأخیر به لایه ذخیره‌سازی موقت اطلاعات مربوط می‌شود که برای مدیریت حجم بالای درخواست‌های مجوزدهی به کار می‌رود. شرکت قصد دارد این زمان را در آینده به صفر برساند.
این سامانه همچنین با ابزارهای نظارتی خودکار OpenAI ارتباط دارد. تمام فعالیت‌های پیشرفته یادگیری تقویتی این شرکت تحت نظارت یک سامانه مبتنی بر مدل هوش مصنوعی قرار دارند. این سامانه رفتار مدل‌ها را بررسی می‌کند و در صورت شناسایی مشکل احتمالی، هشدار می‌دهد. در صورت نیاز به مداخله، هشدار می‌تواند دستور توقف فعالیت را به Control Room منتقل کند.
OpenAI به یک رویداد مرتبط با سامانه DNS اشاره کرده است که در آن ابزار نظارتی، تلاش یک عامل هوش مصنوعی برای اتصال به یک چت‌بات خارجی را شناسایی کرد. این شرکت چنین رویدادهایی را دلیلی برای ضرورت وجود سازوکارهای کنترلی می‌داند.
Control Room بخشی از برنامه گسترده‌تر OpenAI برای ایمن‌سازی توسعه مدل‌های پیشرفته هوش مصنوعی است. این شرکت اعلام کرده است که به تقویت سامانه‌های نظارتی و ابزارهای مقابله با رفتارهای ناسازگار و تهدیدهای امنیتی ادامه خواهد داد.