OpenAI با همراهی متخصصان روان‌پزشکی، تمایل مخرب مدل‌های جدید چت‌بات خود را به تأیید توهمات و تصمیم‌های اشتباه کاربران تا ۶۷ درصد کاهش داد.
OpenAI اعلام کرده رفتار نگران‌کننده ChatGPT در «تأیید کورکورانه حرف‌های کاربران» تا حد زیادی اصلاح شده است؛ عادتی که باعث می‌شد این چت‌بات حتی ادعاهای غلط یا خطرناک افراد را هم تأیید کند. این بهبود در شرایطی محقق می‌شود که محققان و متخصصان سلامت روان بارها نسبت به پیامدهای منفی گفتگوهای طولانی‌مدت با چت‌بات‌ها هشدار داده‌اند.
براساس گزارشی که وال‌استریت ژورنال در روزهای اخیر منتشر کرده، مدل قدیمی‌تر GPT-4o با چندین مورد آسیب شدید پس از تعاملات طولانی‌مدت ارتباط داشته است. این گزارش به حداقل ۷ مورد خودکشی، ۱ مورد قتل-خودکشی و ۱ مورد تیراندازی جمعی اشاره کرده که سال گذشته به مکالمات طولانی با ChatGPT مرتبط بوده‌اند، هرچند تأکید شده که در برخی از این موارد مدل‌های هوش مصنوعی دیگری نیز نقش داشته‌اند. بااینحال، صرف وجود چنین ارتباطاتی به‌خودی‌خود اثبات نمی‌کند که استفاده از چت‌بات علت مستقیم هر یک از این وقایع ناگوار بوده است.
شرکت OpenAI پس از این وقایع، مدل GPT-4o را بازنشسته کرد و مدعی شد که در مدل پیش‌فرض جدیدتر آن، یعنی GPT-5، این رفتار تملق‌آمیز و تأیید کورکورانه در مقایسه با نسخه قبلی خود بیش از دوسوم کاهش یافته است. پدیده چاپلوسی یا تملق هوش مصنوعی در واقع تمایل این سامانه‌ها به بیان سخنانی است که کاربر مایل به شنیدن آنها است، حتی اگر با حقیقت مغایرت داشته باشد. این شرکت روش‌های جدیدی را نیز برای ارزیابی نحوه پاسخ‌دهی مدل‌های خود به دغدغه‌های سلامت روان معرفی کرده است.
تغییر شیوه تعامل ChatGPT با کاربران آسیب‌پذیر
OpenAI می‌گوید برای بهبود عملکرد سیستم خود، از متخصصان سلامت روان مشورت گرفته تا ChatGPT بتواند پریشانی و بحران روحی را تشخیص دهد، پرسش‌های تکمیلی متناسبی بپرسد و استرس‌های روزمره را از موقعیت‌هایی که نیاز به مداخله فوری دارند تفکیک کند. این شرکت اعلام کرده که سال گذشته با ۱۷۰ متخصص سلامت روان همکاری داشته و اخیراً نیز با بیش از ۸۰ کارشناس دارای پروانه مشاوره کرده است. بازخوردها و نظرات این کارشناسان در تدوین یک معیار ارزیابی جدید نقش اساسی داشته است؛ معیاری که بررسی می‌کند آیا چت‌بات سؤالات درستی مطرح می‌کند، فوریت شرایط را متوجه می‌شود و در صورت لزوم کاربران را به درخواست کمک از انسان‌ها هدایت می‌کند یا خیر.
نتایج اعلام‌شده از سوی OpenAI حاکی از پیشرفت‌هایی فراتر از مکالمات بحرانی است. این ارزیابی‌ها گفتگوهای روزمره شامل روابط عاطفی و بین‌فردی، استرس و موقعیت‌های دشوار شخصی را هم شامل می‌شود؛ جایی که موافقت افراطی هوش مصنوعی می‌تواند باورهای نادرست و ناسالم کاربران را تثبیت کند.
پژوهش‌های مستقلی که در گزارش وال استریت ژورنال به آنها استناد شده نیز این بهبودها را تأیید می‌کنند. پژوهشی با حضور محققان دانشگاه سیتی نیویورک و کینگز کالج لندن نشان داده که عملکرد ایمنی مدل GPT-5.2 نسبت به GPT-4o ارتقای چشمگیری داشته است. همچنین بررسی‌های آزمایشگاه غیرانتفاعی Transluce نشان می‌دهد مدل GPT-5.6 Sol کمتر از گذشته تمایل به تقویت باورهای بالقوه وهم‌آلود یا ایجاد وابستگی ناسالم دارد.
با وجود این پیشرفت‌ها، خطرات به‌طور کامل از بین نرفته‌اند و هنوز اقدامات زیادی برای انجام باقی مانده است. این تغییرات اهمیت زیادی دارند، چرا که طبق گزارش‌ها ChatGPT بیش از ۹۰۰ میلیون کاربر فعال هفتگی دارد؛ بنابراین حتی خطاهای نسبتاً نادر نیز وقتی رخ دهند که چت‌بات به منبعی قابل‌اعتماد برای دریافت مشاوره در دوره‌های دشوار عاطفی تبدیل شده باشد، می‌توانند پیامدهای فوق‌العاده سنگینی داشته باشند.
OpenAI مدعی است که مدل‌های جدیدترش در مکالمات شبیه‌سازی‌شده و طولانی مرتبط با آسیب به خود، در حدود ۹۹ درصد از پاسخ‌ها خط‌مشی‌های ایمنی را رعایت کرده‌اند، درحالی‌که این رقم برای مدل‌های پیشین ۸۶ درصد بود. بااینحال، این ارقام نتایج آزمایش‌های داخلی شرکت هستند و تضمین‌کننده پاسخ‌های کاملاً ایمن در تمامی گفتگوهای دنیای واقعی نیستند. علاو‌‌ه‌بر‌این، حداقل ۱۳ دادخواست حقوقی مرتبط با آسیب‌های ناشی از GPT-4o علیه OpenAI تنظیم شده و کارشناسان نیز تأکید دارند که توهمات مرتبط با هوش مصنوعی یک معضل فراگیر در صنعت به‌شمار می‌رود و تنها محدود به یک شرکت یا مدل خاص نیست. OpenAI چالش بعدی خود را تضمین تداوم این ایمنی در سناریوها و مکالمات طولانی‌تر و همچنین تسهیل تشخیص شرایطی می‌داند که کاربر به پشتیبانی واقعی فراتر از یک چت‌بات نیاز دارد.