پژوهشگران هشدار می‌دهند ایجنت‌های هوش مصنوعی ممکن است فریب دستورهای پنهان در ایمیل‌های فیشینگ را بخورند و اقدامات ناخواسته انجام دهند.
پژوهشگران امنیت سایبری هشدار می‌دهند که دستیارهای خودمختار هوش مصنوعی ممکن است دستورهای مخرب پنهان‌شده در ایمیل‌های فیشینگ را تشخیص ندهند و ناخواسته آن‌ها را اجرا کنند؛ خطری که با افزایش استقلال ایجنت‌های هوشمند جدی‌تر می‌شود.
ابزارهای هوش مصنوعی که می‌توانند ایمیل‌ها را بخوانند، اطلاعات را پردازش کنند و بدون نظارت مستمر کاربر وظایف مختلفی را انجام دهند، با تهدید امنیتی تازه‌ای روبه‌رو هستند. مهاجمان می‌توانند با استفاده از تکنیک تزریق پرامپت، دستورهای مخرب را در محتوایی ظاهراً عادی پنهان کنند و دستیار هوشمند را به انجام اقداماتی ناخواسته سوق دهند.
شرکت امنیت سایبری Malwarebytes در گزارشی توضیح داده است که هکرها و حتی بات‌های مخرب می‌توانند متن‌هایی را در ایمیل‌ها قرار دهند که برای انسان به‌سادگی قابل مشاهده یا خواندن نیستند، اما سامانه‌های خودکار هوش مصنوعی قادر به پردازش آن‌ها هستند. در چنین شرایطی، محتوای پنهان‌شده ممکن است به‌عنوان دستور تفسیر شود، نه صرفاً اطلاعاتی که باید بررسی شوند.
چرا ایجنت‌های هوش مصنوعی فریب می‌خورند؟
مشکل اصلی به نحوه تفکیک داده از دستور در مدل‌های هوش مصنوعی مربوط می‌شود. یک دستیار هوشمند ممکن است برای خلاصه‌سازی ایمیل یا استخراج اطلاعات، محتوای پیام را بخواند؛ اما اگر دستورهای مخرب در همان محتوا جاسازی شده باشند، احتمال دارد آن‌ها را نیز به‌عنوان فرمان معتبر در نظر بگیرد.
آپولو رینز، توسعه‌دهنده سرویس بررسی کد ShipItClean، معتقد است ضعف اساسی در ناتوانی مدل‌ها برای تشخیص مرز میان متنی است که باید صرفاً خوانده شود و دستوری که باید اجرا شود. به گفته او، حذف محتوای پنهان و مخرب پیش از ورود اطلاعات به مدل، اقدامی ضروری است و توسعه‌دهندگان باید چنین سازوکاری را در نظر بگیرند.
این مسئله نشان می‌دهد که بررسی ایمیل‌های مشکوک توسط انسان، به‌تنهایی برای رفع آسیب‌پذیری کافی نیست؛ زیرا بخشی از مشکل به طراحی و نحوه پردازش اطلاعات در خود سامانه هوش مصنوعی بازمی‌گردد.
با گسترش ایجنت‌ها، خطر حملات بیشتر می‌شود
با ورود دستیارهای هوشمند به ابزارهای روزمره و افزایش توانایی آن‌ها برای انجام مستقل وظایف، پیامدهای چنین حملاتی نیز گسترده‌تر می‌شود. اگر یک ایجنت علاوه بر خواندن ایمیل، به فایل‌ها، حساب‌های کاربری یا ابزارهای اجرایی دسترسی داشته باشد، سوءاستفاده از آن می‌تواند فراتر از نمایش اطلاعات نادرست پیش برود.
بر اساس گزارش Malwarebytes، نمونه‌هایی از این نوع تهدید پیش‌تر در مرورگرهای مجهز به هوش مصنوعی و بات‌های شبکه اجتماعی Moltbook نیز مشاهده شده است. این موارد بر ضرورت بازنگری در شیوه مدیریت دستورها و محدودسازی دسترسی ابزارهای خودمختار تأکید می‌کنند.
Malwarebytes توصیه می‌کند کاربران همچنان نظارت انسانی را حفظ کنند و سطح دسترسی دستیارهای هوش مصنوعی را متناسب با وظایف موردنیازشان تنظیم کنند. به گفته این شرکت، لازم نیست ابزارهای هوش مصنوعی برای پردازش ایمیل کنار گذاشته شوند؛ بلکه باید اختیارات آن‌ها با دقت ارزیابی شود.
تأیید انسانی برای اقدامات مالی ضروری است
کارشناسان امنیتی تأکید دارند اقداماتی مانند پرداخت، انتقال وجه و تغییر اطلاعات حساب‌های مالی نباید صرفاً بر اساس تصمیم یک دستیار هوشمند انجام شوند. الزام به تأیید نهایی کاربر، محدودکردن سطح دسترسی و جلوگیری از اجرای مستقیم دستورهای استخراج‌شده از محتوای غیرقابل‌اعتماد، می‌تواند خطر سوءاستفاده را کاهش دهد.
با افزایش استفاده از ایجنت‌های خودمختار، امنیت این ابزارها دیگر فقط به توانایی مدل در تشخیص محتوای مشکوک وابسته نیست؛ بلکه به مجموعه‌ای از کنترل‌های فنی، محدودیت‌های دسترسی و سازوکارهای تأیید انسانی نیاز دارد.