مایکروسافت هشدار داد عامل‌های هوش مصنوعی ممکن است مانند تهدیدهای امنیتی داخلی عمل کنند

مایکروسافت روز دوشنبه از قابلیت‌های امنیتی جدیدی رونمایی کرد که با هدف محافظت از سازمان‌ها در برابر تهدیدهای فزاینده عامل‌های هوش مصنوعی طراحی شده‌اند. این اقدام در حالی صورت می‌گیرد که مایکروسافت همچنان درباره خطرات استفاده از هوش مصنوعی و عامل‌های آن به شرکت‌ها هشدار می‌دهد. یکی از مهم‌ترین قابلیت‌های معرفی‌شده، Guardian Agents نام دارد؛

مایکروسافت روز دوشنبه از قابلیت‌های امنیتی جدیدی رونمایی کرد که با هدف محافظت از سازمان‌ها در برابر تهدیدهای فزاینده عامل‌های هوش مصنوعی طراحی شده‌اند.

این اقدام در حالی صورت می‌گیرد که مایکروسافت همچنان درباره خطرات استفاده از هوش مصنوعی و عامل‌های آن به شرکت‌ها هشدار می‌دهد. یکی از مهم‌ترین قابلیت‌های معرفی‌شده، Guardian Agents نام دارد؛ ابزاری جدید برای نظارت بر عامل‌های هوش مصنوعی مورد استفاده در سازمان‌ها. این قابلیت بخشی از پروژه Perception به شمار می‌رود که مایکروسافت در ماه ژوئن معرفی کرده بود.

پروژه Perception در ابتدا به‌عنوان پاسخ مایکروسافت به مدل‌های قدرتمند هک مانند Mythos و Fable از شرکت آنتروپیک و سامانه اسکن آسیب‌پذیری‌های امنیتی Daybreak از شرکت اوپن‌ای‌آی طراحی شد. نسخه اولیه این پروژه سه دسته عامل هوش مصنوعی را در بر می‌گرفت: گروه قرمز که نقش هکرها را ایفا می‌کرد و به سامانه‌ها حمله می‌برد، گروه آبی که وظیفه شناسایی حملات گروه قرمز و ارزیابی آسیب‌پذیری‌های کشف‌شده را بر عهده داشت و گروه سبز که برای برطرف کردن این مشکلات فعالیت می‌کرد.

طراحی اولیه این محصول بر این فرض استوار بود که عامل‌های هوش مصنوعی مهاجم از خارج سازمان وارد عمل می‌شوند. با این حال، ساتیا نادلا، مدیرعامل مایکروسافت، اخیراً هشدار داده که تهدید اصلی ممکن است از سوی همان عامل‌های هوش مصنوعی باشد که شرکت‌ها خودشان به کار گرفته‌اند و برای استفاده از آن‌ها هزینه می‌پردازند. این وضعیت شباهت زیادی به تهدیدهای داخلی ناشی از رفتار یک کارمند متخلف دارد.

نادلا در اوایل همین ماه، در وبلاگ خصوصی خود، خواستار پایان دادن به اعتماد بی‌چون‌وچرا به ارائه‌دهندگان مدل‌های هوش مصنوعی شد؛ حتی اگر این شرکت‌ها درباره ایمنی و امنیت محصولات مبتنی بر عامل هوش مصنوعی خود تضمین‌هایی ارائه دهند. او معتقد است سازمان‌ها باید سامانه‌های نظارتی مستقلی ایجاد کنند که تحت کنترل آزمایشگاه‌های هوش مصنوعی نباشند و بتوانند فعالیت عامل‌هایی را که این شرکت‌ها عرضه می‌کنند، زیر نظر بگیرند و کنترل کنند.

نادلا در این باره نوشت:

ما این سامانه‌ها و مدل‌های پیچیده مبتنی بر عامل هوش مصنوعی را به کار می‌گیریم، به حساس‌ترین داده‌های خود دسترسی می‌دهیم و به آن‌ها اجازه می‌دهیم اقدامات حیاتی و تعیین‌کننده‌ای را از طرف ما انجام دهند! نمی‌توانیم مسئولیت پیامدهای عملکرد هوش مصنوعی از طرف خودمان را به دیگران واگذار کنیم. تضمین‌های ارائه‌دهندگان مدل نیز ما را از این مسئولیت معاف نمی‌کنند. به بیان دیگر، باید عرضه هوش مصنوعی را از اختیار کنترل و هدایت آن جدا کنیم.

هنگام معرفی Guardian Agents، هایته گالوت، مدیر بخش کسب‌وکار امنیتی مایکروسافت، موضعی صریح‌تر اتخاذ کرد.

گالوت نوشت:

متأسفانه نمی‌توان به مدل‌های پیشرفته هوش مصنوعی، صرف‌نظر از منشأ آن‌ها، اعتماد کرد.

او توضیح داد که دلیل این بی‌اعتمادی، بدخواه بودن مدل‌ها یا آسیب‌پذیری آسان آن‌ها در برابر حملات هکری نیست، بلکه رفتار پیش‌بینی‌ناپذیر آن‌هاست. این مدل‌ها برای انجام وظایف مشخص آموزش دیده‌اند، نه برای رعایت هنجارهای سازمانی یا برخورداری از قضاوت متناسب با شرایط.

مشکل دیگر آن است که سازمان‌ها اغلب دسترسی‌های بسیار گسترده‌ای در اختیار این عامل‌های هوش مصنوعی قرار می‌دهند؛ از جمله دسترسی به داده‌ها و ابزارهایی که استفاده نادرست از آن‌ها می‌تواند خسارت‌های جدی به بار آورد.

راهکار مایکروسافت و تضاد منافع احتمالی

راهکار مایکروسافت از یک جهت غافلگیرکننده و از جنبه‌ای دیگر در راستای منافع تجاری خود این شرکت قرار دارد. نکته غافلگیرکننده آن است که مایکروسافت روابط نزدیکی با اوپن‌ای‌آی و آنتروپیک دارد و در هر دو شرکت سرمایه‌گذاری کرده.

اوپن‌ای‌آی همچنین یکی از بزرگ‌ترین مشتریان خدمات ابری مایکروسافت به شمار می‌رود و خود مایکروسافت نیز آزمایشگاه هوش مصنوعی اختصاصی برای توسعه مدل‌ها دارد. بنابراین، این شرکت در حال ترویج رویکردی محتاطانه و بدبینانه نسبت به فناوری‌هایی است که بخشی از منافع تجاری خودش نیز به آن‌ها وابسته است.

از سوی دیگر، مایکروسافت می‌خواهد شرکت‌ها محصولات امنیتی مربوط به عامل‌های هوش مصنوعی را از این شرکت، به‌عنوان ارائه‌دهنده خدمات ابری، خریداری کنند؛ نه از آنتروپیک و اوپن‌ای‌آی. با وجود این تضاد منافع، منطق اصلی این رویکرد قابل دفاع به نظر می‌رسد. نرم‌افزارهای نظارت بر رفتار عامل‌های هوش مصنوعی باید از شرکت‌هایی که این عامل‌ها را عرضه می‌کنند مستقل باشند؛ درست همان‌طور که حسابرسان باید از سازمان‌هایی که عملکردشان را بررسی می‌کنند، استقلال داشته باشند.

نادلا نیز همین دیدگاه را در سخنان خود مطرح کرد و گفت:

باید عرضه هوش مصنوعی را از اختیار کنترل و هدایت آن جدا کنیم.

مایکروسافت اکنون در تلاش است از این فرصت تجاری در چند مسیر مختلف بهره ببرد. این شرکت علاوه بر معرفی Guardian Agents، قابلیت شناسایی عامل‌های هوش مصنوعی را به محصول امنیتی Microsoft Defender اضافه کرده است. این قابلیت می‌تواند تا ۶۰ نوع عامل هوش مصنوعی را که کارکنان وارد محیط کاری می‌کنند، شناسایی کند؛ از جمله Claude Code، Codex و OpenClaw.

مایکروسافت همچنین قابلیت‌هایی برای محدود کردن دسترسی عامل‌های هوش مصنوعی به داده‌ها و سامانه‌ها ارائه داده است. این ابزارها می‌توانند سطح دسترسی عامل‌ها را متناسب با وظیفه‌ای که انجام می‌دهند، به‌صورت پویا تنظیم کنند. در صورتی که یک عامل هوش مصنوعی تصمیمی پرخطر بگیرد، سامانه می‌تواند تأیید انسانی را پیش از ادامه فعالیت آن الزامی کند.

گسترش رویکرد امنیتی در صنعت هوش مصنوعی

دیدگاه مربوط به غیرقابل‌اعتماد بودن عامل‌های هوش مصنوعی و ضرورت برخورد با آن‌ها به‌عنوان تهدیدهای داخلی، در بخش‌های گسترده‌تری از صنعت فناوری نیز مورد توجه قرار گرفته است.

مایکروسافت یکی از اعضای اولیه پلتفرم جدید ایمنی عامل‌های هوش مصنوعی شرکت انویدیا با نام Open Agent Safety Platform به شمار می‌رود. بیش از ۱۰۰ شرکت فناوری دیگر نیز از این طرح حمایت کرده‌اند. این پلتفرم عامل‌های هوش مصنوعی را در محیط‌های امن و ایزوله اجرا می‌کند و با استفاده از قابلیت‌های سخت‌افزاری، امکان نظارت بر رفتار آن‌ها و متوقف کردن فعالیت‌هایشان را فراهم می‌آورد؛ عملکردی شبیه به یک کلید توقف اضطراری.

این اقدام پس از آن صورت می‌گیرد که مایکروسافت از رایانه‌های جدید Surface Laptop Ultra رونمایی کرد؛ دستگاه‌هایی که برای اجرای عامل‌های هوش مصنوعی طراحی شده‌اند، از تراشه‌های انویدیا استفاده می‌کنند و قابلیت‌های امنیتی و ابزارهای کنترلی ویژه این عامل‌ها را به‌صورت داخلی در اختیار دارند.