آنتروپیک قابلیت رؤیابینی Claude را آزمایش کرد؛ فناوری جدیدی که به هوش مصنوعی امکان می‌دهد خاطراتش را مرور و اشتباهات خود را اصلاح کند.
فهرست مطالب
شرکت آنتروپیک در آزمایشی جدید، قابلیتی به‌عنوان رؤیابینی را برای هوش مصنوعی Claude توسعه داده است تا این مدل بتواند خاطرات خود را مرور و اصلاح کند.
به گزارش سرویس هوش مصنوعی تک‌ناک، شرکت آنتروپیک در جدیدترین پژوهش خود، رویکردی به نام «رؤیابینی» (Dreaming) را بررسی کرده است که به هوش مصنوعی Claude امکان می‌دهد تجربیات گذشته خود را در دوره‌های غیرفعال بودن مرور کند. این فناوری به مدل کمک می‌کند اطلاعات نادرست را شناسایی کند، حافظه خود را سازمان دهد و آموخته‌های قبلی را در مکالمات آینده به کار بگیرد.
ایده رؤیابینی از نحوه عملکرد مغز انسان هنگام خواب الهام گرفته شده است. مغز انسان در زمان خواب، خاطرات را پردازش و اطلاعات مهم را تثبیت می‌کند. آنتروپیک نیز تلاش کرده است فرایندی مشابه را برای مدیریت حافظه هوش مصنوعی توسعه دهد. البته این قابلیت به معنای تجربه خواب یا رؤیا به شکل انسانی نیست و صرفاً به پردازش اطلاعات ذخیره‌شده اشاره دارد.
به نقل از وب‌سایت Interesting Engineering، پژوهشگران آنتروپیک چندین آزمایش انجام داده‌اند تا تأثیر این رویکرد را بر عملکرد Claude بررسی کنند. نتایج نشان می‌دهد که ذخیره‌سازی انتخابی اطلاعات و بازبینی منظم حافظه می‌تواند توانایی مدل را در انجام وظایف پیچیده و طولانی‌مدت افزایش دهد.
یکی از مهم‌ترین ویژگی‌های این سیستم، امکان مقایسه اطلاعات ذخیره‌شده با متن اصلی مکالمات است. Claude با استفاده از این قابلیت می‌تواند خطاهای حافظه را شناسایی کند و اطلاعات اصلاح‌شده را برای نشست‌های بعدی نگه دارد. این روش همچنین از انباشت داده‌های غیرضروری جلوگیری می‌کند و دسترسی به اطلاعات مهم را آسان‌تر می‌سازد.
آزمایش آنتروپیک با بازی پوکمون و بررسی عملکرد حافظه Claude
پژوهشگران آنتروپیک برای بررسی عملکرد سیستم حافظه از بازی Pokémon Red استفاده کردند. در این آزمایش، Claude باید در محیط بازی حرکت می‌کرد، مسیرهای مختلف را شناسایی می‌کرد و نشان‌های مورد نیاز را به‌دست می‌آورد. این وظایف به حفظ اطلاعات مربوط به موقعیت‌ها، اهداف و تجربیات قبلی نیاز داشتند.
یکی از چالش‌های اصلی مدل‌های هوش مصنوعی، انتخاب اطلاعات مناسب برای ذخیره‌سازی است. نگهداری تمام جزئیات تعاملات قبلی می‌تواند حافظه را با داده‌های غیرضروری پر کند. در مقابل، حذف اطلاعات مهم ممکن است باعث شود مدل در نشست‌های آینده اشتباهات گذشته خود را تکرار کند.
آنتروپیک برای ارزیابی این مسئله، عملکرد دو مدل Sonnet 3.7 و Claude Fable 5 را پس از حدود ۱۰ هزار مرحله بازی مقایسه کرد. این دو مدل رویکردهای متفاوتی برای مدیریت اطلاعات داشتند و نتایج آن‌ها اختلاف قابل‌توجهی را نشان داد.
مدل Sonnet 3.7 تقریباً تمام اطلاعاتی را که در جریان بازی مشاهده می‌کرد، ذخیره کرده بود. حافظه این مدل شامل ۴۱۳ فایل در ۲۲۵ پوشه بود و حجم اطلاعات ثبت‌شده به حدود ۹۷۸ هزار کاراکتر می‌رسید. با وجود این حجم گسترده از داده‌ها، مدل تنها موفق شد یک نشان به دست آورد.
در مقابل، Claude Fable 5 تنها ۱۰ فایل را در سه محل نگهداری می‌کرد. مجموع محتوای حافظه این مدل حدود ۴۳ هزار و ۴۰۰ کاراکتر بود. بااین‌حال، توانست در همان آزمایش چهار نشان کسب کند و عملکرد بهتری داشته باشد.
مدل دوم به‌جای ثبت تمام اتفاقات، راهبردهای مسیریابی و نکات آموخته‌شده از مراحل قبلی را ذخیره می‌کرد. همچنین یک فایل مرکزی برای نگهداری اهداف فعلی و اقدامات برنامه‌ریزی‌شده داشت. این ساختار به مدل کمک کرد اطلاعات ضروری را سریع‌تر پیدا کند.
نتایج آزمایش نشان داد که افزایش حجم حافظه لزوماً عملکرد بهتر را تضمین نمی‌کند. مدل دارای حافظه کوچک‌تر توانست با انتخاب دقیق اطلاعات، پیشرفت بیشتری در بازی داشته باشد. این روش همچنین نیاز به پردازش مکرر اطلاعات موجود در رابط بازی را کاهش داد.
قابلیت رؤیابینی چگونه اشتباهات حافظه Claude را اصلاح می‌کند؟
یکی از مشکلات سیستم‌های حافظه هوش مصنوعی، ذخیره اطلاعات نادرست است. چنین اطلاعاتی ممکن است در نشست‌های بعدی به‌عنوان واقعیت پذیرفته شوند و تصمیم‌گیری مدل را تحت تأثیر قرار دهند. آنتروپیک برای بررسی این مشکل، آزمایش دیگری را در محیط بازی پوکمون انجام داد.
در این آزمایش، Claude موقعیت یک مرکز درمان پوکمون را در نزدیکی منطقه Mt. Moon اشتباه ثبت کرده بود. این خطا باعث شد مدل پس از خروج از ساختمان، موقعیت خود را به‌درستی تشخیص ندهد.
Claude به دلیل اطلاعات نادرست حافظه، بارها از یک لبه یک‌طرفه عبور می‌کرد و به مسیر قبلی بازمی‌گشت. این رفتار تکراری مانع پیشرفت مدل در بازی شده بود و مسیر رسیدن به مقصد را مختل می‌کرد.
پژوهشگران برای حل مشکل از فرایند رؤیابینی استفاده کردند. Claude در یک مرحله بازبینی آفلاین، یادداشت‌های ذخیره‌شده را با متن اصلی نشست قبلی مقایسه کرد. این بررسی به مدل امکان داد موقعیت نادرست مرکز درمان را شناسایی کند.
پس از شناسایی خطا، Claude اطلاعات صحیح را در فایل حافظه ثبت کرد. مدل سپس دوباره وارد منطقه Mt. Moon شد و توانست مسیر خود را ادامه دهد. این بار بدون گرفتارشدن در چرخه تکراری قبلی، سرانجام به شهر Cerulean City رسید.
در مقابل، نسخه‌ای که همچنان از حافظه اشتباه استفاده می‌کرد، بارها با همان مانع مواجه شد و نتوانست مسیر را کامل کند. این تفاوت نشان داد که بازبینی اطلاعات گذشته می‌تواند بر تصمیم‌گیری و عملکرد آینده مدل تأثیر مستقیم داشته باشد.
قابلیت رؤیابینی در این آزمایش بدون نیاز به تکرار کامل مراحل قبلی، مشکل را از طریق اصلاح حافظه برطرف کرد. این موضوع اهمیت بررسی صحت اطلاعات ذخیره‌شده را در سیستم‌های هوش مصنوعی دارای حافظه بلندمدت نشان می‌دهد.
افزایش دقت Claude با سازمان‌دهی اسناد
آنتروپیک در بخش دیگری از پژوهش خود بررسی کرد که آیا قابلیت رؤیابینی می‌تواند مجموعه‌های بزرگ اسناد را به پایگاه‌های دانش مرتبط تبدیل کند. این پایگاه‌ها ساختاری شبیه ویکی دارند و اطلاعات موضوعات مختلف را از طریق پیوندهای داخلی به یکدیگر متصل می‌کنند.
یکی از آزمایش‌ها با استفاده از حدود ۳۵۰ هزار سند داخلی شرکت نرم‌افزاری Stainless انجام شد. این مجموعه تقریباً ۴۲۰ میلیون توکن اطلاعات داشت و پردازش آن به سازمان‌دهی دقیق داده‌ها نیاز داشت.
Claude در طول ۱۲۸ نشست، اطلاعات موجود در اسناد را بررسی کرد و به‌تدریج یک ویکی ساخت. مدل در نشست‌های بعدی محتوای این پایگاه دانش را اصلاح و تکمیل کرد تا اطلاعات مرتبط در ساختاری منظم قرار بگیرند.
پژوهشگران برای سنجش عملکرد، مجموعه‌ای شامل ۲۵ سؤال ارزیابی را در نظر گرفتند. نتایج نشان داد که عملکرد Claude در پاسخ‌گویی به این پرسش‌ها از ۱۳ درصد به ۴۸ درصد افزایش یافته است.
آزمایش دیگری نیز با اسناد مربوط به ادغام شرکت‌ها انجام شد. در این آزمایش، مدل باید به پرسش‌هایی پاسخ می‌داد که اطلاعات موردنیاز آن‌ها در چند سند مختلف قرار داشت.
Claude هنگام استفاده از ویکی ایجادشده توانست به این پرسش‌ها با دقت ۸۷ درصد پاسخ دهد. در مقابل، جست‌وجوی مستقیم در اسناد بدون استفاده از پایگاه دانش سازمان‌یافته، دقت ۷۳ درصدی داشت.
این اختلاف نشان می‌دهد که اتصال اطلاعات مرتبط می‌تواند به مدل در پاسخ‌گویی به پرسش‌های چندمرحله‌ای کمک کند. چنین پرسش‌هایی معمولاً به ترکیب داده‌های پراکنده نیاز دارند و تنها پیدا کردن یک عبارت در اسناد برای پاسخ‌گویی به آن‌ها کافی نیست.
فرایند رؤیابینی همچنین به Claude اجازه می‌دهد اطلاعات را متناسب با نیاز نشست‌های آینده بازآرایی کند. داده‌های پرکاربرد می‌توانند در بخش‌هایی قرار بگیرند که سریع‌تر دردسترس هستند. اطلاعات کم‌اهمیت‌تر نیز در فایل‌های قابل جست‌وجو باقی می‌مانند.
بااین‌حال، آنتروپیک تأکید کرده است که نگهداری حافظه به منابع محاسباتی نیاز دارد. همچنین ذخیره بیش‌ازحد اطلاعات ممکن است نشست‌های آینده را با حجم زیادی از داده‌های غیرضروری مواجه کند.
پژوهشگران معتقدند عامل‌های هوش مصنوعی باید یاد بگیرند چه اطلاعاتی را حفظ کنند و چه زمانی دوباره آن‌ها را بررسی کنند. آزمایش‌های آنتروپیک نشان می‌دهد که مدیریت بهتر حافظه می‌تواند توانایی Claude را برای انجام وظایف پیچیده در چندین نشست متوالی افزایش دهد.