نسخه جدید PS5LM اجرای محلی مدل‌های هوش مصنوعی را روی PS5 جیلبریک‌شده ممکن و سرعت تولید را در مدل‌های کوچک‌تر به ۱۲۴ توکن در ثانیه رسانده است.
فهرست مطالب
نسخه جدید PS5LM اجرای محلی مدل‌های هوش مصنوعی را روی PS5 جیلبریک‌شده ممکن کرده و سرعت تولید را در مدل‌های کوچک‌تر به ۱۲۴ توکن در ثانیه رسانده است.
به گزارش سرویس هوش مصنوعی تک‌ناک،نسخه جدید پیشرفت چشمگیری دارد و امکان اجرای بومی PS5LM روی کنسول را فراهم می‌کند. همچنین با استفاده از پردازنده گرافیکی، مدل‌های بزرگ‌تری مانند Qwen3.8-27B را با سرعت ۲۰ توکن در ثانیه اجرا می‌کند.
اجرای llama.cpp روی PS5 جیلبریک‌شده
کاربری با نام cobanov در گیت‌هاب، ۱۴ روز پیش نسخه‌ای غیررسمی از llama.cpp را در ردیت منتشر کرد تا کنسول‌های PS5 جیلبریک‌شده بتوانند مدل‌های گفت‌وگومحور هوش مصنوعی را به‌صورت محلی و بدون اتصال به اینترنت اجرا کنند.
به گفته u/AdIllustrious7246، نسخه cobanov به‌صورت یک پیلود روی پردازنده مرکزی اجرا می‌شود و به همین دلیل، حافظه در دسترس آن به ۶ گیبی‌بایت محدود است. اجرای برنامه در قالب پیلود عملاً به معنای در اختیار گرفتن پردازنده مرکزی و قرار دادن دستورهای مربوط به مدل زبانی در کنار فرایندهای صفحه اصلی و سرویس‌های سیستمی است. بااین‌حال، دسترسی به حافظه رم به حدود ۶٫۲۵ گیبی‌بایت محدود می‌شود، زیرا استفاده از حافظه بیشتر می‌تواند صفحه اصلی کنسول را از کار بیندازد.
cobanov این روش را انتخاب کرد تا هرچه سریع‌تر llama.cpp را روی کنسول اجرا کند، اما در نهایت قصد داشت از پردازنده گرافیکی نیز استفاده کند تا امکان اجرای مدل‌های بزرگ‌تر فراهم شود. بااین‌حال، به نظر می‌رسد u/AdIllustrious7246 با انتشار نسخه انشعابی خود زودتر به این هدف رسیده است.
u/AdIllustrious7246 از پروژه PS5_Vulkan استفاده کرد. این پروژه نسخه‌ای انتقال‌یافته از درایور گرافیکی RADV است که امکان ارسال دستورها به پردازنده گرافیکی PS5 را فراهم می‌کند. پردازنده گرافیکی PS5، با وجود استفاده از معماری AMD، در حالت عادی دسترسی محدودی دارد و نمی‌توان مانند پردازنده گرافیکی کامپیوترهای شخصی مستقیماً از آن استفاده کرد. PS5_Vulkan یکی از پروژه‌هایی است که با گشودن راه دسترسی به قابلیت‌های پردازنده گرافیکی، اجرای بسیاری از پروژه‌های هوم‌برو را ممکن کرده است. اجرای مدل‌های زبانی بزرگ نیز یکی از این قابلیت‌ها به شمار می‌رود.
اجرای مدل‌های ۲۷ میلیارد پارامتری با کمک پردازنده گرافیکی
اکنون که llama.cpp به‌صورت بومی روی PS5 اجرا می‌شود، از تمام توان پردازنده گرافیکی استفاده می‌کند و به حافظه رم بیشتری دسترسی دارد. به همین دلیل، u/AdIllustrious7246 توانسته است یک مدل ۲۷ میلیارد پارامتری را با سرعت ۲۰ توکن در ثانیه روی کنسول اجرا کند. مدل‌های کوچک‌تر نیز عملکرد سریع‌تری دارند. برای نمونه، Gemma 4 E4B با سرعت ۶۱ توکن در ثانیه و Llama 3.2 3B با سرعت ۱۲۴ توکن در ثانیه اجرا شده‌اند.
پیش از این، اجرای مدل زبانی بزرگ با حجم ۶٫۸ گیبی‌بایت به دلیل محدودیت پردازنده مرکزی باعث هنگ کردن و از کار افتادن سیستم می‌شد. پردازنده‌های گرافیکی در پردازش مدل‌های زبانی بزرگ عملکرد بهتری دارند. افزایش تقاضا برای این پردازنده‌ها نیز یکی از دلایلی است که قیمت پردازنده‌های گرافیکی و حافظه رم را در دوره اخیر به‌شدت بالا برده است.
استفاده از پردازنده گرافیکی سرعت تولید توکن‌ها را به میزان قابل‌توجهی افزایش داده است. اجرای بومی برنامه نیز امکان استفاده از حافظه رم بیشتری را فراهم کرده است. به گفته u/AdIllustrious7246، این نسخه می‌تواند تا ۱۱٫۴ گیبی‌بایت از حافظه را به کار بگیرد.
داشبورد نظارتی و گفت‌وگو از طریق شبکه محلی
توسعه‌دهنده علاوه بر اجرای بومی برنامه، یک داشبورد نیز به آن اضافه کرده است که اطلاعات مفیدی را نمایش می‌دهد. این اطلاعات شامل سرعت لحظه‌ای تولید توکن، میزان استفاده از پردازنده مرکزی و گرافیکی، مصرف برق، دما و نحوه تقسیم حافظه میان مدل و حافظه نهان KV است. همچنین این نسخه با رابط وب llama.cpp سازگار شده است و کاربران می‌توانند از طریق مرورگر و با استفاده از دستگاه‌های دیگر در شبکه محلی، با مدل هوش مصنوعی گفت‌وگو کنند.
با وجود این پیشرفت قابل‌توجه که می‌تواند PS5 را در زمان‌هایی که برای بازی استفاده نمی‌شود به یک دستیار هوش مصنوعی تبدیل کند، برخی کاربران در بخش نظرات به یاد بحران کارت‌های گرافیکی ناشی از استخراج رمزارز افتاده‌اند. بااین‌حال، بعید است این اتفاق به بحران مشابهی منجر شود. بازار هم‌اکنون نیز به دلیل تقاضای بالای مراکز داده بزرگ هوش مصنوعی با کمبود و افزایش قیمت پردازنده‌های گرافیکی و حافظه رم روبه‌رو است. از سوی دیگر، PS5 نه سریع‌ترین پردازنده گرافیکی را دارد و نه بیشترین میزان حافظه رم را در اختیار می‌گذارد.