مدل Inkling 2 Mini با مصرف حدود ۲۰ گیگابایت حافظه و قابلیت اجرای آفلاین، امکان استفاده از هوش مصنوعی پیشرفته را روی مک‌بوک فراهم می‌کند.

فهرست مطالب

شرکت Thinking Machines Lab از مدل هوش مصنوعی متن‌باز با وزن‌های قابل‌دسترسی Inkling 2 Mini رونمایی کرده است.

به‌ گزارش سرویس هوش مصنوعی تک‌ناک، این مدل تنها با ۲۶ میلیارد پارامتر در حوزه‌هایی مانند: برنامه‌نویسی، استدلال و اجرای وظایف عامل‌محور، عملکرد قابل‌ توجهی ارائه می‌دهد. مهم‌تر از همه، این مدل می‌تواند به‌طور کامل و بدون اتصال به اینترنت روی سخت‌افزارهای مصرف‌کننده، از جمله مک‌بوک‌های اپل مجهز به ۳۲ گیگابایت حافظه یکپارچه اجرا شود.

مدل Inkling 2 Mini با ۳۲ گیگابایت رم روی مک‌بوک اجرا می‌شود

مرتبط: مدل هوش مصنوعی Inkling از راه رسید

مدل Inkling 2 Mini که در ۲۰ نوامبر معرفی شد، جایگزینی بسیار کوچک‌تر برای مدل عظیم ۵۹۴ میلیارد پارامتری Inkling 2 Small محسوب می‌شود. شرکت Thinking Machines به‌جای کوچک‌سازی معماری مدل قبلی، رویکردی متفاوت در طراحی آن اتخاذ کرده است که امکان انجام محاسبات استدلالی بیشتر را بدون افزایش تعداد توکن‌های تولیدشده فراهم می‌کند. نتایج اولیه این رویکرد امیدوارکننده به نظر می‌رسند. مدل Inkling 2 Mini در شاخص هوش Artificial Analysis امتیاز ۲۰.۱ را کسب کرده و در مقایسه با مدل‌های هوش مصنوعی به‌مراتب بزرگ‌تر نیز رقابت‌پذیر ظاهر شده است.

معماری ترنسفورمر حلقه‌ای

بر اساس توضیحات فنی رسمی Thinking Machines، مدل Inkling 2 Mini از معماری ترنسفورمر مبتنی بر ترکیب متخصصان (MoE) با ۲۴ لایه بهره می‌برد. این مدل در مجموع ۲۶.۴ میلیارد پارامتر دارد که تنها ۳.۴ میلیارد مورد از آنها به‌ صورت فعال مورد استفاده قرار می‌گیرند.

ویژگی متمایز این معماری به نحوه پردازش اطلاعات مربوط می‌شود. در معماری‌های ترنسفورمر متداول، هر توکن معمولا تنها یک‌بار از هر لایه عبور می‌کند، اما Inkling 2 Mini دوازده لایه میانی خود را سه بار اجرا می‌کند، درحالی‌که شش لایه ابتدایی و شش لایه انتهایی بدون تکرار فعالیت می‌کنند. به این ترتیب، هر توکن در مجموع ۴۸ بار تحت پردازش لایه‌های مدل قرار می‌گیرد، با وجود اینکه وزن‌های مدل تنها برای ۲۴ لایه ذخیره شده‌اند.

این روش تعداد موثر پارامترهای فعال به‌ازای هر توکن را به ۵.۴ میلیارد افزایش می‌دهد و امکان تخصیص محاسبات بیشتر را بدون افزایش متناسب نیازهای حافظه فراهم می‌کند. به بیان ساده‌تر، مدل Inkling 2 Mini می‌تواند پیش از تولید توکن بعدی، محاسبات بیشتری را در فرایند استدلال داخلی خود انجام دهد.

اجرای مدل Inkling 2 Mini با ۳۲ گیگابایت رم روی مک‌بوک

شرکت Thinking Machines مدعی است که این رویکرد به‌خصوص در برنامه‌نویسی عامل‌محور بهبودهای چشمگیری ایجاد می‌کند. مدل Inkling 2 Mini در بنچمارک DeepSWE v1.1 به امتیاز ۴۸.۲ درصد دست یافته است؛ درحالی‌که مدل Qwen3.8-27B امتیاز ۴۲.۲ درصد را ثبت کرده است. همچنین

این مدل در نسخه سخت‌گیرانه آزمون SWE-bench Pro v2 Hard امتیاز ۷۷.۹ درصد را کسب کرده و از نتیجه ۷۳.۸ درصدی رقیب خود فراتر رفته است. Inkling 2 Mini در شاخص Vals Index v2.2 نیز امتیاز ۴۶.۵ درصد و در آزمون SWE-bench Verified امتیاز ۷۹.۲ درصد را به دست آورده است. البته این ارقام نتایج ارزیابی‌های منتشرشده از سوی شرکت سازنده هستند و به‌ دلیل تفاوت در پیکربندی و شرایط آزمایش‌ها، نباید آنها را به‌ عنوان برتری عملکردی قطعی در تمام کاربردها تفسیر کرد.

مدل Inkling 2 Mini شرکت Thinking Machines در آزمون DeepSWE v1.1 امتیاز ۴۸.۲ درصد و در آزمون سخت SWE-bench Pro v2 امتیاز ۷۷.۹ درصد را کسب کرده است. این مدل با وجود عملکرد بهتر از چندین مدل هوش مصنوعی متن‌باز رقیب در این آزمون‌ها، در شرایطی با عملکرد برنامه‌نویسی مشابه، از نظر نظری می‌تواند توکن‌های بیشتری را در واحد زمان پردازش کند

حتما بخوانید: اجرای نسخه اختصاصی ChatGPT روی کنسول ۳۵ ساله نینتندو

نکته قابل‌ توجه دیگر، استفاده Thinking Machines از پلتفرم پردازشی GB300 Grace Blackwell Ultra انویدیا برای آموزش Inkling 2 Mini است. این شرکت با بهره‌گیری از قابلیت‌های NVFP4 که به‌واسطه شتاب‌دهی سخت‌افزاری اجرا می‌شوند، بهره‌وری فرایند آموزش مدل را بهبود داده است.

بخش عمده وزن‌های مدل با دقت عددی ۴ بیتی NVFP4 آموزش داده شده‌اند؛ درحالی‌که چهار لایه پایانی از دقت ۸ بیتی MXFP8 استفاده می‌کنند. از آنجا که وزن‌های مدل هنگام استقرار با همان دقت عددی به‌کاررفته در مرحله آموزش مورد استفاده قرار می‌گیرند، به گفته Thinking Machines، مدل از افت دقت ناشی از تبدیل‌های اضافی در فرایند کوانتیزه‌سازی پس از آموزش اجتناب می‌کند.

مدل Inkling 2 Mini به‌ صورت آفلاین اجرا می‌شود

شاید مهم‌ترین ویژگی Inkling 2 Mini، دسترس‌پذیری بالای آن باشد. این مدل با وجود برخورداری از قابلیت‌های پیشرفته، تنها حدود ۲۰ گیگابایت حافظه مصرف می‌کند و از طریق ابزار Ollama روی رایانه‌های مک مجهز به تراشه‌های Apple Silicon و حداقل ۳۲ گیگابایت حافظه یکپارچه قابل اجرا است. رایانه دسکتاپ هوش مصنوعی NVIDIA DGX Spark نیز به‌صورت رسمی از این مدل پشتیبانی می‌کند. علاوه‌ بر این، اجرای آن روی سایر پیکربندی‌های مجهز به پردازنده گرافیکی نیز امکان‌پذیر است؛ هرچند استفاده از حداقل ۳۲ گیگابایت حافظه ویدیویی (VRAM) یا بیشتر توصیه می‌شود. مدل Inkling 2 Mini از ورودی‌های متنی و تصویری پشتیبانی می‌کند و پنجره زمینه آن ظرفیت پردازش حداکثر یک میلیون توکن را دارد.

شرکت Thinking Machines نشان داده است که Inkling 2 Mini می‌تواند بدون اتصال به اینترنت و به‌طور کامل روی یک مک‌بوک پرو اپل مجهز به تراشه M5 Pro و ۴۸ گیگابایت حافظه یکپارچه، یک شبیه‌ساز پرواز قابل‌ بازی تولید کند. این آزمایش توانایی‌های برنامه‌نویسی محلی مدل را به نمایش می‌گذارد

شرکت Thinking Machines برای نمایش قابلیت‌های مدل جدید خود، اجرای کاملا آفلاین آن را روی مک‌بوک پرو مجهز به تراشه M5 Pro و ۴۸ گیگابایت حافظه به نمایش گذاشت. طبق اعلام شرکت، Inkling 2 Mini در طول یک پرواز توانست تنها طی چند دقیقه یک شبیه‌ساز پرواز تعاملی و قابل‌ بازی تولید کند.

با وجود این‌، معماری این مدل پرسش مهمی را درباره ایمنی و شفافیت سیستم‌های هوش مصنوعی مطرح می‌کند. از آنجا که ترنسفورمرهای حلقه‌ای می‌توانند بدون ثبت مکتوب تمام مراحل استدلال، محاسبات اضافی را به‌ صورت داخلی انجام دهند، برخی پژوهشگران این نگرانی را مطرح کرده‌اند که نظارت و پایش رفتار چنین مدل‌هایی دشوارتر شود.

پژوهش‌های Thinking Machines نشان می‌دهد افزایش تعداد گذرهای پردازشی ترنسفورمر می‌تواند توانایی استدلال مدل را بدون تولید صریح زنجیره استدلال افزایش دهد. در آزمایش‌های این شرکت، افق زمانی انجام وظایف بدون زنجیره استدلال متنی (No-CoT) از ۱۶ ثانیه با یک گذر پردازشی به ۳۷ ثانیه با سه گذر افزایش یافت؛ پس از این مرحله، بازده افزایش گذرها به‌ تدریج کاهش پیدا کرد

شرکت Thinking Machines برای بررسی این مسئله، آزمایش‌هایی را با استفاده از یک مدل پژوهشی مستقل با قابلیت تغییر تعداد حلقه‌های پردازش انجام داد. نتایج نشان داد افزایش تعداد گذرهای پردازشی، توانایی مدل در حل مسائل را بدون تولید زنجیره استدلال مکتوب افزایش می‌دهد. مدت‌زمان افق حل مسئله بدون زنجیره استدلال آشکار نیز از ۱۶ ثانیه با یک گذر پردازشی به ۳۷ ثانیه با سه گذر افزایش یافت.

با وجود این، آزمایش‌های شرکت نشان دادند که فرایند استدلال مکتوب مدل همچنان قابل‌ درک باقی می‌ماند و در این مقیاس، افت معناداری در قابلیت نظارت‌پذیری آن مشاهده نمی‌شود. پژوهشگران در عین حال محدودیت‌های مدل را نیز پذیرفته‌اند؛ از جمله عملکرد ضعیف‌تر در مکالمات پیچیده چندمرحله‌ای و پیروی از دستورالعمل‌هایی که شامل محدودیت‌ها و شروط متعدد هستند.

مدل Inkling 2 Mini شرکت Thinking Machines نیروی محرکه تمام ۲۰ شخصیت روستایی خودمختار در شبیه‌سازی شهر پیکسلی Thinkyville است. این شبیه‌سازی به‌طور کامل و آفلاین روی یک مک‌بوک پرو مجهز به ۴۸ گیگابایت حافظه یکپارچه اجرا می‌شود. ساکنان مبتنی بر هوش مصنوعی شهر به‌صورت مستقل برای فعالیت‌های روزانه خود برنامه‌ریزی می‌کنند، با یکدیگر تعامل دارند و به پیام‌های بازیکن واکنش نشان می‌دهند

مدل Inkling 2 Mini اکنون تحت مجوز Apache 2.0 منتشر شده است. وزن‌های قابل‌دانلود آن از طریق پلتفرم Hugging Face در دسترس قرار دارند و کاربران می‌توانند با استفاده از Ollama آن را به‌صورت محلی مستقر کنند. همچنین امکان اجرای استنتاج و تنظیم دقیق مدل از طریق پلتفرم Tinker متعلق به Thinking Machines فراهم شده است. برای توسعه‌دهندگانی که به‌دنبال اجرای عامل‌های هوش مصنوعی پیشرفته روی سخت‌افزار شخصی خود و کاهش وابستگی به زیرساخت‌های پردازش ابری هستند، Inkling 2 Mini نمونه دیگری از تلاش‌ها برای دسترس‌پذیرتر کردن مدل‌های پیشرفته هوش مصنوعی به حساب می‌آید.