کابوس جدید برای انویدیا؛ اجرای مدل‌های بزرگ هوش مصنوعی روی گرافیک 13 واتی!

شهر سخت افزار/ دانشمندان هوش مصنوعی دانشگاه کالیفرنیا موفق شدند روشی را برای اجرای مدل‌های هوش مصنوعی بزرگ چندین میلیارد پارامتر را روی سیستم‌های کوچک پیدا کنند. در روش جدید دیگر نیازی به کارت‌های گرافیکی مانند H200 با توان مصرفی 1200 وات نبوده و یک پردازنده یا گرافیک 13 واتی نیز از عهده اجرای این مدل‌های هوش مصنوعی برمی‌آید.

بر اساس گزارش tomshardware به تازگی یک مقاله تحقیقاتی توسط محققان دانشگاه کالیفرنیا منتشر شده که حاوی نکات جالبی درباره اجرای مدل‌های بزرگ هوش مصنوعی روی سیستم‌های کوچک نظیر لپ تاپ یا گوشی است.

دانشمندان این دانشگاه روش جدیدی را برای اجرای مدل‌های هوش مصنوعی بزرگ با مقیاس چند میلیارد پارامتر روی یک دستگاه کوچک با توان 13 وات پیدا کرده‌اند. این توان در مقایسه با GPUهای مرکز داده مانند Nvidia H100 و H200 با 1200 وات توان بسیار کمتر است.

---

بازار

---

کابوس جدید برای انویدیا!
این امر می‌تواند نیاز به کارت‌های گرافیک قدرتمند را از بین برده و به کابوسی برای انویدیا تبدیل شود. البته برای رسیدن به این هدف از یک سخت افزار اختصاصی استفاده شده است. در کنار آن باید به بهینه‌سازی تنظیمات مدل‌های هوش مصنوعی و حذف ضرب ماتریس (MatMul) از آموزش LLM و فرآیندهای استنتاج اشاره کرد.

اما محققان برای حذف ضرب ماتریس در ابتدا یک سیستم عددی -1، 0 و 1 را به جای سیستم 0 و 1 پیاده سازی کرده تا به جای ضرب ماتریس از جمع کردن استفاده کنند تا حجم دستورات پردازشی تا حد زیادی کاهش یابد.

این روش جدید روی مدل LLaMa LLM متا اجرا شد که نتایج جالبی را در پی داشته است. Rui-Jie Zhu، یکی از مهندسان این پروژه اعلام کرده که ما پردازش‌های گران قیمت را با عملیات ارزان تر جایگزین کردیم.

البته اینکه این روش روی همه مدل‌های هوش مصنوعی یا LLM جواب بدهد یا نه، هنوز مشخص نشده است. اما اگر قابل اجرا باشد، می‌توان انتظار داشت که چشم‌انداز هوش مصنوعی تغییرات بی‌سابقه‌ای را تجربه کند.

در کانال آی‌تی و ™CanaleIT هم کلی عکس و ویدئوی دسته اول و جذاب داریم