گره اصلی پردازنده‌های مدرن هنوز باز نشده است
هر نسل، ماشین‌های بزرگ‌تری می‌سازد تا همان محاسبه قدیمی را سریع‌تر انجام دهد؛ اما گره اصلی هنوز باز نشده است.
گروه علم و پیشرفت خبرگزاری فارس - در ۲۰۲۶، انویدیا در پردازنده گرافیکی روبین به ۵۰ پتافلاپس محاسبه با دقت چهار‌بیتی در هر پردازنده رسیده، ای‌ام‌دی برای می۴۵۵ایکس تا ۴۰ پتافلاپس محاسبه چهار‌بیتی اعلام کرده و گوگل برای تی‌پی‌یو نسل هشتم، یک ابرخوشه ۹۶۰۰تراشه‌ای با ۱۲۱ اگزافلاپس توان محاسباتی معرفی کرده است. این اعداد بیش از آنکه مسابقه‌ای برای «هوش» باشند، مسابقه‌ای برای اجرای حجم عظیمی از یک عملیات تکرارشونده‌اند: ضرب ماتریس.
بخش بزرگی از محاسبات مدل به ضرب ماتریس برمی‌گردد
پشت بسیاری از لایه‌های شبکه عصبی، یک «ضرب ماتریسی عمومی» نشسته است: تبدیل ورودی به خروجی در لایه‌های خطی، تصویرسازی‌های درون سازوکار توجه و محاسبات بخش کارشناسان، همگی به خانواده‌ای از همین عملیات فروکاسته می‌شوند.پایگاه فنی «سیمی‌آنالیز» می‌گوید جی‌ای‌ام‌ام همان محاسبه‌ای است که بیشترین بخش عملیات حسابی در آموزش و سرویس‌دهی شبکه‌های عصبی را مصرف می‌کند. به زبان ساده، اگر یک مدل هوش مصنوعی را کارخانه‌ای تصور کنیم، ضرب ماتریس خط مونتاژی است که بارها و بارها داده و وزن‌ها را در هم ضرب و جمع می‌کند.
استراسن نشان داد می‌شود همین کار را با ضرب کمتر انجام داد
در نگاه مدرسه‌ای، ضرب دو ماتریس مربعی با ضلع بزرگ، با رشد مکعبی تعداد عملیات همراه است. اما در سال ۱۹۶۹، وُلکر استراسن نشان داد برای دو ماتریس دو در دو، به‌جای هشت ضرب می‌توان با هفت ضرب به نتیجه رسید؛ همین یک ضرب کمتر، اگر به‌صورت بازگشتی روی ماتریس‌های بزرگ‌تر اعمال شود، رشد محاسبات را از مرتبه مکعبی به حدود توان ۲٫۸۰۷ می‌رساند. این کشف یک نکته عمیق داشت: گاهی سریع‌تر کردن رایانه کافی نیست؛ باید خودِ دستور انجام محاسبه را عوض کرد.
آلفا تنسور نشان داد ماشین هم می‌تواند راه تازه پیدا کند
در ۲۰۲۲، دیپ‌مایند با آلفا تنسور (AlphaTensor) همین مسئله را به یک بازی تک‌نفره ریاضی تبدیل کرد و از یادگیری تقویتی برای یافتن تجزیه‌های صحیح و کم‌هزینه استفاده کرد. مقاله «نیچر» گزارش می‌کند که این سامانه برای ضرب ماتریس‌های چهار در چهار در یک میدان متناهی، الگوریتمی با ۴۷ ضرب پیدا کرد؛ در حالی که اجرای بازگشتی روش استراسن به ۴۹ ضرب نیاز داشت. برای ضرب ماتریس چهار در پنج در پنج نیز تعداد ضرب‌ها از ۸۰ به ۷۶ رسید. مهم‌تر اینکه پژوهش فقط دنبال فرمولی زیباتر نبود و الگوریتم‌هایی را نیز برای کارایی عملی روی سخت‌افزارهای مشخص بهینه کرد.
اما الگوریتم سریع روی کاغذ همیشه روی تراشه سریع نیست
این همان جایی است که مسئله از ریاضیات وارد مهندسی می‌شود. الگوریتم استراسن با ضرب کمتر، جمع و جابه‌جایی بیشتری ایجاد می‌کند و هزینه حافظه و پیچیدگی اجرا می‌تواند بخشی از سود نظری را پس بگیرد. در عمل، اندازه ماتریس، چگونگی چیدمان داده و هزینه انتقال آن مهم‌اند. سیمی‌آنالیز نیز تصریح می‌کند که در مرحله پیش‌پردازش ورودی، ضرب‌های بزرگ می‌توانند تقریباً تمام توان محاسباتی را پر کنند، اما در تولید توکن‌های بعدی، ماتریس‌های باریک‌تر اغلب با محدودیت پهنای باند حافظه روبه‌رو می‌شوند؛ بنابراین «ضرب ماتریس» همیشه به معنی «گلوگاه محاسباتی» نیست.
برای همین سازندگان تراشه، ماتریس را تا سطح سخت‌افزار دنبال می‌کنند
انویدیا محاسبه‌های ماتریسی را به هسته‌های تنسوری سپرده، ای‌ام‌دی در می۴۵۵ایکس ۲۵۶ واحد پردازشی کاری و ۱۰۲۴ هسته ماتریسی ارائه کرده و گوگل در تی‌پی‌یو نسل هشتم، واحد ضرب ماتریسی را در کنار حافظه، شبکه و شتاب‌دهنده‌های اختصاصی طراحی کرده است. گوگل حتی صریحاً می‌گوید در نسل هشتم، افزایش عملیات شناور به‌تنهایی کافی نیست و معماری باید گلوگاه‌های حافظه، ارتباط میان تراشه‌ها و الگوی مصرف مدل‌های جدید را هم حل کند. بنابراین جنگ واقعی دیگر فقط بر سر «تعداد ضرب در ثانیه» نیست؛ بر سر این است که داده با کمترین اتلاف به واحدی برسد که قرار است آن ضرب را انجام دهد.
جهش بعدی فقط از تراشه بزرگ‌تر نمی‌آید
مسیر فعلی صنعت نشان می‌دهد پاسخ، ترکیبی از هر دو است: تراشه‌های بزرگ‌تر، حافظه سریع‌تر، شبکه‌های کم‌تأخیرتر و الگوریتم‌های هوشمندتر. تی‌پی‌یو نسل هشتم برای آموزش تا ۹۶۰۰ تراشه و دو پتابایت حافظه مشترک مقیاس می‌گیرد، در حالی که روبین و می۴۵۵ایکس نیز بخش عمده نوآوری خود را روی محاسبه کم‌دقت و جابه‌جایی سریع‌تر داده گذاشته‌اند. آلفا تنسور نیز یادآوری می‌کند که یک کشف ریاضی می‌تواند ماشین را از انجام میلیون‌ها عملیات غیرضروری نجات دهد. پاسخ محتمل به جهش بعدی هوش مصنوعی، پس نه «فرمول تازه» به‌تنهایی است و نه «تراشه بیشتر»؛ برنده کسی است که ریاضیات، معماری و حرکت داده را هم‌زمان بهتر طراحی کند.
17:54 - 11 مهر 1405
1 بازنشر
127 بازدید