آزمایشگاه‌های هوش مصنوعی در حال رقابت برای ساخت مراکز داده‌ای به بزرگی منهتن هستند که هر کدام میلیاردها دلار هزینه دارند و به اندازه‌ی یک شهر کوچک انرژی مصرف می‌کنند. این تلاش ناشی از اعتقاد راسخ به «مقیاس‌پذیری» است؛ این ایده که افزودن قدرت محاسباتی بیشتر به روش‌های آموزش هوش مصنوعی موجود، در نهایت سیستم‌های فوق هوشمندی را به وجود می‌آورد که قادر به انجام انواع وظایف هستند.
اما گروه فزاینده‌ای از محققان هوش مصنوعی می‌گویند که مقیاس‌پذیری مدل‌های زبانی بزرگ ممکن است به محدودیت‌های خود نزدیک شود و برای بهبود عملکرد هوش مصنوعی به پیشرفت‌های دیگری نیاز باشد.
این همان ایده‌ای است که سارا هوکر، معاون سابق تحقیقات هوش مصنوعی در Cohere و فارغ‌التحصیل Google Brain، با استارتاپ جدید خود، Adaption Labs، دنبال می‌کند. او این شرکت را با سوديپ روی، همکار سابقش در Cohere و Google، تأسیس کرده است و بر این باور است که مقیاس‌بندی LLMها به روشی ناکارآمد برای به دست آوردن عملکرد بیشتر از مدل‌های هوش مصنوعی تبدیل شده است. هوکر، که در مرداد ماه از Cohere جدا شد، این ماه به طور بی‌سروصدا راه‌اندازی استارتاپ را برای شروع استخدام گسترده‌تر اعلام کرد.
هوکر در مصاحبه با خبرنگار گفت که Adaption Labs سیستم‌های هوش مصنوعی را می‌سازد که می‌توانند به طور مداوم از تجربیات دنیای واقعی خود سازگار شده و یاد بگیرند و این کار را به طور فوق‌العاده کارآمد انجام دهند. او از به اشتراک گذاشتن جزئیات مربوط به روش‌های پشت این رویکرد یا اینکه آیا این شرکت به LLMها یا معماری دیگری متکی است، خودداری کرد.
هوکر گفت: «اکنون یک نقطه عطف وجود دارد که بسیار واضح است که فرمول صرفاً مقیاس‌بندی این مدل‌ها – رویکردهای مقیاس‌بندی شده، که جذاب اما فوق‌العاده خسته‌کننده هستند – هوشی را تولید نکرده است که قادر به حرکت یا تعامل با جهان باشد.»
به گفته هوکر، سازگاری «قلب یادگیری» است. به عنوان مثال، وقتی از کنار میز ناهارخوری خود رد می‌شوید، انگشت پای خود را به آن می‌زنید و یاد می‌گیرید دفعه بعد با احتیاط بیشتری در اطراف آن قدم بردارید. آزمایشگاه‌های هوش مصنوعی سعی کرده‌اند این ایده را از طریق یادگیری تقویتی (RL) به تصویر بکشند، که به مدل‌های هوش مصنوعی اجازه می‌دهد از اشتباهات خود در محیط‌های کنترل‌شده بیاموزند. با این حال، روش‌های RL امروزی به مدل‌های هوش مصنوعی در تولید – به این معنی که سیستم‌هایی که در حال حاضر توسط مشتریان استفاده می‌شوند – کمک نمی‌کنند تا از اشتباهات خود در زمان واقعی یاد بگیرند. آنها فقط به زدن انگشت پای خود ادامه می‌دهند.
برخی از آزمایشگاه‌های هوش مصنوعی خدمات مشاوره‌ای ارائه می‌دهند تا به شرکت‌ها کمک کنند مدل‌های هوش مصنوعی خود را مطابق با نیازهای سفارشی خود تنظیم کنند، اما این کار هزینه دارد. گزارش شده است که OpenAI از مشتریان می‌خواهد بیش از 10 میلیون دلار با این شرکت هزینه کنند تا خدمات مشاوره‌ای خود را در زمینه تنظیم دقیق ارائه دهد.
هوکر گفت: «ما مشتی آزمایشگاه پیشرو داریم که این مجموعه از مدل‌های هوش مصنوعی را تعیین می‌کنند که به همان روش به همه ارائه می‌شوند و سازگار کردن آنها بسیار پرهزینه است.» «و در واقع، من فکر می‌کنم که دیگر نیازی به این موضوع نیست و سیستم‌های هوش مصنوعی می‌توانند به طور بسیار کارآمدی از یک محیط یاد بگیرند. اثبات این موضوع به طور کامل پویایی اینکه چه کسی می‌تواند هوش مصنوعی را کنترل و شکل دهد و واقعاً این مدل‌ها در پایان روز به چه کسی خدمت می‌کنند را تغییر خواهد داد.»
Adaption Labs آخرین نشانه از تزلزل ایمان صنعت به مقیاس‌بندی LLMها است. یک مقاله اخیر از محققان MIT نشان داد که بزرگترین مدل‌های هوش مصنوعی جهان ممکن است به زودی بازده نزولی نشان دهند. به نظر می‌رسد حال و هوای سان فرانسیسکو نیز در حال تغییر است. دْوارکِش پاتِل، پادکستر مورد علاقه دنیای هوش مصنوعی، اخیراً میزبان چند مکالمه غیرمعمول بدبینانه با محققان مشهور هوش مصنوعی بوده است.
ریچارد ساتون، برنده جایزه تورینگ که به عنوان «پدر RL» شناخته می‌شود، در شهریور ماه به پاتل گفت که LLMها نمی‌توانند واقعاً مقیاس پیدا کنند زیرا از تجربه دنیای واقعی یاد نمی‌گیرند. در مهر ماه، آندری کارپاتی، کارمند اولیه OpenAI، به پاتل گفت که در مورد پتانسیل بلندمدت RL برای بهبود مدل‌های هوش مصنوعی تردید دارد.
این نوع ترس‌ها بی‌سابقه نیستند. در اواخر سال 1403، برخی از محققان هوش مصنوعی نگرانی‌هایی را مطرح کردند مبنی بر اینکه مقیاس‌بندی مدل‌های هوش مصنوعی از طریق پیش‌آموزش – که در آن مدل‌های هوش مصنوعی الگوها را از انبوهی از مجموعه‌داده‌ها یاد می‌گیرند – به بازده نزولی رسیده است. تا آن زمان، پیش‌آموزش راز موفقیت OpenAI و Google برای بهبود مدل‌های خود بود.
این نگرانی‌ها در مورد مقیاس‌بندی پیش‌آموزش اکنون در داده‌ها ظاهر می‌شوند، اما صنعت هوش مصنوعی راه‌های دیگری برای بهبود مدل‌ها پیدا کرده است. در سال 1404، پیشرفت‌ها در زمینه مدل‌های استدلال هوش مصنوعی، که زمان و منابع محاسباتی بیشتری را برای بررسی مسائل قبل از پاسخ دادن صرف می‌کنند، قابلیت‌های مدل‌های هوش مصنوعی را حتی بیشتر پیش برده‌اند.
به نظر می‌رسد آزمایشگاه‌های هوش مصنوعی متقاعد شده‌اند که مقیاس‌بندی مدل‌های RL و استدلال هوش مصنوعی مرزهای جدیدی هستند. محققان OpenAI قبلاً به خبرنگار گفته بودند که اولین مدل استدلال هوش مصنوعی خود، o1، را توسعه داده‌اند، زیرا فکر می‌کردند که به خوبی مقیاس می‌یابد. محققان Meta و Periodic Labs اخیراً مقاله‌ای را منتشر کرده‌اند که بررسی می‌کند چگونه RL می‌تواند عملکرد را بیشتر مقیاس‌بندی کند – مطالعه‌ای که گزارش شده بیش از 4 میلیون دلار هزینه داشته است، و بر این موضوع تأکید می‌کند که رویکردهای فعلی چقدر پرهزینه هستند.
در مقابل، Adaption Labs قصد دارد پیشرفت بعدی را پیدا کند و ثابت کند که یادگیری از تجربه می‌تواند بسیار ارزان‌تر باشد. به گفته سه سرمایه‌گذار که نسخه‌های نمایشی آن را بررسی کرده‌اند، این استارتاپ در اوایل پاییز در حال مذاکره برای جمع‌آوری 20 تا 40 میلیون دلار سرمایه اولیه بود. آنها می‌گویند که این دور از آن زمان بسته شده است، اگرچه مبلغ نهایی مشخص نیست. هوکر از اظهار نظر خودداری کرد.
هوکر در پاسخ به سوالی درباره سرمایه‌گذارانش گفت: «ما برای بسیار جاه‌طلب بودن آماده شده‌ایم.»
هوکر قبلاً رهبری Cohere Labs را بر عهده داشت، جایی که او مدل‌های هوش مصنوعی کوچک را برای موارد استفاده سازمانی آموزش می‌داد. سیستم‌های هوش مصنوعی فشرده اکنون به طور معمول از همتایان بزرگتر خود در معیار‌های برنامه‌نویسی، ریاضیات و استدلال بهتر عمل می‌کنند – روندی که هوکر می‌خواهد به پیشبرد آن ادامه دهد.
او همچنین به دلیل گسترش دسترسی به تحقیقات هوش مصنوعی در سطح جهانی، استخدام استعدادهای تحقیقاتی از مناطق کمتر برخوردار مانند آفریقا، شهرت پیدا کرد. در حالی که Adaption Labs به زودی دفتری را در سان فرانسیسکو افتتاح خواهد کرد، هوکر می‌گوید که قصد دارد در سراسر جهان استخدام کند.
اگر هوکر و Adaption Labs در مورد محدودیت‌های مقیاس‌بندی درست بگویند، پیامدهای آن می‌تواند بسیار زیاد باشد. میلیاردها دلار در حال حاضر در مقیاس‌بندی LLMها سرمایه‌گذاری شده است، با این فرض که مدل‌های بزرگتر منجر به هوش عمومی خواهند شد. اما این احتمال وجود دارد که یادگیری تطبیقی واقعی نه تنها قدرتمندتر، بلکه بسیار کارآمدتر باشد.
مارینا تمکین در تهیه این گزارش مشارکت داشته است.
