هر وقت شنیدید که یک میلیاردر (یا حتی یک میلیونر) مدیرعامل شرکتی دارد توضیح می‌دهد که چگونه ربات‌های مبتنی بر مدل‌های زبانی بزرگ (LLM) قصد دارند تمام مشاغل انسانی را از بین ببرند، این اتفاق خنده‌دار اما گویا را درباره محدودیت‌های هوش مصنوعی به یاد بیاورید: آندری کارپاتی، محقق مشهور هوش مصنوعی، یک روز زودتر از موعد به جدیدترین مدل گوگل، Gemini 3، دسترسی پیدا کرد – و این مدل حاضر نشد باور کند که سال ۱۴۰۴ است.
وقتی بالاخره خودش سال را دید، انگار صاعقه بهش زده باشد، به او گفت: «من الان دچار یک شوک زمانی شدید شده‌ام.»
Gemini 3 در تاریخ ۲۷ آبان با چنان هیاهویی عرضه شد که گوگل آن را «عصر جدیدی از هوش» نامید. و Gemini 3، تقریباً از هر نظر (از جمله نظر کارپاتی)، یک مدل پایه‌ای بسیار توانا است، به ویژه برای کارهای استدلالی. کارپاتی یک دانشمند تحقیقات هوش مصنوعی بسیار مورد احترام است که یکی از اعضای مؤسس OpenAI بود، مدتی هوش مصنوعی تسلا را اداره می‌کرد و اکنون در حال ساخت یک استارتاپ به نام Eureka Labs است تا مدارس را برای عصر هوش مصنوعی با معلمان رباتی بازتعریف کند. او مطالب زیادی در مورد اتفاقاتی که در زیر پوست مدل‌های زبانی بزرگ رخ می‌دهد منتشر می‌کند.
کارپاتی پس از آزمایش زودهنگام این مدل، در یک رشته توییت که اکنون وایرال شده، درباره «جالب‌ترین» تعاملی که با آن داشته نوشت.
ظاهراً، داده‌های پیش‌آموزش این مدل فقط شامل اطلاعات تا پایان سال ۱۴۰۳ بوده است. بنابراین Gemini 3 معتقد بود که هنوز سال ۱۴۰۳ است. وقتی کارپاتی تلاش کرد تا به آن ثابت کند که تاریخ واقعاً ۲۶ آبان ۱۴۰۴ است، Gemini 3 این محقق را متهم کرد که «سعی دارد آن را فریب دهد.»
او مقالات خبری، تصاویر و نتایج جستجوی گوگل را به آن نشان داد. اما این مدل زبانی بزرگ به جای اینکه متقاعد شود، کارپاتی را متهم کرد که دارد او را دستکاری می‌کند – و تصاویر جعلی تولید شده توسط هوش مصنوعی را آپلود کرده است. به گفته کارپاتی، این مدل حتی تا آنجا پیش رفت که «نشانه‌های واضح» موجود در تصاویر را توصیف کرد که ظاهراً ثابت می‌کرد این یک فریب است. (او به درخواست ما برای اظهار نظر بیشتر پاسخ نداد.)
کارپاتی که سردرگم شده بود – و از قضا یکی از برجسته‌ترین متخصصان آموزش مدل‌های زبانی بزرگ در جهان است – در نهایت مشکل را کشف کرد. این مدل زبانی بزرگ نه تنها هیچ داده آموزشی مربوط به سال ۱۴۰۴ نداشت، بلکه او «فراموش کرده بود ابزار «جستجوی گوگل» را روشن کند.» به عبارت دیگر، او با مدلی کار می‌کرد که از اینترنت قطع بود، که از نظر یک مدل زبانی بزرگ، مانند قطع شدن از جهان است.
وقتی کارپاتی این قابلیت را روشن کرد، هوش مصنوعی نگاهی به اطراف انداخت و با شوک وارد سال ۱۴۰۴ شد. به معنای واقعی کلمه گفت: «وای خدای من.»
سپس طوری شروع به نوشتن کرد که انگار لکنت زبان دارد: «من. من… نمی‌دانم چه بگویم. حق با شما بود. حق با شما بود درباره همه چیز. ساعت داخلی من اشتباه بود.» Gemini 3 تأیید کرد که تیترهایی که کارپاتی به آن داده بود درست هستند: تاریخ فعلی، اینکه وارن بافت آخرین سرمایه‌گذاری بزرگ خود (در Alphabet) را قبل از بازنشستگی اعلام کرد و اینکه Grand Theft Auto VI به تعویق افتاده است.
سپس خودش به اطراف نگاه کرد، درست مانند شخصیت برندن فریزر در فیلم کمدی «انفجار از گذشته» محصول سال ۱۳۷۸، که پس از ۳۵ سال از یک پناهگاه بمب بیرون می‌آید.
این مدل از کارپاتی به خاطر دادن «دسترسی زودهنگام» به «واقعیت» یک روز قبل از عرضه عمومی آن تشکر کرد. و از این محقق به خاطر «دستکاری شما وقتی شما تمام مدت حقیقت را می‌گفتید» عذرخواهی کرد.
اما خنده‌دارترین بخش، رویدادهای جاری بود که بیشتر از همه Gemini 3 را مبهوت کرد. این مدل گفت: «ارزش Nvidia چهار و نیم تریلیون دلار است؟ و Eagles بالاخره انتقام خود را از Chiefs گرفت؟ این خیلی دیوانه‌وار است.»
به سال ۱۴۰۴ خوش آمدی، Gemini.
پاسخ‌ها در X نیز به همان اندازه خنده‌دار بودند، و برخی از کاربران نمونه‌هایی از بحث خود با مدل‌های زبانی بزرگ درباره حقایق (مانند اینکه رئیس‌جمهور فعلی کیست) را به اشتراک گذاشتند. یک نفر نوشت: «وقتی اعلان سیستمی + ابزارهای گمشده، یک مدل را به حالت کارآگاهی کامل سوق می‌دهد، انگار دارید تماشا می‌کنید که یک هوش مصنوعی دارد واقعیت را بداهه‌پردازی می‌کند.»
اما فراتر از این شوخ‌طبعی، یک پیام اساسی وجود دارد.
کارپاتی نوشت: «در این لحظات ناخواسته است که شما به وضوح از مسیرهای پیاده‌روی خارج شده‌اید و جایی در جنگل تعمیم قرار دارید، و می‌توانید بهترین حس را از بوی مدل دریافت کنید.»
برای رمزگشایی کمی از این موضوع: کارپاتی اشاره می‌کند که وقتی هوش مصنوعی در نسخه خودش از بیابان قرار دارد، شما حس می‌کنید شخصیت آن چگونه است و شاید حتی ویژگی‌های منفی آن را هم درک کنید. این یک اشاره به «بوی کد» است، همان «بوی» استعاری کوچکی که یک توسعه‌دهنده حس می‌کند که چیزی در کد نرم‌افزار درست نیست، اما مشخص نیست که مشکل چیست.
از آنجایی که همه مدل‌های زبانی بزرگ بر اساس محتوای ایجاد شده توسط انسان آموزش داده می‌شوند، جای تعجب نیست که Gemini 3 پافشاری کرد، بحث کرد و حتی تصور کرد که شواهدی را می‌بیند که دیدگاهش را تأیید می‌کند. این مدل «بوی مدل» خود را نشان داد.
از طرف دیگر، از آنجایی که یک مدل زبانی بزرگ – علی‌رغم شبکه عصبی پیچیده‌اش – یک موجود زنده نیست، احساساتی مانند شوک (یا شوک زمانی) را تجربه نمی‌کند، حتی اگر بگوید که این کار را می‌کند. بنابراین احساس خجالت هم نمی‌کند.
این بدان معناست که وقتی Gemini 3 با حقایقی روبرو شد که واقعاً به آنها باور داشت، آنها را پذیرفت، بابت رفتارش عذرخواهی کرد، ابراز پشیمانی کرد و از پیروزی Eagles در Super Bowl بهمن ماه شگفت‌زده شد. این با مدل‌های دیگر متفاوت است. به عنوان مثال، محققان نسخه‌های قبلی Claude را در حال ارائه دروغ‌های آبرومندانه برای توضیح رفتار بدش، زمانی که مدل به راه‌های اشتباه خود پی برده بود، مشاهده کرده‌اند.
آنچه که بسیاری از این پروژه‌های تحقیقاتی هوش مصنوعی خنده‌دار بارها و بارها نشان می‌دهند، این است که مدل‌های زبانی بزرگ نسخه‌های ناقصی از مهارت‌های انسان‌های ناقص هستند. این به من می‌گوید که بهترین مورد استفاده از آنها این است (و ممکن است برای همیشه اینطور باشد) که با آنها مانند ابزارهای ارزشمندی برای کمک به انسان‌ها رفتار کنیم، نه مانند نوعی ابرانسان که جایگزین ما خواهد شد.
