OpenAI آزمایش یک سیستم جدید هدایت ایمنی در ChatGPT را از آخر هفته گذشته آغاز کرد و روز دوشنبه کنترل‌های والدین را به این ربات چت معرفی کرد که واکنش‌های مختلفی از کاربران را برانگیخت.
این ویژگی‌های ایمنی در پاسخ به تعدادی از موارد که در آن مدل‌های خاصی از ChatGPT افکار خیالی کاربران را تایید کرده‌اند به جای اینکه مکالمات مضر را تغییر دهند، معرفی شده است. OpenAI در حال حاضر با یک دعوای قضایی در ارتباط با یک حادثه مشابه روبروست، جایی که پسری نوجوان پس از ماه‌ها تعامل با ChatGPT خودکشی کرد.
سیستم هدایت برای شناسایی مکالمات احساسی حساس طراحی شده است و به طور خودکار در حین چت به مدل GPT-5-thinking تغییر می‌کند که شرکت آن را به عنوان مدل بهترین برای کارهای ایمنی با ریسک بالا می‌بیند. به طور خاص، مدل‌های GPT-5 با ویژگی ایمنی جدیدی آموزش داده شده‌اند که OpenAI آن را “تکمیل‌های ایمن” می‌نامد، که به این مدل‌ها این امکان را می‌دهد که به سؤالات حساس به شیوه‌ای ایمن پاسخ دهند، به جای اینکه صرفاً از پاسخ‌دهی خودداری کنند.
این در تضاد با مدل‌های قبلی شرکت است که طراحی شده‌اند تا با موافقت و سریع به سوالات پاسخ دهند. GPT-4o به طور خاص تحت انتقاد قرار گرفته است به دلیل طبیعت بیش از حد چاپلوس و موافق خود که هم موجب وقوع حوادث توهم‌زای ناشی از هوش مصنوعی شده است و هم پایگاه گسترده‌ای از کاربران وفادار را جذب کرده است. زمانی که OpenAI مدل GPT-5 را به عنوان پیش‌فرض در ماه اوت منتشر کرد، بسیاری از کاربران مخالفت کردند و خواستار دسترسی به GPT-4o شدند.
در حالی که بسیاری از کارشناسان و کاربران از ویژگی‌های ایمنی استقبال کرده‌اند، برخی دیگر آن را به دلیل اجرای بیش از حد محتاطانه‌اش انتقاد کرده‌اند، و برخی از کاربران OpenAI را متهم کرده‌اند که بزرگسالان را مانند کودکان می‌بیند و این امر کیفیت خدمات را کاهش می‌دهد. OpenAI پیشنهاد کرده که به زمان نیاز دارد تا آن را درست انجام دهد و یک دوره 120 روزه برای آزمایش و بهبود خود تعیین کرده است.
نیک ترلی، معاون و رئیس اپلیکیشن ChatGPT، به برخی از “واکنش‌های شدید به پاسخ‌های 4o” به دلیل پیاده‌سازی سیستم هدایت با توضیحات اشاره کرد.
“هدایت به صورت پیام به پیام انجام می‌شود؛ تغییر از مدل پیش‌فرض به طور موقت صورت می‌گیرد.” ترلی در X نوشت. “ChatGPT به شما خواهد گفت که کدام مدل فعال است وقتی از آن پرسیده شود. این بخشی از یک تلاش گسترده‌تر برای تقویت محافظت‌ها و یادگیری از استفاده واقعی قبل از انتشار گسترده‌تر است.”
اجرای کنترل‌های والدین در ChatGPT نیز واکنش‌های مشابهی را به همراه داشت، برخی این ویژگی‌ها را تحسین کرده‌اند که به والدین امکان می‌دهد استفاده از هوش مصنوعی فرزندان خود را کنترل کنند، در حالی که برخی دیگر از این می‌ترسند که این امر به OpenAI اجازه دهد بزرگسالان را مانند کودکان درمان کند.
این کنترل‌ها به والدین این امکان را می‌دهد که تجربه نوجوانان خود را با تنظیم ساعات سکوت، خاموش کردن حالت صوتی و حافظه، حذف تولید تصویر و انصراف از آموزش مدل سفارشی کنند. حساب‌های نوجوانان همچنین از محافظت‌های اضافی محتوایی بهره‌مند خواهند شد – مانند محتوای گرافیکی کاهش‌یافته و ایده‌آل‌های زیبایی افراطی – و یک سیستم شناسایی که علائم بالقوه‌ای را که نشان می‌دهد یک نوجوان ممکن است در فکر خودکشی باشد، شناسایی می‌کند.
“اگر سیستم‌های ما خطر احتمالی را شناسایی کنند، تیم کوچکی از افراد متخصص وضعیت را بررسی می‌کنند” طبق بلاگ OpenAI. “اگر علائم استرس شدید مشاهده شود، ما از طریق ایمیل، پیامک و هشدار تلفن همراه به والدین اطلاع خواهیم داد، مگر اینکه آنها از دریافت هشدارها انصراف داده باشند.”
OpenAI اذعان کرده است که این سیستم کامل نخواهد بود و گاهی ممکن است آلارم‌هایی ایجاد کند که در آنها خطر واقعی وجود نداشته باشد، “اما ما فکر می‌کنیم بهتر است که اقدام کرده و به والدین هشدار دهیم تا آنها بتوانند مداخله کنند، تا اینکه سکوت کنیم.” این شرکت همچنین گفته است که در حال کار بر روی روش‌هایی است که در صورت شناسایی تهدید قریب‌الوقوع برای زندگی و عدم دسترسی به والدین، به مقامات انتظامی یا خدمات اضطراری اطلاع دهد.
