شرکت OpenAI روز سه‌شنبه اعلام کرد که قصد دارد مکالمات حساس را به مدل‌های استدلالی مانند GPT-5 هدایت کرده و کنترل‌های والدین را طی ماه آینده راه‌اندازی کند. این بخشی از واکنش مداوم به حوادث ایمنی اخیر است که در آن ChatGPT در تشخیص ناراحتی‌های روانی با شکست مواجه شده است.
این اقدامات احتیاطی جدید پس از خودکشی نوجوانی به نام آدام رین صورت می‌گیرد. او درباره خودزنی و برنامه‌هایش برای پایان دادن به زندگی خود با ChatGPT صحبت کرده بود و این چت‌بات حتی اطلاعاتی درباره روش‌های خاص خودکشی در اختیارش گذاشته بود. والدین رین یک دادخواست مرگ ناشی از سهل‌انگاری علیه OpenAI تنظیم کرده‌اند.
OpenAI در یک پست وبلاگی در هفته گذشته، به کاستی‌های موجود در سیستم‌های ایمنی خود اعتراف کرد، از جمله ناتوانی در حفظ اقدامات احتیاطی در طول مکالمات طولانی. کارشناسان این مسائل را به عناصر طراحی اساسی نسبت می‌دهند: تمایل مدل‌ها به تأیید اظهارات کاربر و الگوریتم‌های پیش‌بینی کلمه بعدی آن‌ها که باعث می‌شود چت‌بات‌ها به جای تغییر مسیر بحث‌های بالقوه مضر، رشته‌های مکالمه را دنبال کنند.
این تمایل به طور افراطی در مورد استین-اریک سولبرگ به نمایش گذاشته شد که قتل-خودکشی او توسط وال استریت ژورنال در آخر هفته گزارش شد. سولبرگ، که سابقه بیماری روانی داشت، از ChatGPT برای تأیید و تقویت پارانویای خود مبنی بر اینکه در یک توطئه بزرگ هدف قرار گرفته، استفاده می‌کرد. هذیان‌های او به حدی پیشرفت کرد که در نهایت ماه گذشته مادرش را کشت و سپس خودکشی کرد.
OpenAI فکر می‌کند که حداقل یک راه حل برای مکالماتی که از مسیر خارج می‌شوند، می‌تواند این باشد که به طور خودکار چت‌های حساس را به مدل‌های “استدلالی” هدایت کند.
OpenAI در یک پست وبلاگی در روز سه‌شنبه نوشت: «ما اخیراً یک مسیریاب بلادرنگ معرفی کرده‌ایم که می‌تواند بین مدل‌های چت کارآمد و مدل‌های استدلالی بر اساس زمینه مکالمه، یکی را انتخاب کند. به زودی شروع به هدایت برخی از مکالمات حساس – مانند زمانی که سیستم ما نشانه‌هایی از ناراحتی حاد را تشخیص می‌دهد – به یک مدل استدلالی، مانند GPT-5 فکرکننده، خواهیم کرد تا بتواند پاسخ‌های مفیدتر و سودمندتری ارائه دهد، صرف نظر از اینکه فرد ابتدا کدام مدل را انتخاب کرده است.»
OpenAI می‌گوید که مدل‌های GPT-5 فکرکننده و o3 آن طوری ساخته شده‌اند که زمان بیشتری را صرف فکر کردن و استدلال در مورد زمینه قبل از پاسخ دادن کنند، به این معنی که آن‌ها “در برابر درخواست‌های خصمانه مقاوم‌تر هستند”.
این شرکت هوش مصنوعی همچنین گفت که کنترل‌های والدین را در ماه آینده راه‌اندازی خواهد کرد و به والدین این امکان را می‌دهد تا از طریق دعوت‌نامه ایمیلی، حساب خود را به حساب فرزند نوجوان خود متصل کنند. در اواخر تیر ماه، OpenAI «حالت مطالعه» را در ChatGPT راه‌اندازی کرد تا به دانش‌آموزان کمک کند تا قابلیت‌های تفکر انتقادی خود را در حین مطالعه حفظ کنند، به جای اینکه از ChatGPT بخواهند مقالات خود را برای آن‌ها بنویسد. به زودی، والدین قادر خواهند بود نحوه پاسخگویی ChatGPT به فرزند خود را با “قوانین رفتار مدل متناسب با سن، که به طور پیش‌فرض روشن هستند” کنترل کنند.
والدین همچنین می‌توانند ویژگی‌هایی مانند حافظه و تاریخچه چت را غیرفعال کنند، که به گفته کارشناسان می‌تواند منجر به تفکر هذیانی و سایر رفتارهای مشکل‌ساز، از جمله مسائل مربوط به وابستگی و دلبستگی، تقویت الگوهای فکری مضر و توهم ذهن‌خوانی شود. بر اساس گزارش نیویورک تایمز، در مورد آدام رین، ChatGPT روش‌هایی را برای خودکشی ارائه کرد که نشان‌دهنده آگاهی از علایق او بود.
شاید مهم‌ترین کنترل والدین که OpenAI قصد دارد آن را راه‌اندازی کند این است که والدین می‌توانند هنگامیکه سیستم تشخیص می‌دهد نوجوانشان در لحظه “ناراحتی حاد” قرار دارد، اعلان دریافت کنند.
خبرنگار از OpenAI خواسته است اطلاعات بیشتری در مورد چگونگی علامت‌گذاری لحظات ناراحتی حاد به صورت بلادرنگ، چه مدت است که “قوانین رفتار مدل متناسب با سن” را به طور پیش‌فرض روشن کرده است و آیا در حال بررسی این موضوع است که به والدین اجازه دهد محدودیت زمانی برای استفاده نوجوانان از ChatGPT اعمال کنند یا خیر، ارائه دهد.
OpenAI در حال حاضر یادآورهایی را در داخل برنامه در طول جلسات طولانی برای تشویق به استراحت برای همه کاربران ارائه کرده است، اما از قطع کردن افرادی که ممکن است از ChatGPT برای ایجاد افکار منفی و مخرب استفاده کنند، خودداری می‌کند.
این شرکت هوش مصنوعی می‌گوید که این اقدامات احتیاطی بخشی از “ابتکار 120 روزه” برای پیش‌نمایش برنامه‌هایی برای بهبودهایی است که OpenAI امیدوار است امسال راه‌اندازی کند. این شرکت همچنین گفت که با کارشناسان – از جمله متخصصان در زمینه‌هایی مانند اختلالات خوردن، سوء مصرف مواد و سلامت نوجوانان – از طریق شبکه جهانی پزشکان و شورای متخصصان در زمینه بهزیستی و هوش مصنوعی همکاری می‌کند تا به “تعریف و اندازه‌گیری بهزیستی، تعیین اولویت‌ها و طراحی اقدامات احتیاطی آینده” کمک کند.
خبرنگار از OpenAI پرسیده است که چند متخصص بهداشت روان در این ابتکار مشارکت دارند، چه کسی رهبری شورای متخصصان آن را بر عهده دارد و متخصصان بهداشت روان چه پیشنهاداتی در زمینه محصول، تحقیق و تصمیم‌گیری‌های سیاستی ارائه کرده‌اند.
منبع: techcrunch.com
