مدل‌های استدلال جدید OpenAI بیشتر دچار توهم (hallucination) می‌شوند.

ChatGPT said: مدل‌های هوش مصنوعی جدید OpenAI با نام‌های o3 و o4-mini که به‌تازگی معرفی شده‌اند، از بسیاری جهات پیشرفته و مدرن هستند.

اما این مدل‌های جدید همچنان دچار توهم (hallucination) می‌شوند به این معنا که اطلاعات نادرست تولید می‌کنند و در واقع بیشتر از چند مدل قدیمی‌تر OpenAI دچار این مشکل هستند.

توهم (hallucination) یکی از بزرگ‌ترین و سخت‌ترین مشکلات حل‌نشده در حوزه هوش مصنوعی است که حتی بر بهترین سیستم‌های فعلی نیز تأثیر می‌گذارد. در گذشته، هر مدل جدید معمولاً نسبت به مدل قبلی خود عملکرد بهتری در کاهش توهم داشت.

اما به نظر می‌رسد این روند در مورد o3 و o4-mini ادامه پیدا نکرده است. طبق آزمایش‌های داخلی OpenAI، مدل‌های o3 و o4-mini که تحت عنوان مدل‌های استدلالی (reasoning models) شناخته می‌شوند، بیشتر از مدل‌های استدلالی قبلی مانند o1، o1-mini و o3-mini و حتی مدل‌های سنتی غیر استدلالی مثل GPT-4o دچار توهم می‌شوند.

نگران‌کننده‌تر اینکه، خود OpenAI دقیقاً نمی‌داند چرا این اتفاق افتاده است. در گزارش فنی مربوط به مدل‌های o3 و o4-mini، OpenAI می‌نویسد که برای درک دلیل افزایش توهم در این مدل‌های استدلالی، به تحقیقات بیشتری نیاز است. این مدل‌ها در برخی زمینه‌ها مانند کدنویسی و ریاضیات عملکرد بهتری دارند. اما از آنجا که ادعاهای بیشتری تولید می‌کنند، طبق گزارش، هم ادعاهای دقیق‌تر و هم ادعاهای نادرست/توهمی بیشتری دارند. OpenAI دریافت که مدل o3 در پاسخ به ۳۳٪ سوالات در PersonQA (ابزار سنجش دقت دانسته‌های مدل درباره افراد) دچار توهم شده است.

این عدد تقریباً دو برابر نرخ توهم در مدل‌های o1 (۱۶٪) و o3-mini (۱۴.۸٪) است. مدل o4-mini عملکردی حتی بدتر داشته و در ۴۸٪ موارد دچار توهم شده است. در تست‌های مستقل آزمایشگاه تحقیقاتی غیرانتفاعی Transluce نیز شواهدی یافت شده که نشان می‌دهد مدل o3 اقداماتی را در پاسخ‌های خود بیان می‌کند که واقعاً انجام نداده است. در یک نمونه، o3 ادعا کرده بود که یک کد را روی یک مک‌بوک پرو ۲۰۲۱ اجرا کرده و نتایج را به پاسخ اضافه کرده است – در حالی که چنین قابلیتی ندارد.

نیل چودری، پژوهشگر Transluce و کارمند پیشین OpenAI، در ایمیلی به TechCrunch گفت: «فرض ما این است که نوع یادگیری تقویتی استفاده‌شده در مدل‌های سری o ممکن است مشکلاتی را که در فرایندهای معمول پس‌آموزش (post-training) کاهش می‌یافتند، تقویت کرده باشد.» سارا شویتمن، هم‌بنیان‌گذار Transluce نیز افزود: «نرخ بالای توهم در مدل o3 ممکن است باعث شود این مدل کارایی کمتری نسبت به پتانسیل واقعی خود داشته باشد.» کیان کتان‌فروشان، استاد دانشگاه استنفورد و مدیرعامل شرکت آموزشی Workera نیز گفت تیمش در حال استفاده آزمایشی از مدل o3 در جریان کدنویسی است و آن را بهتر از مدل‌های رقیب می‌دانند.

اما اضافه کرد که o3 اغلب لینک‌هایی ارائه می‌دهد که کار نمی‌کنند و کاربران را به صفحات اشتباه یا غیرقابل‌دسترسی هدایت می‌کند. توهمات مدل‌ها گاهی می‌توانند منجر به ایده‌های خلاقانه شوند، اما در صنایعی که دقت حیاتی است، این مشکل می‌تواند مانعی جدی باشد. مثلاً یک شرکت حقوقی احتمالاً از مدلی که در قراردادهای مشتریان، خطاهای واقعی وارد می‌کند، رضایت نخواهد داشت. یکی از راه‌های امیدبخش برای افزایش دقت مدل‌ها، افزودن قابلیت جستجوی وب است. نسخه GPT-4o با جستجوی وب توانسته ۹۰٪ دقت در ابزار SimpleQA (یکی از معیارهای OpenAI برای ارزیابی دقت) کسب کند. این ویژگی ممکن است به بهبود نرخ توهم در مدل‌های استدلالی نیز کمک کند – البته در صورتی که کاربران حاضر باشند درخواست‌های خود را با موتورهای جستجوی شخص ثالث به اشتراک بگذارند.

اگر مقیاس‌پذیری مدل‌های استدلالی منجر به افزایش توهم شود، یافتن راه‌حل برای این مشکل اهمیت دوچندانی خواهد یافت. نیکو فلیکس، سخنگوی OpenAI در ایمیلی به TechCrunch گفت: «پرداختن به مشکل توهم در تمامی مدل‌های ما، حوزه‌ای در حال تحقیق و توسعه است و ما به‌طور مداوم در تلاش برای بهبود دقت و قابلیت اطمینان آن‌ها هستیم.» در یک سال گذشته، صنعت گسترده‌تر هوش مصنوعی تمرکز خود را به سمت مدل‌های استدلالی تغییر داده، زیرا تکنیک‌های ارتقاء مدل‌های سنتی به بازده کمتری رسیده‌اند. مدل‌های استدلالی بدون نیاز به منابع عظیم پردازشی و داده‌ای، عملکرد بهتری در بسیاری از وظایف دارند. اما به نظر می‌رسد که استدلال قوی‌تر ممکن است با توهم بیشتر همراه باشد — که خود یک چالش بزرگ است.

منبع:techcrunch