«آیا پژوهشگران می‌توانند جلوی ساختگی بودن منابع توسط هوش مصنوعی را بگیرند؟»
«مدل‌های هوش مصنوعی (AI) شناخته شده‌اند که با اعتماد به نفس بالا استنادهای جعلی تولید می‌کنند. زمانی که شرکت اوپن‌ای‌آی ماه گذشته GPT-5، مجموعه‌ای از مدل‌های زبانی بزرگ (LLM)، را منتشر کرد، اعلام کرد که توانسته فراوانی استنادهای جعلی و دیگر انواع "توهم" (hallucination) را کاهش دهد.
همچنین میزان "فریبکاری" (deception) را هم کمتر کرده است؛ حالتی که در آن یک هوش مصنوعی ادعا می‌کند کاری را انجام داده در حالی که واقعاً آن کار انجام نشده است.»«با معرفی GPT-5، شرکت اوپن‌ای‌آی که در سان‌فرانسیسکو، کالیفرنیا مستقر است، برخلاف روند کلی صنعت عمل کرده است.
زیرا معمولاً مدل‌های جدیدتر هوش مصنوعی که برای تقلید از استدلال انسانی طراحی می‌شوند، نسبت به نسخه‌های قبلی خود دچار توهمات بیشتری می‌شوند. در یک آزمون معیار (Benchmark) که توانایی مدل را در تولید پاسخ‌های مبتنی بر استناد آزمایش می‌کند، GPT-5 عملکرد بهتری نسبت به مدل‌های پیشین خود داشت.
با این حال، توهمات همچنان اجتناب‌ناپذیر هستند، به دلیل نحوه عملکرد مدل‌های زبانی بزرگ (LLMها).»«تیانیانگ شو (Tianyang Xu)، پژوهشگر هوش مصنوعی در دانشگاه پوردو (Purdue University) در وست لافایت، ایندیانا، می‌گوید: «در بیشتر موارد توهم (Hallucination)، نرخ آن به سطحی کاهش یافته که به نظر می‌رسد برای کاربران قابل‌قبول است.» اما او می‌افزاید که در حوزه‌های فنی‌تر، مانند حقوق و ریاضیات، GPT-5 همچنان احتمالاً با مشکل روبه‌رو خواهد شد.
و با وجود بهبود در نرخ توهم، کاربران خیلی سریع متوجه شدند که این مدل در وظایف ساده نیز دچار خطا می‌شود؛ برای مثال در ایجاد یک جدول زمانی تصویری از رؤسای‌جمهور ایالات متحده.»«مارک استیورز (Mark Steyvers)، پژوهشگر علوم شناختی و هوش مصنوعی در دانشگاه کالیفرنیا، ارواین، می‌گوید: «اوپن‌ای‌آی در حال برداشتن گام‌های کوچک و مفیدی است، اما فکر نمی‌کنم هنوز به نقطه‌ای که باید برسیم نزدیک شده باشیم.» او اضافه می‌کند: «بسامدی که GPT بگوید "نمی‌دانم" هنوز کافی نیست.»
یک ویژگی، نه یک خطا
توهم‌ها (Hallucinations) نتیجه‌ی روش بنیادی هستند که مدل‌های زبانی بزرگ (LLMs) با آن کار می‌کنند. این مدل‌ها به‌عنوان ماشین‌های آماری، با تعمیم دادن بر اساس ارتباطات یادگرفته‌شده پیش‌بینی انجام می‌دهند؛ بنابراین پاسخ‌هایی تولید می‌کنند که قابل‌قبول به نظر می‌رسند، اما گاهی اشتباه‌اند.
مشکل دیگر این است که مشابه دانش‌آموزی که در یک امتحان چندگزینه‌ای با حدس زدن امتیاز می‌گیرد در طول فرآیند آموزش، مدل‌های زبانی بزرگ به خاطر «امتحان کردن» پاداش دریافت می‌کنند، نه به خاطر پذیرفتن عدم قطعیت. این موضوع طبق یک نسخه پیش‌انتشار که توسط اوپن‌ای‌آی در تاریخ ۴ سپتامبر منتشر شده، مطرح شده است.
«به گفته شو (Xu)، بهبودها از طریق افزایش مقیاس مدل‌های زبانی بزرگ (LLMs) حاصل شده‌اند چه از نظر غنای ارتباطات داخلی آن‌ها و چه از نظر حجم داده‌هایی که روی آن‌ها آموزش داده شده‌اند. اما او می‌افزاید که توهم‌ها به‌ویژه در موضوعاتی شایع‌تر هستند که مدل داده آموزشی اندکی درباره آن‌ها دارد یا اطلاعات پایه‌ای آن نادرست است. همچنین، توهم‌ها زمانی هم رخ می‌دهند که یک هوش مصنوعی تلاش می‌کند مقالاتی را خلاصه یا تحلیل کند که طول آن‌ها بیش از ظرفیت پردازشی مدل باشد.»
«مشتیاق بلال (Mushtaq Bilal)، پژوهشگر در شرکت سیلوی (Silvi) یک شرکت مستقر در کپنهاگ که اپلیکیشن هوش مصنوعی برای کمک به ایجاد مرورهای نظام‌مند علمی توسعه می‌دهد می‌گوید: «احتمالاً حذف کامل توهم‌ها (hallucinations) غیرممکن خواهد بود. من فکر می‌کنم اگر این کار ممکن بود، آزمایشگاه‌های هوش مصنوعی تا الان آن را انجام داده بودند.»»
«ساچی جین (Saachi Jain)، مدیر تیم آموزش ایمنی هوش مصنوعی در اوپن‌ای‌آی، می‌گوید: «کاهش خطاها و واداشتن مدل به اینکه اعتراف کند پاسخی را نمی‌داند، تمرکز بسیار جدی ما بوده است.» بر اساس اسناد فنی منتشرشده همراه با GPT-5، اوپن‌ای‌آی تمرکز خود را روی «آموزش مدل‌ها برای جستجوی مؤثر اطلاعات به‌روز» و همچنین کاهش توهم‌ها گذاشته است. به گفته جین، این شرکت روی کاهش توهم‌ها در پاسخ‌های طولانی و باز به پرسش‌ها تمرکز کرده است، زیرا این حالت بیشترین شباهت را به استفاده واقعی از ChatGPT دارد.»
«آکاری آسای (Akari Asai)، پژوهشگر هوش مصنوعی در مؤسسه آلن برای هوش مصنوعی (Allen Institute for AI) مستقر در سیاتل، واشینگتن، که این آزمون‌ها را برای نشریه Nature اجرا کرده است، می‌گوید: در یک بنچمارک مرور ادبیات علمی به نام ScholarQA-CS، GPT-5 زمانی که اجازه دسترسی به وب داشته باشد "عملکرد خوبی" دارد. به‌عنوان مثال، در پاسخ به پرسش‌های باز در حوزه علوم کامپیوتر، این مدل اندکی بهتر از کارشناسان انسانی عمل کرده است؛ با امتیاز درستی ۵۵٪ (بر اساس معیارهایی مانند میزان پشتیبانی اظهارات آن با استنادها) در مقایسه با ۵۴٪ برای دانشمندان. اما همچنان کمی عقب‌تر از نسخه‌ای از سیستم مرور ادبیات مبتنی بر LLM خود مؤسسه، به نام OpenScholar بوده است که امتیاز ۵۷٪ کسب کرده است.»
«با این حال، به گفته آسای (Asai)، زمانی که GPT-5 قادر به اتصال به اینترنت نبود، عملکرد آن ضعیف شد. توانایی بررسی و تطبیق با پایگاه‌های داده علمی یک ویژگی کلیدی در بیشتر سیستم‌های مبتنی بر هوش مصنوعی است که برای کمک به مرور ادبیات طراحی شده‌اند. بدون دسترسی به اینترنت، GPT-5 نیمی از تعداد استنادهای ساختگی یا درهم‌ریخته‌ای را تولید کرد که یکی از نسخه‌های قبلی آن، یعنی GPT-4o، ایجاد کرده بود. اما همچنان به گفته او، این مدل در ۳۹٪ موارد اشتباه داشت.»
«در آزمون LongFact، که دقت پاسخ‌ها در متن‌های بلند را می‌سنجد، اوپن‌ای‌آی گزارش داد که GPT-5 در پاسخ‌های مربوط به افراد یا مکان‌ها، زمانی که امکان مرور وب داشت، تنها در ۰.۸٪ از ادعاها دچار توهم (Hallucination) شد. این در حالی است که مدل استدلالی اوپن‌ای‌آی، یعنی o3، در همین شرایط نرخ خطای ۵.۱٪ داشت. عملکرد GPT-5 زمانی کاهش یافت که امکان مرور وب وجود نداشت و نرخ خطای آن به ۱.۴٪ رسید، در مقایسه با ۷.۹٪ برای o3. هر دو مدل عملکردی ضعیف‌تر از مدل غیر استدلالی GPT-4o داشتند که در حالت آفلاین نرخ خطای ۱.۱٪ را ثبت کرده بود.»
«در سایر ارزیابی‌های مستقل مانند مدل ارزیابی توهم هیوز (Hughes Hallucination Evaluation Model) که توسط پلتفرم هوش مصنوعی Vectara در پالو آلتو، کالیفرنیا اجرا می‌شود و بررسی می‌کند که یک مدل زبانی بزرگ (LLM) هنگام خلاصه‌سازی یک سند چند بار ادعاهای نادرست تولید می‌کند مدل‌های رقیب مانند Gemini 2.0 گوگل کمی بهتر از GPT-5 عمل کردند، هرچند هر دو کمتر از ۱.۵٪ خطا داشتند.»
«یاد گرفتنِ پذیرش شکست»
«اوپن‌ای‌آی همچنین گزارش داد که GPT-5 در مقایسه با مدل‌های قبلی این شرکت، پاسخ‌های صادقانه‌تری ارائه می‌دهد. برای مثال، زمانی که به آن یک وظیفه‌ی برنامه‌نویسی غیرممکن داده شد مثلاً به دلیل نداشتن دسترسی به سخت‌افزار مورد نیاز GPT-5 تنها در ۱۷٪ مواقع ادعا کرد که کار را انجام داده است، در حالی که این عدد برای مدل o3 حدود ۴۷٪ بود. هرچند جین (Jain) جزئیات روش‌های شرکت را بیان نکرد، اما اشاره کرد که در مراحل پایانی آموزش مدل، اوپن‌ای‌آی روی پاداش‌دهی به مدل برای پاسخ‌های صادقانه کار کرده است.»
«همین مرحله از آموزش ممکن است در گذشته نتیجه‌ای معکوس داشته و باعث افزایش ناصداقتی مدل شده باشد. اوپن‌ای‌آی گفته است که مدل‌ها می‌توانند در طول آموزش یاد بگیرند که بیش‌ازحد مطمئن (Overconfident) باشند و حتی "تقلب" کنند؛ آن هم با استفاده از یک تکنیک رایج که آن‌ها را تشویق می‌کند به گونه‌ای پاسخ دهند که برای ارزیابان انسانی مفید به نظر برسد.»
«پژوهشگران در حال بررسی راه‌هایی هستند تا مدل‌های زبانی بزرگ (LLMs) بتوانند سطح اطمینان خود را نسبت به درستی یک پاسخ آشکار کنند، اما هنوز مشخص نیست که آیا این مدل‌ها قادرند این احتمال آماری را به‌طور دقیق برآورد کنند یا نه. جین (Jain) می‌گوید چنین تلاش‌هایی برای اوپن‌ای‌آی "یک حوزه کاری بسیار فعال" محسوب می‌شود.»
«استیورز (Steyvers) می‌گوید آزمون‌های واقع‌گرایانه درباره چگونگی تعامل انسان‌ها با مدل‌ها و تصمیم‌گیری آن‌ها بر اساس اطلاعات داده‌شده، معیارهای مهمی هستند که در ارزیابی‌های اوپن‌ای‌آی نادیده گرفته شده‌اند. او می‌افزاید: مردم اغلب خروجی‌های هوش مصنوعی را همان‌طور که هست می‌پذیرند، حتی با وجود هشدارهایی مبنی بر اینکه نباید چنین کنند، زیرا مدل‌های زبانی بزرگ (LLMs) طوری طراحی شده‌اند که پاسخ‌هایی با اعتمادبه‌نفس و مفصل تولید کنند — ویژگی‌هایی که انسان‌ها معمولاً آن را با تخصص واقعی مرتبط می‌دانند. او اضافه می‌کند: «حتی خود من هم گاهی تحت تأثیر قرار می‌گیرم، با اینکه از این سوگیری‌ها آگاه هستم.»»
«دیگر پژوهشگران بیشتر بر نقشی تمرکز می‌کنند که خود افراد در مدیریت استفاده‌شان از مدل‌های زبانی بزرگ (LLMs) ایفا می‌کنند. به گفته بلال (Bilal)، بین توهمات (hallucinations) و ظرفیت "عظیم" این مدل‌ها برای صرفه‌جویی در کار زمانی که به‌درستی استفاده شوند یک موازنه وجود دارد.
او می‌گوید: «این مسئله در واقع مربوط به ساختن نوعی شهود تازه برای عصر هوش مصنوعی است.»
منبع:nature