مدل هوش مصنوعی o3 شرکت OpenAI در یک معیار سنجش، امتیاز کمتری نسبت به آن‌چه شرکت در ابتدا القا کرده بود کسب کرده است.

تفاوت میان نتایج معیارسنجی (Benchmark) داخلی و خارجی برای مدل هوش مصنوعی o3 شرکت OpenAI، باعث مطرح شدن پرسش‌هایی درباره شفافیت شرکت و روش‌های تست مدل آن شده است.

زمانی که OpenAI مدل o3 را در ماه دسامبر معرفی کرد، مدعی شد این مدل می‌تواند به بیش از یک‌چهارم از پرسش‌های مجموعه FrontierMath (مجموعه‌ای از مسائل دشوار ریاضی) پاسخ صحیح بدهد.

این رقم به‌طور چشمگیری از مدل‌های دیگر بالاتر بود در حالی که بهترین مدل‌ بعدی تنها توانسته بود به حدود ۲ درصد از این سوالات پاسخ درست بدهد. مارک چن، مدیر ارشد تحقیقاتی OpenAI، در یک لایو گفت: «در حال حاضر همه مدل‌های موجود کمتر از ۲٪ روی FrontierMath عملکرد دارند. ما در آزمایش‌های داخلی، با تنظیمات محاسباتی سنگین برای o3، شاهد عبور از ۲۵٪ بودیم.» اما حالا مشخص شده این رقم احتمالاً سقف عملکرد مدل بوده است که با نسخه‌ای قدرتمندتر از o3 به‌دست آمده؛ نسخه‌ای که با نسخه عمومی منتشرشده تفاوت دارد.

مؤسسه تحقیقاتی Epoch AI، سازنده مجموعه FrontierMath، روز جمعه نتایج بنچمارک‌های مستقل خود از o3 را منتشر کرد. طبق این نتایج، مدل o3 تنها توانسته حدود ۱۰٪ از سوالات را درست پاسخ دهد بسیار کمتر از عدد اعلام‌شده توسط OpenAI.البته این به آن معنا نیست که OpenAI لزوماً دروغ گفته است. نسخه رسمی بنچمارک منتشرشده توسط OpenAI در دسامبر نیز شامل عددی پایین‌تر بوده که با عدد گزارش‌شده توسط Epoch همخوانی دارد.

Epoch همچنین اشاره کرده که تنظیمات تست آن‌ها متفاوت با OpenAI بوده و از نسخه به‌روزرسانی‌شده‌ای از FrontierMath استفاده کرده‌اند. Epoch نوشت: «تفاوت نتایج ما و OpenAI ممکن است ناشی از استفاده OpenAI از چارچوب داخلی قدرتمندتر، محاسبات بیشتر در زمان اجرا (test-time compute) یا تفاوت در زیرمجموعه سوالات باشد (مثلاً ۱۸۰ سوال در نسخه frontiermath-2024-11-26 در برابر ۲۹۰ سوال در frontiermath-2025-02-28-private).»

براساس پستی از بنیاد ARC Prize (که نسخه پیش‌انتشار o3 را آزمایش کرده)، نسخه عمومی o3 در واقع مدلی متفاوت و بهینه‌شده برای چت و کاربردهای محصولی است که این گزارش Epoch را تأیید می‌کند. ARC Prize نوشت: «تمام نسخه‌های o3 منتشرشده از نظر محاسباتی ضعیف‌تر از مدلی هستند که ما بنچمارک کرده بودیم.»

در حالت کلی، نسخه‌های با منابع محاسباتی بیشتر معمولاً امتیازهای بالاتری در بنچمارک‌ها می‌گیرند.وندا ژو، یکی از اعضای تیم فنی OpenAI، هفته گذشته در یک لایو گفت که نسخه تولیدی o3 بیشتر برای سرعت و کاربرد واقعی در دنیای واقعی بهینه‌سازی شده و نسبت به نسخه‌ی دمو شده در دسامبر ممکن است در بنچمارک‌ها اختلاف عملکرد نشان دهد. ژو توضیح داد: «ما تغییراتی اعمال کردیم تا مدل مقرون‌به‌صرفه‌تر و مفیدتر شود. همچنان معتقدیم که این مدل بسیار بهتر از قبل است. مثلاً وقتی سوالی می‌پرسید، دیگر لازم نیست مدت زیادی منتظر بمانید، که برای این نوع مدل‌ها واقعاً مهم است.» با این حال، اینکه نسخه عمومی o3 پایین‌تر از ادعاهای اولیه OpenAI عمل کرده، شاید اهمیت زیادی نداشته باشد چرا که مدل‌های دیگر OpenAI مثل o3-mini-high و o4-mini در FrontierMath عملکرد بهتری نسبت به o3 دارند و نسخه قدرتمندتر o3 با نام o3-pro نیز به‌زودی منتشر خواهد شد. اما این موضوع بار دیگر یادآور این نکته است که بنچمارک‌ها را نباید بدون بررسی دقیق پذیرفت به‌ویژه زمانی که از سوی شرکتی ارائه می‌شوند که خدمات برای فروش دارد.

حاشیه‌های مربوط به بنچمارک در صنعت هوش مصنوعی به موضوعی رایج تبدیل شده‌اند، زیرا شرکت‌ها برای جلب توجه و تیتر رسانه‌ها در رقابت هستند. در ماه ژانویه، Epoch به خاطر عدم افشای حمایت مالی OpenAI تا بعد از معرفی مدل o3 مورد انتقاد قرار گرفت. بسیاری از دانشگاهیانی که در توسعه FrontierMath مشارکت داشتند، تا زمانی که این موضوع علنی نشد، از دخالت OpenAI اطلاعی نداشتند. اخیراً هم شرکت xAI متعلق به ایلان ماسک به خاطر انتشار نمودارهای گمراه‌کننده بنچمارک برای مدل Grok 3 مورد انتقاد قرار گرفت. همچنین، متا (Meta) در همین ماه تأیید کرد که برای یک نسخه از مدل خود که به توسعه‌دهندگان ارائه نشده بود، امتیازات بنچمارک تبلیغ کرده است.

منبع:techcrunch