«استانداردهای عملکرد (بنچمارک‌های) متا برای مدل‌های هوش مصنوعی جدیدش تا حدی گمراه‌کننده هستند.»
یکی از مدل‌های شاخص جدید هوش مصنوعی که متا روز شنبه معرفی کرد، به نام «Maverick»، در آزمون LM Arena رتبه دوم را کسب کرده است؛ آزمایشی که در آن ارزیاب‌های انسانی خروجی مدل‌ها را مقایسه کرده و مدل مورد علاقه‌شان را انتخاب می‌کنند.
اما به‌نظر می‌رسد نسخه‌ای از Maverick که متا در LM Arena به‌کار برده، با نسخه‌ای که به‌طور عمومی در اختیار توسعه‌دهندگان قرار گرفته متفاوت است. چندین پژوهشگر هوش مصنوعی در شبکه X (توییتر سابق) اشاره کرده‌اند که متا در اطلاعیه‌اش ذکر کرده نسخه‌ی استفاده‌شده در LM Arena یک «نسخه آزمایشی چت» بوده است.
در وب‌سایت رسمی Llama نیز جدولی وجود دارد که نشان می‌دهد تست LM Arena با نسخه‌ای از Llama 4 Maverick انجام شده که «برای مکالمه بهینه‌سازی شده» است. ما قبلاً هم درباره این موضوع نوشته‌ایم که LM Arena به دلایل مختلف هرگز معیار کاملاً قابل اعتمادی برای ارزیابی عملکرد مدل‌های هوش مصنوعی نبوده است.
با این حال، شرکت‌های فعال در زمینه هوش مصنوعی معمولاً مدل‌های خود را برای گرفتن امتیاز بهتر در LM Arena سفارشی‌سازی نکرده‌اند یا حداقل به این کار اعتراف نکرده‌اند.
مشکل اینجاست که اگر مدلی را برای عملکرد بهتر در یک بنچمارک تنظیم کنید، اما همان نسخه را منتشر نکنید و به‌جای آن یک نسخه‌ی ساده‌تر («ونیل») منتشر کنید، توسعه‌دهندگان نمی‌توانند عملکرد واقعی مدل را در موقعیت‌های مختلف پیش‌بینی کنند. این کار گمراه‌کننده است.
ایده‌آل این است که بنچمارک‌ها با تمام نواقصی که دارند تصویری واقعی از نقاط قوت و ضعف یک مدل در مجموعه‌ای از وظایف مختلف ارائه دهند.
در واقع، محققان در X تفاوت‌های چشمگیری بین نسخه‌ی عمومی Maverick و نسخه‌ای که در LM Arena میزبانی شده مشاهده کرده‌اند.
نسخه‌ی LM Arena به‌طور قابل توجهی از ایموجی‌های زیادی استفاده می‌کند و پاسخ‌هایی بسیار طولانی و مفصل می‌دهد.
منبع:techcrunch