«Open AI برنامه‌ای برای طراحی بنچمارک‌های جدید هوش مصنوعی ویژه هر حوزه راه‌اندازی کرد.»
OpenAI معتقد است که بنچمارک‌های هوش مصنوعی دچار مشکل هستند. حالا این شرکت برنامه‌ای را برای اصلاح نحوه امتیازدهی به مدل‌های هوش مصنوعی راه‌اندازی کرده است.
برنامه جدید OpenAI Pioneers Program تمرکزش بر ایجاد ارزیابی‌هایی برای مدل‌های هوش مصنوعی خواهد بود که «استانداردی برای آنچه که خوب است» تعیین کند، همانطور که OpenAI در یک پست وبلاگ توضیح داده است.
شرکت در پست خود ادامه می‌دهد: «با شتاب گرفتن پذیرش هوش مصنوعی در صنایع مختلف، نیاز به درک و بهبود تأثیر آن در جهان احساس می‌شود.» «ایجاد ارزیابی‌های خاص هر حوزه یکی از روش‌ها برای بازتاب بهتر موارد استفاده واقعی است که به تیم‌ها کمک می‌کند عملکرد مدل‌ها را در محیط‌های عملی و با ریسک بالا ارزیابی کنند.»
همانطور که جنجال اخیر در مورد بنچمارک crowdsourced LM Arena و مدل Maverick متا نشان می‌دهد، امروزه دشوار است که دقیقاً بدانیم چه چیزی یک مدل را از مدل دیگر متمایز می‌کند.
بسیاری از بنچمارک‌های هوش مصنوعی رایج عملکرد را در وظایف دشوار اندازه‌گیری می‌کنند، مانند حل مسائل ریاضی در سطح دکترا. برخی دیگر قابل دستکاری هستند یا با ترجیحات بیشتر مردم هم‌راستا نیستند.
از طریق برنامه Pioneers Program، OpenAI امیدوار است که بنچمارک‌هایی برای حوزه‌های خاصی مانند حقوق، مالی، بیمه، مراقبت‌های بهداشتی و حسابداری ایجاد کند. این آزمایشگاه می‌گوید که در ماه‌های آینده با چندین شرکت برای طراحی بنچمارک‌های سفارشی همکاری خواهد کرد و در نهایت این بنچمارک‌ها را به‌طور عمومی منتشر خواهد کرد، همراه با ارزیابی‌های خاص هر صنعت.
«گروه اول بر روی استارتاپ‌هایی تمرکز خواهد کرد که به ایجاد مبنای برنامه OpenAI Pioneers کمک خواهند کرد،» OpenAI در پست وبلاگ خود نوشت. «ما چند استارتاپ را برای این گروه اولیه انتخاب می‌کنیم که هرکدام در حال کار بر روی موارد کاربردی با ارزش بالا هستند که هوش مصنوعی می‌تواند تأثیر واقعی در دنیای واقعی بگذارد.»
شرکت‌های حاضر در این برنامه همچنین این فرصت را خواهند داشت که با تیم OpenAI برای ایجاد بهبودهای مدل از طریق تقویت مجدد (reinforcement fine tuning) همکاری کنند، تکنیکی که مدل‌ها را برای یک مجموعه محدود از وظایف بهینه می‌کند.
سوال بزرگ این است که آیا جامعه هوش مصنوعی بنچمارک‌هایی که ساخت آن‌ها توسط OpenAI تأمین مالی شده است را پذیرا خواهد بود یا نه. OpenAI پیش از این تلاش‌های بنچمارک را از نظر مالی حمایت کرده است و ارزیابی‌های خود را طراحی کرده است. اما همکاری با مشتریان برای انتشار تست‌های هوش مصنوعی ممکن است به عنوان یک پل اخلاقی زیاد فراتر از حد تصور شود.
منبع:techcrunch