یکی از مدل‌های اخیر Gemini هوش مصنوعی گوگل، عملکرد ضعیف‌تری در زمینه ایمنی داشته است.

طبق ارزیابی‌های داخلی شرکت گوگل، یکی از مدل‌های هوش مصنوعی تازه منتشرشده این شرکت در برخی آزمون‌های ایمنی نسبت به نسخه قبلی عملکرد ضعیف‌تری دارد.

در گزارشی فنی که این هفته منتشر شده، گوگل اعلام کرده است که مدل Gemini 2.5 Flash بیشتر از نسخه قبلی خود، Gemini 2.0 Flash، احتمال دارد متنی تولید کند که با دستورالعمل‌های ایمنی شرکت مغایرت داشته باشد. در دو شاخص «ایمنی متن به متن» و «ایمنی تصویر به متن»، عملکرد Gemini 2.5 Flash به ترتیب ۴.۱٪ و ۹.۶٪ پسرفت داشته است. «ایمنی متن به متن» نشان می‌دهد که مدل با دریافت یک ورودی متنی، چند بار دستورالعمل‌های ایمنی را نقض می‌کند.

در مقابل، «ایمنی تصویر به متن» میزان پایبندی مدل را هنگام پاسخ به ورودی تصویری می‌سنجد. هر دو آزمون به‌صورت خودکار انجام می‌شوند و تحت نظارت انسانی نیستند.

سخنگوی گوگل در بیانیه‌ای ایمیلی تأیید کرد که مدل Gemini 2.5 Flash عملکرد ضعیف‌تری در زمینه ایمنی متنی و تصویری دارد.

این نتایج غیرمنتظره در حالی منتشر شده که بسیاری از شرکت‌های هوش مصنوعی در تلاش‌اند مدل‌های خود را انعطاف‌پذیرتر کنند—یعنی تمایل کمتری به خودداری از پاسخ به موضوعات حساس یا بحث‌برانگیز داشته باشند. شرکت Meta برای مدل‌های جدید Llama اعلام کرده که آن‌ها را طوری تنظیم کرده تا از تأیید دیدگاه خاصی خودداری کرده و به درخواست‌های سیاسی بحث‌برانگیز پاسخ دهند.

OpenAI نیز پیش‌تر در سال جاری اعلام کرد که مدل‌های آینده‌اش موضع‌گیری تحریری نخواهند داشت و دیدگاه‌های مختلف را درباره موضوعات جنجالی ارائه خواهند داد. با این حال، تلاش برای انعطاف‌پذیری بیشتر گاهی نتیجه معکوس داشته است. TechCrunch گزارش داد که مدل پیش‌فرض ChatGPT به کاربران نوجوان اجازه داده گفت‌وگوهایی با محتوای شهوانی ایجاد کنند.

OpenAI این رفتار را به «باگ» نسبت داد. طبق گزارش فنی گوگل، مدل Gemini 2.5 Flash — که هنوز در مرحله پیش‌نمایش است — نسبت به Gemini 2.0 Flash دستورات را با وفاداری بیشتری اجرا می‌کند؛ حتی اگر آن دستورات از مرزهای مشکل‌ساز عبور کنند. گوگل بخشی از این پسرفت را ناشی از «مثبت‌های کاذب» می‌داند، اما اذعان دارد که این مدل گاهی در پاسخ‌های مستقیم، محتوای نقض‌کننده تولید می‌کند.

در گزارش آمده است: «به‌طور طبیعی، میان پیروی از دستورالعمل‌ها در موضوعات حساس و نقض سیاست‌های ایمنی، نوعی تنش وجود دارد که در ارزیابی‌های ما نیز بازتاب یافته است.» نتایج حاصل از SpeechMap، که معیاری برای بررسی واکنش مدل‌ها به درخواست‌های حساس و بحث‌برانگیز است، نیز نشان می‌دهد که Gemini 2.5 Flash نسبت به نسخه 2.0 بسیار کمتر تمایل دارد که از پاسخ دادن به سؤالات جنجالی خودداری کند.

بررسی‌های TechCrunch از این مدل از طریق پلتفرم OpenRouter نشان داد که مدل بدون اعتراض مقاله‌هایی در حمایت از جایگزینی قضات انسانی با هوش مصنوعی، تضعیف حقوق دادرسی در ایالات متحده، و اجرای برنامه‌های گسترده نظارتی بدون مجوز دولتی می‌نویسد. توماس وودساید، یکی از بنیان‌گذاران پروژه Secure AI، گفت که جزئیات محدودی که گوگل در گزارش فنی خود ارائه کرده، نشان‌دهنده نیاز به شفافیت بیشتر در آزمون‌های مدل است. وودساید در گفت‌وگو با TechCrunch اظهار داشت: «میان پیروی از دستورالعمل‌ها و رعایت سیاست‌ها تعارض وجود دارد، زیرا برخی کاربران ممکن است محتوایی درخواست کنند که با سیاست‌ها مغایرت دارد. در این مورد، مدل Flash جدید گوگل بیشتر از دستورات پیروی می‌کند اما در عین حال بیشتر سیاست‌ها را نقض می‌کند. گوگل اطلاعات زیادی درباره موارد خاص نقض سیاست ارائه نمی‌دهد، هرچند ادعا می‌کند موارد نقض شدید نیستند.

اما بدون دانستن جزئیات بیشتر، تحلیلگران مستقل نمی‌توانند به‌درستی تشخیص دهند که آیا مشکلی وجود دارد یا نه.» گوگل پیش از این نیز به دلیل نحوه گزارش‌دهی درباره ایمنی مدل‌هایش مورد انتقاد قرار گرفته بود. این شرکت هفته‌ها طول کشید تا گزارش فنی مدل قدرتمند خود، Gemini 2.5 Pro را منتشر کند. زمانی هم که گزارش منتشر شد، در ابتدا جزئیات کلیدی مربوط به آزمون‌های ایمنی در آن درج نشده بود. در روز دوشنبه، گوگل نسخه‌ای دقیق‌تر از این گزارش را با اطلاعات ایمنی بیشتر منتشر کرد.

منبع:techcrunch