سیلیکون‌ولی روی «محیط‌ها» برای آموزش عامل‌های هوش مصنوعی سرمایه‌گذاری کلان می‌کند.
مدیران ارشد شرکت‌های بزرگ فناوری سال‌هاست از چشم‌انداز عامل‌های هوش مصنوعی (AI Agents) سخن می‌گویند؛ سیستم‌هایی که بتوانند به‌طور مستقل از نرم‌افزارها استفاده کنند و وظایف را برای انسان انجام دهند. اما اگر امروز سراغ نمونه‌های مصرفی این فناوری مانند ChatGPT Agent اوپن‌اِی‌آی یا Comet پرپلکسیتی بروید، خیلی زود متوجه محدودیت‌های آن خواهید شد. برای مقاوم‌تر کردن این عامل‌ها، به مجموعه‌ای از تکنیک‌های تازه نیاز است که صنعت هنوز در حال کشف آن‌هاست.
یکی از این تکنیک‌ها، شبیه‌سازی دقیق محیط‌های کاری است که عامل‌ها بتوانند در آن‌ها روی وظایف چندمرحله‌ای آموزش ببینند؛ چیزی که به نام محیط‌های یادگیری تقویتی (RL Environments) شناخته می‌شود. همان‌طور که دیتاست‌های برچسب‌گذاری‌شده موج قبلی هوش مصنوعی را به حرکت درآوردند، اکنون محیط‌های RL به‌عنوان بخش حیاتی در توسعه عامل‌ها ظاهر شده‌اند.
به گفته پژوهشگران و سرمایه‌گذاران، آزمایشگاه‌های پیشرو هوش مصنوعی تقاضای فزاینده‌ای برای محیط‌های RL دارند و استارتاپ‌های متعددی برای پاسخ‌گویی به این نیاز وارد میدان شده‌اند. جنیفر لی، شریک عمومی در Andreessen Horowitz، در گفت‌وگو با TechCrunch می‌گوید:
«تمام آزمایشگاه‌های بزرگ هوش مصنوعی در حال ساخت محیط‌های RL در داخل مجموعه خود هستند. اما همان‌طور که می‌توانید تصور کنید، ایجاد این دیتاست‌ها بسیار پیچیده است، بنابراین آن‌ها به دنبال فروشندگان شخص ثالث نیز هستند که بتوانند محیط‌ها و ارزیابی‌های باکیفیتی ارائه دهند. همه نگاه‌ها به این حوزه دوخته شده است.»
این موج باعث شکل‌گیری نسل جدیدی از استارتاپ‌های سرمایه‌پذیر مانند Mechanize و Prime Intellect شده که قصد دارند پیشتاز این فضا شوند. در همین حال، شرکت‌های بزرگ داده‌برچسب‌گذاری مانند Mercor و Surge اعلام کرده‌اند که برای همگام‌شدن با گذار صنعت از دیتاست‌های ایستا به شبیه‌سازی‌های تعاملی، سرمایه‌گذاری بیشتری در محیط‌های RL انجام می‌دهند. حتی آزمایشگاه‌های بزرگ نیز در فکر سرمایه‌گذاری سنگین هستند؛ به گزارش The Information، مدیران شرکت Anthropic در حال بررسی صرف بیش از ۱ میلیارد دلار برای محیط‌های RL طی یک سال آینده هستند.
امید سرمایه‌گذاران و بنیان‌گذاران این است که یکی از این استارتاپ‌ها به «اسکیل AI برای محیط‌ها» تبدیل شود؛ اشاره‌ای به شرکت قدرتمند داده‌برچسب‌گذاری با ارزش ۲۹ میلیارد دلار که موج چت‌بات‌ها را تغذیه کرد.
با این حال، پرسش کلیدی همچنان باقی است: آیا محیط‌های RL واقعاً می‌توانند مرزهای پیشرفت هوش مصنوعی را جابه‌جا کنند؟
محیط یادگیری تقویتی (RL Environment) چیست؟
در اصل، محیط‌های RL محلی برای آموزش عامل‌های هوش مصنوعی هستند که شبیه‌سازی می‌کنند یک عامل در یک نرم‌افزار واقعی چه کارهایی انجام می‌دهد. یکی از بنیان‌گذاران استارتاپ‌ها در مصاحبه‌ای گفته بود: «ساختن آن‌ها مثل طراحی یک بازی ویدئویی بسیار خسته‌کننده است.»
برای مثال، یک محیط می‌تواند مرورگر کروم را شبیه‌سازی کند و از عامل هوش مصنوعی بخواهد یک جفت جوراب در آمازون بخرد. عامل بر اساس عملکردش ارزیابی می‌شود و در صورت موفقیت (مثلاً خرید درست جوراب‌ها) سیگنال پاداش دریافت می‌کند.
اگرچه چنین کاری ساده به نظر می‌رسد، اما نقاط زیادی وجود دارد که یک عامل می‌تواند در آن‌ها دچار خطا شود؛ مثلاً در منوهای کشویی صفحه وب گم شود یا تعداد زیادی جوراب بخرد. از آنجا که توسعه‌دهندگان نمی‌توانند همه مسیرهای اشتباه احتمالی عامل را پیش‌بینی کنند، محیط باید به اندازه کافی انعطاف‌پذیر باشد تا رفتارهای غیرمنتظره را ثبت کند و همچنان بازخورد مفید ارائه دهد. همین موضوع باعث می‌شود ساخت محیط‌ها بسیار پیچیده‌تر از یک دیتاست ایستا باشد.
برخی از محیط‌ها بسیار پیشرفته هستند و به عامل‌های هوش مصنوعی اجازه می‌دهند از ابزارها استفاده کنند، به اینترنت دسترسی داشته باشند یا نرم‌افزارهای مختلف را برای انجام یک وظیفه به کار گیرند. برخی دیگر محدودتر هستند و تنها برای یادگیری وظایف خاص در نرم‌افزارهای سازمانی طراحی می‌شوند.
اگرچه این روزها محیط‌های RL موضوع داغ سیلیکون‌ولی هستند، اما استفاده از این روش سابقه طولانی دارد. یکی از اولین پروژه‌های OpenAI در سال ۲۰۱۶ ساخت «RL Gym» بود که شباهت زیادی به مفهوم امروزی محیط‌ها داشت. در همان سال، هوش مصنوعی AlphaGo گوگل دیپ‌مایند توانست قهرمان جهان در بازی تخته‌ای Go را شکست دهد؛ این سیستم نیز از تکنیک‌های RL در یک محیط شبیه‌سازی‌شده استفاده کرده بود.
تفاوت محیط‌های امروزی در این است که پژوهشگران در حال ساخت عامل‌های هوش مصنوعی هستند که با مدل‌های بزرگ ترنسفورمر کار می‌کنند. برخلاف AlphaGo که یک سیستم تخصصی و در محیطی بسته بود، عامل‌های امروزی برای داشتن قابلیت‌های عمومی‌تر آموزش داده می‌شوند. بنابراین محققان امروز نقطه شروع قوی‌تری دارند، اما هدفی بسیار پیچیده‌تر را دنبال می‌کنند که احتمال خطا در آن بیشتر است.
میدان رقابتی شلوغ
شرکت‌های برچسب‌گذاری داده هوش مصنوعی مانند Scale AI، Surge و Mercor تلاش می‌کنند تا خود را با روند جدید هماهنگ کنند و محیط‌های RL بسازند. این شرکت‌ها نسبت به بسیاری از استارتاپ‌های نوپا در این حوزه منابع بیشتری دارند و روابط عمیق‌تری با آزمایشگاه‌های هوش مصنوعی برقرار کرده‌اند.
ادوین چن، مدیرعامل Surge، در گفت‌وگو با TechCrunch گفته است که اخیراً شاهد «افزایش چشمگیر» تقاضا برای محیط‌های RL در میان آزمایشگاه‌های هوش مصنوعی بوده است. Surge — که reportedly سال گذشته ۱.۲ میلیارد دلار درآمد از همکاری با شرکت‌هایی مانند OpenAI، گوگل، Anthropic و متا کسب کرده — اخیراً یک سازمان داخلی جدید ایجاد کرده که مأموریت آن ساخت محیط‌های RL است.
کمی عقب‌تر از Surge، استارتاپ Mercor با ارزش‌گذاری ۱۰ میلیارد دلار قرار دارد که آن نیز با OpenAI، متا و Anthropic همکاری کرده است. طبق اسناد بازاریابی دیده‌شده توسط TechCrunch، Mercor در حال معرفی مدل کسب‌وکار خود به سرمایه‌گذاران است؛ مدلی که بر ساخت محیط‌های RL برای وظایف خاص در حوزه‌هایی مانند کدنویسی، سلامت و حقوق متمرکز است. مدیرعامل Mercor، برندن فودی، در مصاحبه‌ای گفت:
«تعداد کمی واقعاً درک می‌کنند که فرصت موجود پیرامون محیط‌های RL تا چه اندازه بزرگ است.»
در همین حال، Scale AI که زمانی بر فضای برچسب‌گذاری داده تسلط داشت، بخشی از جایگاه خود را از دست داده است؛ به‌ویژه پس از آنکه متا ۱۴ میلیارد دلار سرمایه‌گذاری کرد و مدیرعامل آن را جذب نمود. پس از این اتفاق، گوگل و OpenAI همکاری با Scale AI به‌عنوان تأمین‌کننده داده را متوقف کردند و حتی این استارتاپ اکنون در داخل خود متا نیز با رقابت روبه‌روست. با این حال، Scale همچنان تلاش می‌کند تا در ساخت محیط‌های RL نقش داشته باشد.
چتان رانه، مدیر محصول Scale AI در حوزه عامل‌ها و محیط‌های RL، در این باره گفت:
«این فقط ماهیت صنعتی است که Scale AI در آن فعالیت می‌کند. این شرکت توانایی خود را در سازگاری سریع ثابت کرده است. ما این کار را در روزهای ابتدایی خودروهای خودران انجام دادیم که اولین واحد کسب‌وکار ما بود. وقتی ChatGPT معرفی شد، Scale AI با آن سازگار شد و اکنون بار دیگر در حال انطباق با حوزه‌های نوینی مانند عامل‌ها و محیط‌ها هستیم.»
ورود بازیگران تازه‌نفس
برخی از استارتاپ‌های جدید از همان ابتدا تمرکز خود را صرفاً بر محیط‌های RL گذاشته‌اند. از جمله آن‌ها Mechanize است؛ استارتاپی که حدود شش ماه پیش با هدف بلندپروازانه «اتوماسیون تمام مشاغل» تأسیس شد. با این حال، به گفته متیو بارنت، هم‌بنیان‌گذار شرکت، این مجموعه کار خود را با ساخت محیط‌های RL ویژه عامل‌های هوش مصنوعی در حوزه کدنویسی آغاز کرده است.
Barrett می‌گوید Mechanize قصد دارد به آزمایشگاه‌های هوش مصنوعی تعداد محدودی محیط RL قدرتمند ارائه دهد؛ برخلاف شرکت‌های بزرگ داده که مجموعه‌ای گسترده از محیط‌های ساده تولید می‌کنند. این استارتاپ برای جذب مهندسان نرم‌افزار جهت ساخت محیط‌های RL، حقوق سالانه ۵۰۰ هزار دلاری پیشنهاد می‌دهد؛ مبلغی به‌مراتب بالاتر از دستمزد ساعتی پیمانکارانی که در شرکت‌هایی مانند Scale AI یا Surge فعالیت می‌کنند.
به گفته دو منبع آگاه، Mechanize هم‌اکنون با Anthropic روی محیط‌های RL همکاری کرده است، هرچند دو طرف از اظهار نظر رسمی درباره این شراکت خودداری کرده‌اند.
در همین حال، استارتاپ‌های دیگری نیز شرط بسته‌اند که محیط‌های RL فراتر از آزمایشگاه‌های هوش مصنوعی تأثیرگذار خواهند بود. Prime Intellect — استارتاپی با حمایت پژوهشگر هوش مصنوعی آندری کارپاتی، همچنین صندوق‌های سرمایه‌گذاری Founders Fund و Menlo Ventures — محیط‌های RL خود را متوجه توسعه‌دهندگان کوچک‌تر کرده است.
ماه گذشته، Prime Intellect یک هاب محیط‌های RL راه‌اندازی کرد که هدف آن تبدیل‌شدن به «Hugging Face برای محیط‌های RL» است. ایده اصلی این است که توسعه‌دهندگان متن‌باز به همان منابعی دسترسی داشته باشند که آزمایشگاه‌های بزرگ در اختیار دارند، و در این میان دسترسی به منابع محاسباتی نیز به آن‌ها فروخته شود.
طبق گفته ویل براون، پژوهشگر Prime Intellect، آموزش عامل‌های عمومی‌تر در محیط‌های RL می‌تواند بسیار پرهزینه‌تر از تکنیک‌های پیشین آموزش هوش مصنوعی باشد. در کنار استارتاپ‌هایی که محیط‌های RL می‌سازند، فرصتی تازه برای تأمین‌کنندگان GPU نیز ایجاد می‌شود تا این فرآیند را پشتیبانی کنند.
براون در مصاحبه‌ای گفت:
«محیط‌های RL آنقدر بزرگ خواهند شد که هیچ شرکتی به‌تنهایی نتواند بر آن‌ها تسلط یابد. بخشی از کاری که ما انجام می‌دهیم ساخت زیرساخت متن‌باز باکیفیت پیرامون این حوزه است. سرویسی که می‌فروشیم توان محاسباتی است، بنابراین این یک مسیر ساده برای استفاده از GPUهاست، اما نگاه ما بیشتر بلندمدت است.»
منبع : techcrunch