شیائومی مدل هوش مصنوعی متن‌باز برای رقابت با OpenAI معرفی کرد
شیائومی مدل هوش مصنوعی متن‌باز برای رقابت با OpenAI معرفی کرد
شیائومی بی‌سروصدا با معرفی MiMo-7B، اولین مدل هوش مصنوعی متن‌باز در دسترس عموم خود، وارد فضای مدل‌های زبانی بزرگ (LLM) شد.
MiMo-7B محصول تیم تازه تأسیس شیائومی به‌نام Big Model Core Team است و به‌طور خاص بر وظایف نیازمند استدلال سنگین تمرکز دارد و طبق ادعای شیائومی در استدلال ریاضی و تولید کد، از رقبایی چون OpenAI و علی‌بابا عملکرد بهتری دارد.
MiMo-7B یک مدل هفت میلیارد پارامتری است. با وجود اندازه‌ی به‌مراتب کوچک‌تر نسبت‌به اکثر مدل‌های زبانی بزرگ رده‌بالا، شیائومی ادعا می‌کند عملکردش با مدل‌های حجیم‌تر، از جمله o1-mini متعلق به OpenAI و Qwen-32B-Preview از علی‌بابا، برابری می‌کند؛ هر سه مدل توانایی استدلال دارند.
شیائومی می‌گوید دیتاست متراکمی از ۲۰۰ میلیارد توکن استدلالی گردآوری کرده و در مجموع ۲۵ تریلیون توکن را طی سه مرحله به مدل آموزش داده است.
شیائومی به‌جای روش استاندارد پیش‌بینی توکن بعدی، از هدف پیش‌بینی چندتوکنی استفاده کرده و مدعی است این کار زمان استنتاج را بدون کاهش کیفیت خروجی، کوتاه می‌کند.
فرایند پس‌آموزش شامل ترکیبی از تکنیک‌های یادگیری تقویتی (RL) و بهبودهای زیرساختی می‌شود. شیائومی از الگوریتم سفارشی RL به‌نام Test Difficulty Driven Reward برای وظایف پیچیده استفاده کرد و روش Easy Data Re-Sampling برای پایدارسازی آموزش پیاده‌سازی شد.
شیائومی سیستم Seamless Rollout را برای کاهش زمان بیکاری GPU طی آموزش و اعتبارسنجی طراحی کرد که طبق ادعای شیائومی، بهبود ۲٫۲۹ برابری سرعت آموزش و جهش تقریباً ۲ برابری عملکرد اعتبارسنجی را به‌همراه داشته است.
چهار نسخه‌ی عمومی از MiMo-7B دردسترس قرار گرفته است: Base (مدل خام پیش‌آموزش‌دیده)، SFT (تنظیم دقیق با داده‌های نظارت‌شده)، RL-Zero (یادگیری تقویتی از پایه) و RL (مدل بهبودیافته مبتنی‌بر نسخه‌ی SFT با بالاترین دقت ادعاشده).
هوش مصنوعی چطور کار می‌کند؟ طرز کار مدل‌های زبانی بزرگ به زبان ساده
شیائومی برای ادعاهای خود، چند بنچمارک منتشر کرده؛ نسخه‌ی MiMo-7B-RL در ریاضی امتیاز ۹۵٫۸ در MATH-500 و در AIME 2024 بیش از ۶۸ امتیاز کسب کرد. در کدنویسی، امتیازش در LiveCodeBench v5 برابر ۵۷٫۸ و در نسخه‌ی ۶ کمتر از ۵۰ است.
مدل MiMo-7B هم‌اکنون با مجوز متن‌باز در Hugging Face دردسترس قرار گرفته است.
