هوش مصنوعی PaLM 2 دربرابر GPT-4؛ وقتی گوگل در زمین خودی در جا می‌زند!

این جدول دقیقاً مقایسه‌ی یک‌به‌یک را ارائه نمی‌دهد. در این گزارش، می‌خوانیم که گوگل برای بهبود عملکرد PaLM 2 از دو قابلیت خاص استفاده کرده است: یکی پرسش زنجیره‌ی فکر (chain-of-thought prompting) و دیگری خودسازگاری (self-consistency).

خودسازگاری یعنی مدل چندین پاسخ مختلف تولید می‌کند و بعد می‌بیند کدام پاسخ بیشتر تکرار شده است تا آن را به‌عنوان پاسخ درست انتخاب کند. برای مثال، اگر پاسخ اول بگوید A و پاسخ دوم بگوید B و پاسخ سوم بگوید A، مدل می‌گوید A فراوانی بیشتری داشته است؛ پس همین را به‌عنوان پاسخ درست انتخاب می‌کنم.

زنجیره‌ی فکر هم از مدل می‌خواهد به پاسخ‌هایش قدم‌به‌قدم فکر کند. در بسیاری از پژوهش‌های اخیر، تأثیر استفاده از زنجیره‌ی فکر بر بهبود عملکرد مدل‌های زبانی نشان داده شده است. برای مثال، وب‌سایت Khan Academy که از هوش مصنوعی OpenAI استفاده می‌کند، برای پاسخ بهتر به سؤالات ریاضی کاربران از همین فرایند زنجیره‌ی فکر بهره می‌برد. به ‌این‌ صورت که حتی قبل از اینکه مربیان هوش مصنوعی این پلتفرم سؤالی از کاربر بکنند، تمام مراحل رسیدن به جواب را یک‌ بار برای خود تولید کرده‌اند تا وقتی کاربر جواب می‌دهد، بتوانند با استفاده از «حافظه‌»ی خود او را مرحله‌به‌مرحله به رسیدن به جواب درست همراهی کنند.

باوجوداین، گوگل در حالی امتیاز PaLM 2 را با رقیب خود مقایسه کرده است که براساس گزراش GPT-4، شرکت OpenAI تنها در تست GSM-8K از قابلیت پرسش زنجیره‌ی فکر استفاده کرده است و به امتیاز ۹۲٫۲ رسیده که همچنان از PaLM 2 بیشتر است. مقایسه‌ی این امتیاز با مدل Flan-PaLM 2 هم مقایسه‌ی درستی نیست؛ چون این مدل با داده‌های تخصصی مربوط به تست آموزش دیده است. بگذریم که گوگل از قرار‌دادن امتیاز تست MGSM برای GPT-4 به‌دلایلی خودداری کرده است.

نکته‌ی جالب دیگر درباره‌ی گزارش فنی گوگل، صحبت‌نکردن درباره‌ی دغدغه‌های این‌ روزهای مردم و صنایع مختلف درباره‌ی هوش مصنوعی است؛ دغدغه‌هایی مثل جایگزین‌شدن انسان‌ها با هوش مصنوعی در محیط کار، استفاده از هوش مصنوعی در جنگ‌افزارها، مسائل مربوط به کپی‌رایت و کلاً امنیت استفاده از هوش مصنوعی برای نسل بشر.

بخش زیادی از گزارش گوگل به «هوش مصنوعی مسئولانه» (Responsible AI) اختصاص دارد؛ اما محوریت صحبت‌های این غول دنیای فناوری استفاده از ضمایر درست در ترجمه است. این موضوع به‌ویژه از این جهت نظر مرا به خود جلب کرد که چند وقت پیش، جفری هینتون، پدرخوانده‌ی هوش مصنوعی‌، پس از ۱۰ سال گوگل را ترک کرد تا از خطرهای هوش مصنوعی برای شغل‌ها و حتی خود انسان‌ها بگوید.

این در حالی است که OpenAI زمانی‌که دارد در گزارش GPT-4 درباره‌ی امنیت مدل زبانی‌اش می‌گوید، نمونه‌هایی را نشان می‌دهد که در آن چت‌بات به درخواست‌های غیرقانونی یا خطرناک مثل ساخت بمب پاسخ نمی‌دهد.

شرکت OpenAI در پایان گزارش خود می‌گوید که با پژوهشگران مستقل در حال همکاری است تا تأثیرات احتمالی هوش مصنوعی را بهتر درک و ارزیابی کند و بتواند برای قابلیت‌های خطرناکی برنامه‌ریزی کند که ممکن است در سیستم‌های آینده بروز کنند. سؤالی که مطرح می‌شود، این است که گوگل برای امنیت هوش مصنوعی چه برنامه‌هایی دارد؟ چرا فعلاً ترجیح داده است مشکلات هوش مصنوعی را به مسائل مربوط به ترجمه محدود کند؟

آنچه در این میان عجیب به‌نظر می‌رسد، این است که چطور گوگل با آن همه منابع و میلیاردها دلاری که پای تحقیق‌و‌توسعه‌ی هوش مصنوعی صرف کرده و اینکه حتی زودتر از رقبا به این حوزه وارد شده، همچنان از شرکت به‌مراتب کوچکتری چون OpenAI عقب است؟

جالب است بدانید از ۸ نویسنده‌ی این مقاله، فقط یک نفر همچنان در گوگل باقی مانده است و بقیه سراغ راه‌اندازی استارتاپ‌های هوش مصنوعی خود رفته‌اند؛ ازجمله Adept AI Lab و Air Street Capital و البته OpenAI. حتی شایعه شده است که برخی از پژوهشگران هوش مصنوعی گوگل در حال ترک این شرکت هستند؛ چون گوگل متهم شده است که چت‌بات بارد را بدون اجازه با داده‌های ChatGPT آموزش داده است.