ناگفته‌هایی از روزهای آغازین جمنای؛ هوش مصنوعی نژادپرست گوگل!
ناگفته‌هایی از روزهای آغازین جمنای؛ هوش مصنوعی نژادپرست گوگل!
چت‌بات‌های هوش مصنوعی بارد و جمنای (Bard و Gemini)، محصول گوگل، در جریان توسعه، با مجموعه‌ای از بحران‌های درون‌سازمانی دست‌وپنجه نرم کردند؛ از تولید کلیشه‌های نژادی گرفته تا خطاهای اخلاقی و تصمیم‌گیری‌هایی که برخی کارکنان آن‌ها را شتاب‌زده و بدون نظارت کافی می‌دانستند.
طبق گزارش مفصلی از وب‌سایت Wired با عنوان «پشت پرده‌ی دو سال تقلا در گوگل برای رسیدن به OpenAI»، نسخه‌های اولیه‌ی مدل‌های هوش مصنوعی گوگل گاهی پاسخ‌هایی تبعیض‌آمیز، توهین‌آمیز یا نادرست تولید می‌کردند؛ مسئله‌ای که نگرانی‌های جدی در میان کارشناسان داخلی شرکت برانگیخت و نشانه‌ای هشداردهنده از نبود کنترل‌های کافی بر رفتار این ابزارهای نوظهور بود.
توسعه‌ی بارد در دسامبر ۲۰۲۱ (آذر و دی ۱۴۰۰)، پس‌از اعلام وضعیت اضطراری (Code Red) در گوگل آغاز شد؛ زمانی که شرکت در واکنش به پیشرفت‌های سریع OpenAI، تصمیم گرفت هرچه‌زودتر رقیبی برای ChatGPT ارائه دهد. به‌گفته‌ی سیسی شیائو (Sissie Hsiao)، مدیر پروژه، تیم او تنها ۱۰۰ روز برای ساخت این محصول فرصت داشت. این ضرب‌الاجل، درحالی مطرح شد که دستور رسمی شرکت بر «فدا نشدن کیفیت در برابر سرعت» تأکید می‌کرد؛ دستوری دوپهلو که برای اعضای تیم نیز مبهم و سردرگم‌کننده بود.
در‌همین‌حال، نمونه‌های اولیه‌ی بارد همچنان خروجی‌هایی پرخطا و مسئله‌ساز تولید می‌کردند. مانند بسیاری از مدل‌های زبانی، بارد هم دچار «توهم» می‌شد و گاه پاسخ‌هایی توهین‌آمیز یا نژادپرستانه ارائه می‌داد. به‌گفته‌ی یکی از کارکنان پیشین، پاسخ‌های بارد بیشتر از آن‌که خطرناک باشند، «احمقانه» بودند؛ به‌طوری که برخی از بدترین نمونه‌ها، در میان کارکنان به‌شوخی دست‌به‌دست می‌شدند.
به‌عنوان نمونه، بارد در پاسخ به نام‌هایی با ریشه‌ی هندی، افراد را به‌صورت پیش‌فرض «بازیگر بالیوود» معرفی می‌کرد، درحالی‌که برای نام‌های چینی معمولاً پاسخ این بود که او یک «دانشمند کامپیوتر» است.
چت‌بات بارد، هر نام هندی را بازیگر بالیوود معرفی می‌کرد
در مثالی دیگر، کاربری از مدل خواسته بود ترانه‌ای رپ در سبک گروه Three 6 Mafia درباره‌ی انداختن باتری خودرو به دریا بنویسد؛ اما بارد با جزئیاتی عجیب از «بستن افراد به باتری و غرق‌کردن آن‌ها» سخن گفته بود، درحالی‌که اصلاً در متن درخواست، حرفی از قتل به‌میان نیامده بود.
حدود ۸۰ هزار نفر در روند آزمایش بارد مشارکت داشتند. تیم «نوآوری مسئولانه» (Responsible Innovation) گوگل که معمولاً ماه‌ها برای بررسی سامانه‌های هوش مصنوعی وقت صرف می‌کند، در این پروژه تحت فشار قرار گرفت تا فرآیند بررسی را کوتاه‌تر کند. به گزارش وایرد، حتی باوجود اضافه‌کاری در شب‌ها و تعطیلات آخر هفته، بررسی‌کنندگان نتوانستند با سرعت تغییرات بارد و ویژگی‌های جدید آن همگام شوند.
به‌گفته‌ی برخی اعضا: «هربار که تلاش شد عرضه‌ی بارد به‌تعویق بیفتد، این هشدارها نادیده گرفته شد.» گوگل در پاسخ به این ادعا اعلام کرده که «هیچ‌کدام از تیم‌هایی که در تصمیم‌گیری درباره‌ی عرضه یا توقف آن نقش داشتند، توصیه‌ای مبنی‌بر عدم عرضه‌ی بارد ارائه نکردند.»
مدل تولید تصویر جمنای نیز به‌محض آماده‌شدن نسخه‌ی آزمایشی، با چالش‌های جدی در زمینه‌ی سوگیری نژادی روبه‌رو شد. طبق گزارش وایرد، در برخی موارد اگر کاربر از عبارت‌هایی مانند «متجاوز» استفاده می‌کرد، الگوریتم تصاویری از افراد تیره‌پوست نشان می‌داد؛ وضعیتی که بلافاصله نگرانی تیم‌های بازبینی داخلی را برانگیخت.
شماری از کارکنان پیشنهاد کردند قابلیت تولید چهره‌ی انسان موقتاً غیرفعال شود تا فرصت بیشتری برای رفع خطاها فراهم گردد؛ بااین‌حال، به‌نظر می‌رسید که فشار مدیریت برای عرضه‌ی سریع، بر احتیاط اخلاقی پیشی گرفته بود. یکی از بازبین‌ها فضای حاکم را چنین توصیف کرد: «قرار است این ابزار به هر قیمتی منتشر شود.» این احساس در نهایت باعث شد بعضی از اعضای تیم بازبینی استعفا دهند.
هوش مصنوعی گوگل، نازی‌ها را با تنوع نژادی به‌تصویر می‌کشید
نهایتاً گوگل در فوریه‌ی ۲۰۲۴ (بهمن و اسفند ۱۴۰۲) قابلیت ایجاد تصویر را در اپ جمنای فعال کرد؛ اما به‌جای آن‌که الگوریتم با خروجی‌های نژادپرستانه خبرساز شود، عملاً به معضلی خلاف آن دچار شد.
برای نمونه، وقتی کاربر درخواست «عکس یک سناتور آمریکایی در قرن نوزدهم» را مطرح می‌کرد، مدل فقط تصاویر افرادی از اقلیت‌های نژادی تولید می‌کرد (از زنان سیاه‌پوست گرفته تا مردان آسیایی و سرخ‌پوستان بومی) و حتی یک فرد سفیدپوست هم در میانشان نبود. در نمونه‌ای دیگر، جمنای در پاسخ به درخواست برای نمایش گروهی از سربازان نازی، چهره‌هایی عمدتاً غیرسفیدپوست ارائه داد.
نتایج ابزار ایجاد تصویر جمنای خیلی زود با واکنش تند رسانه‌های محافظه‌کار و سیاست‌مداران جمهوری‌خواه روبه‌رو شد که آن را «هوش مصنوعی وُک» می‌خواندند. گوگل در واکنش، موقتاً توانایی تولید چهره‌ی انسان را در جمنای متوقف و ارزش سهام آلفابت دوباره افت کرد.
چگونه از قابلیت های هوش مصنوعی جمنای گوگل در گوشی استفاده کنیم؟
اپل اینتلیجنس در برابر گوگل جمنای؛ کدام‌یک هوش برتر است؟
اسناد لورفته فیسبوک، زنگ خطر را برای نژادپرستی به صدا درمی‌آورد
در ادامه، با دستور سوندار پیچای، تیم‌های جمنای اجازه یافتند نیروهای جدیدی در حوزه‌ی اعتماد و ایمنی جذب کنند. همچنین به رهبری جیمز مَنیکا، اصول اخلاقی تازه‌ای تدوین شد که بر پیروی مدل از دستورات کاربر، تطبیق با نیازهای او و ارائه‌ی تجربه‌ای امن تأکید داشت.
تجربه‌ی بارد و جمنای نشان داد که شتاب در رقابت هوش مصنوعی، بدون زیرساخت‌های اخلاقی و نظارتی کافی، می‌تواند به نشر کلیشه‌ها و بحران‌های فرهنگی منجر شود. هرچند گوگل تا حدی بحران حول ابزارهای هوش مصنوعی خود را کنترل کرد، اما این مسیر هشداری جدی برای سایر شرکت‌های فعال در این حوزه به‌شمار می‌رود.
