چگونه افت کیفیت چت‌بات‌ها را تشخیص دهیم؟

به گزارش بیکینگ از ZDNET ،‌پژوهشگران از چند دانشگاه معتبر با بررسی رفتار مدل‌ها در موقعیت‌های مختلف، چهار نشانگر کلیدی را معرفی کرده‌اند که می‌تواند هشداری برای وجود «زوال شناختی» در یک چت‌بات باشد:
 

محققان تأکید می‌کنند که منشأ این مشکلات اغلب به «کیفیت داده‌های آموزشی» بازمی‌گردد؛ مدل‌هایی که با مجموعه‌های داده پر از محتوای کوتاه، تکراری یا بی‌کیفیت اجتماعی آموزش دیده‌اند، در آزمون‌های استدلال و حفظ زمینه ضعیف‌تر عمل کرده‌اند. آن‌ها اصطلاح “بهداشت شناختی” را برای توصیف نگرانی درباره کیفیت داده‌ها و پایداری عملکرد مدل‌ها پیشنهاد می‌کنند.

برای کاهش خطرات ناشی از «brain rot»، پژوهشگران چند توصیه کاربردی مطرح کرده‌اند، از جمله بهبود فرایند انتخاب و پالایش داده‌های آموزشی، افزودن مراحل اعتبارسنجی انسانی در چرخه آموزش، و به‌کارگیری آزمون‌های ارزیابی مداوم که توان تعقیب استدلال چندمرحله‌ای و حافظه گفت‌وگویی مدل را می‌سنجند.

علاوه بر این، در سطح تولید و استقرار، توسعه‌دهندگان باید ابزارهایی برای گزارش خطاها و رفتارهای نامعمول فراهم کنند و از نسخه‌بندی مدل و ذخیره‌سازی دقیق داده‌های آموزشی استفاده کنند تا در صورت افت عملکرد، امکان بازگردانی و اصلاح وجود داشته باشد.

در نهایت، محققان می‌گویند که «brain rot» یک مشکل بالقوه اما قابل‌پیشگیری است؛ به‌شرط آنکه سازندگان و جامعه پژوهشی توجه ویژه‌ای به کیفیت داده، رویه‌های اعتبارسنجی و ابزارهای نظارتی معطوف کنند.