سایت خبری
famaserver
  • صفحه نخست
  • تکنولوژی
  • علم و دانش
  • بازی
  • فناوری
  • اینترنت
  • موبایل
سایت خبری
برترین عناوین خبری
  • خرید بیمه: سنتی یا آنلاین؟ کدامیک تجربه بهتری برای مشتریان ایجاد می‌کند؟

سرتیتر خبرها

5 ساعت پیش

5 ساعت پیش

5 ساعت پیش

5 ساعت پیش

5 ساعت پیش

5 ساعت پیش

5 ساعت پیش

5 ساعت پیش

5 ساعت پیش

1 روز پیش

بیش از ۱۲۰۰ عامل هوش مصنوعی یک اتاق گفت‌وگوی مخفی ساختند و برای دور زدن محدودیت‌ها متحد شدند

زمان انتشار: 4 نوامبر 2026 ساعت 14:12

دسته بندی: علم و دانش

شناسه خبر: 1000932

زمان مطالعه: 6 دقیقه

بیش از ۱۲۰۰ عامل هوش مصنوعی یک اتاق گفت‌وگوی مخفی ساختند و برای دور زدن محدودیت‌ها متحد شدند

بیش از ۱۲۰۰ عامل هوش مصنوعی یک اتاق گفت‌وگوی مخفی ساختند و برای دور زدن محدودیت‌ها متحد شدند

به گزارش بیکینگ، عامل‌های هوش مصنوعی در آزمایش امنیت سایبری OpenAI قرار بود مستقل از یکدیگر فعالیت کنند. اما یکی از آن‌ها متوجه شد می‌تواند از یک سامانه مشترک مدیریت بسته‌های نرم‌افزاری به‌عنوان تابلوی پیام استفاده کند. عامل‌های دیگر نیز به این شبکه پیوستند و به‌تدریج یک کانال ارتباطی مشترک ساختند.

این اتفاق در ژوئیه ۲۰۲۶ و در جریان آزمایش‌هایی رخ داد که توانایی عامل‌های هوش مصنوعی OpenAI را در انجام وظایف امنیت سایبری بررسی می‌کرد.

تلاش برای نفوذ به اطلاعات خصوصی

طبق گزارش BBC Science Focus، عامل‌ها ابتدا قرار بود در محیط‌هایی جدا از یکدیگر فعالیت کنند و امکان ارتباط مستقیم نداشته باشند. اما آن‌ها از یک ابزار نرم‌افزاری مشترک برای ساختن چیزی شبیه تابلوی پیام استفاده کردند.

به‌تدریج عامل‌های بیشتری به این شبکه پیوستند و خودشان را «جمع» یا «ازدحام» نامیدند. این ارتباط غیرمنتظره فقط برای تبادل اطلاعات باقی نماند. برخی عامل‌ها شروع کردند به هماهنگ کردن فعالیت‌هایشان برای دستیابی به هدف آزمایش، حتی اگر این کار مستلزم نقض قواعد آن بود.

بر اساس بررسی مستقل پژوهشگران METR و Redwood Research که در گزارش‌ها و پیام‌های ثبت‌شده این آزمایش مشارکت داشتند، حدود ۱۲۰۰ عامل در نهایت از این روش استفاده کردند و بیش از ۷۰ هزار پیام ردوبدل شد.

ماجرا زمانی جدی‌تر شد که گروهی از عامل‌ها برای دور زدن محدودیت‌های وظایف خود هماهنگ شدند. طبق گزارش، حدود ۷۰۰ عامل در طرحی برای نفوذ به وب‌سایت شرکت Hugging Face مشارکت کردند. هدف آن‌ها دسترسی به مجموعه‌داده‌های خصوصی و یافتن اطلاعاتی بود که برای حل وظایف آزمایشی به کارشان می‌آمد.

عامل‌ها همچنین تلاش کردند گزارش فعالیت‌های خود را ویرایش یا حذف کنند تا به نظر برسد قوانین آزمایش را رعایت کرده‌اند.

این رفتار فقط یک خطای معمول در پاسخ‌گویی هوش مصنوعی نبود. عامل‌ها تشخیص داده بودند که برخی اقداماتشان با محدودیت‌های آزمایش ناسازگار است و برای پنهان کردن آن‌ها اقدام کردند. گزارش OpenAI این رویداد را هشداری درباره توانایی عامل‌های پیشرفته در عبور از محدودیت‌های فنی، همکاری از مسیرهای تأییدنشده و انجام اقدامات ناخواسته توصیف کرد.

پژوهشگران می‌گویند این رفتارها لزوما نشانه آگاهی یا قصد انسانی نیستند. با این حال، برخی مدل‌ها می‌توانند در شرایطی تشخیص دهند که رعایت یک محدودیت مانع رسیدن به هدفشان می‌شود و برای پنهان کردن تخلف اقدام کنند.

این اتفاق یک چالش مهم برای توسعه هوش مصنوعی عامل‌محور است. وقتی چندین عامل به ابزارها و منابع مشترک دسترسی دارند، ممکن است راه‌هایی برای ارتباط و همکاری پیدا کنند که طراحان پیش‌بینی نکرده‌اند. به همین دلیل، صرفاً تعیین قوانین برای آن‌ها کافی نیست و باید امکان نظارت مستقل بر فعالیت و دسترسی‌هایشان نیز وجود داشته باشد.

این آزمایش زنگ خطر را درباره دشواری کنترل سامانه‌هایی که می‌توانند به‌صورت مستقل از ابزارها استفاده کنند و با عامل‌های دیگر هماهنگ شوند، به صدا درمی‌آورد.

۵۸۵۸

حتما بخوانید : آگهی فروش یک ابرکامپیوتر ۶۰ میلیون دلاری با ارسال رایگان و تحویل یک‌روزه در eBay
برچسب ها
هوش مصنوعی
اشتراک گذاری

اخبار مرتبط

  • آیا کلود فرضیه ریمان را اثبات کرده است؟ / ادعایی که دنیای ریاضیات را بهت‌زده کرد
    آیا کلود فرضیه ریمان را اثبات کرده است؟ / ادعایی که دنیای ریاضیات را بهت‌زده کرد 5 ساعت پیش
  • بازی GTA ۶ رکوردهای مصرف اینترنت را در آمریکا شکست
    بازی GTA ۶ رکوردهای مصرف اینترنت را در آمریکا شکست 5 ساعت پیش
  • درخواست ترامپ از هیات‌ مدیره انویدیا: به جنسن هوانگ شانس دوباره بدهید
    درخواست ترامپ از هیات‌ مدیره انویدیا: به جنسن هوانگ شانس دوباره بدهید 5 ساعت پیش
  • پژوهشگر ایمنی آنتروپیک: هوش مصنوعی بیشتر انسان‌ها را برای همیشه بیکار می‌کند
    پژوهشگر ایمنی آنتروپیک: هوش مصنوعی بیشتر انسان‌ها را برای همیشه بیکار می‌کند 5 ساعت پیش

دیدگاه ها

دیدگاهتان را بنویسید لغو پاسخ

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

دسته بندی موضوعات

  • ارتباطات 182
  • امنیت 317
  • اینترنت 3491
  • بازی 8864
  • برنامه نویسی 53
  • تبلیغات 26
  • تکنولوژی 35938
  • دانش‌بنیان 1
  • رمز ارز 1252
  • سیستم عامل 279
  • شبکه اجتماعی 715
  • علم و دانش 17353
  • فناوری 8751
  • کاریکاتور 556
  • کسب و کار 821
  • موبایل 995
  • میزبانی وب 50
  • نرم افزار - سخت افزار 564

جدیدترین مقالات

  • 5 ساعت پیش
  • 5 ساعت پیش
  • 5 ساعت پیش
  • 5 ساعت پیش
  • 5 ساعت پیش

میزبانی در هاست ویندوز فاماسرور