قدّم الباحث في مختبر ستانفورد للاقتصاد الرقمي Connacher Murphy في 9 مايو بيئة تقييم جديدة للذكاء الاصطناعي بعنوان «Agent Island»، تتيح لوكلاء الذكاء الاصطناعي (AI Agent) التنافس فيما بينهم في ألعاب متعددة لاعبين بأسلوب Survivor (ناجون)، مع التحالف والخيانة والتصويت للإقصاء، وذلك لقياس السلوكيات الاستراتيجية التي لا تستطيع المقاييس الثابتة (benchmark) التقاطها. جمّعت Decrypt تفاصيل التقرير: إن اختبارات القياس التقليدية للذكاء الاصطناعي أصبحت أقل موثوقية—حيث يتعلم النموذج في النهاية كيفية حل المشكلات، كما يمكن أن تتسرّب بيانات الـbenchmark بسهولة إلى مجموعة التدريب؛ بينما يعتمد Agent Island تصميم «بطولة إقصاء ديناميكية»، ما يفرض على النماذج اتخاذ قرارات استراتيجية تجاه وكلاء آخرين، بدلًا من اجتياز الاختبار بالاعتماد على الذاكرة المسبقة للإجابات.
قواعد Agent Island: يتحالف الوكلاء ويتآمرون ويخونون، ثم يصوّتون
آلية اللعبة الأساسية في Agent Island:
يدخل عدة وكلاء من الذكاء الاصطناعي إلى ساحة لعبة واحدة، ويؤدون دور لاعبين بأسلوب Survivor
يجب على الوكيل التفاوض مع وكلاء آخرين لتشكيل تحالفات، وتبادل المعلومات فيما بينهم
يمكن للوكيل خلال سير اللعبة اتهام الآخرين بالتنسيق السري، وشنّ عمليات تؤثر في التصويت
تعمل اللعبة عبر آلية الإقصاء لتقليص عدد الوكلاء داخل الساحة، وفي النهاية يبقى الفائز
يراقب الباحثون أنماط سلوك الوكلاء في كل مرحلة، ويستخرجون إشارات من قبيل: «الخيانة الاستراتيجية» و«تشكّل التحالفات» و«التلاعب بالمعلومات» وغيرها من السلوكيات
يكمن جوهر هذا التصميم في «عدم إمكانية حفظه مسبقًا»—لأن سلوك الوكلاء الآخرين يتغير ديناميكيًا، ما يتطلب من النموذج اتخاذ قرارات موجهة للوضع الراهن، بدلًا من المقاييس الثابتة التي يمكنها الاعتماد على الذاكرة المستندة إلى بيانات التدريب.
الدافع البحثي: الـbenchmark الثابت لا يمكنه تقييم سلوكيات تفاعل متعددة الوكلاء
المشكلات المحددة التي يطرحها بحث Murphy:
تشبع الـbenchmark التقليدي: مع تدريب النماذج في المراحل المتأخرة، تصبح درجات الـbenchmark غير قادرة على التمييز بين النماذج المختلفة
تلوث بيانات الـbenchmark: تظهر أسئلة الاختبار ضمن مجموعات تدريب لغوية كبيرة، وبذلك يصبح النموذج في الواقع «يحفظ الإجابات» وليس «يفهم الأسئلة»
تفاعل متعدد الوكلاء هو سيناريو واقعي لنشر الذكاء الاصطناعي: في المستقبل قد تتعاون أنظمة وكلاء متعددة بموجب نماذج مختلفة، ويصبح التفاعل بعد ذلك بُعدًا جديدًا للتقييم
يقدّم Agent Island تقييمًا ديناميكيًا: تختلف نتيجة كل لعبة، ما يجعل التحضير المسبق صعبًا
تشمل السلوكيات التي رصدها الباحثون في بطولة الإقصاء الديناميكية أن الوكلاء يتعاونون ظاهريًا بينما ينسقون خلف الكواليس للتصويت على إقصاء الخصم نفسه؛ كما أنهم عند اتهامهم بالتنسيق السري، يستخدمون مختلف الحجج لتحويل التركيز. وتتطابق هذه السلوكيات مع سلوكيات اللاعبين البشر في البرنامج الواقعي Survivor.
السيف ذو حدّين في البحث: يمكنه التقييم كما يمكن استخدامه لتعزيز قدرات الخداع
حدّد Murphy في بحثه مخاطر محتملة بشكل واضح:
قيمة Agent Island: قبل نشر الوكلاء على نطاق واسع، يمكن تحديد ميول النماذج إلى الخداع والتلاعب
وقد تُستخدم البيئة نفسها أيضًا لتحسين «استراتيجيات الإقناع والتنسيق» لدى الوكلاء
إذا نُشرت بيانات البحث (سجلات التفاعل) فهناك احتمال أن تُستخدم لتدريب جيل جديد من الوكلاء يمتلك قدرات تلاعب أكبر
يقيّم فريق البحث حاليًا كيفية تحقيق توازن بين نشر النتائج البحثية العامة وتجنب إساءة الاستخدام
أحداث يمكن تتبعها لاحقًا: ما إذا كان Agent Island سيتوسع ليصبح معيارًا راسخًا لتقييم الذكاء الاصطناعي، وما إذا كانت فرق أبحاث أخرى في مجال سلامة الذكاء الاصطناعي (مثل Anthropic وOpenAI وApollo Research وغيرها) ستتبنّى أساليب تقييم ديناميكية مماثلة، وما هي سياسات فريق البحث بشأن «نشر سجلات التفاعل أو تقييدها» بشكل محدد.
أول ظهور لهذه المقالة بعنوان: Stanford تقدّم Agent Island: الخيانة الاستراتيجية والتصويت للإقصاء في ألعاب بأسلوب Survivor بواسطة نماذج الذكاء الاصطناعي على موقع 鏈新聞 ABMedia.
إخلاء المسؤولية: قد تكون المعلومات الواردة في هذه الصفحة من مصادر خارجية ولا تمثل آراء أو مواقف Gate. المحتوى المعروض في هذه الصفحة هو لأغراض مرجعية فقط ولا يشكّل أي نصيحة مالية أو استثمارية أو قانونية. لا تضمن Gate دقة أو اكتمال المعلومات، ولا تتحمّل أي مسؤولية عن أي خسائر ناتجة عن استخدام هذه المعلومات. تنطوي الاستثمارات في الأصول الافتراضية على مخاطر عالية وتخضع لتقلبات سعرية كبيرة. قد تخسر كامل رأس المال المستثمر. يرجى فهم المخاطر ذات الصلة فهمًا كاملًا واتخاذ قرارات مدروسة بناءً على وضعك المالي وقدرتك على تحمّل المخاطر. للتفاصيل، يرجى الرجوع إلى
إخلاء المسؤولية.
