ادعاءات تسويقية ذاتية
تعتمد شركات التكنولوجيا على مقاييس مختارة ذاتيًا - تدعي "تحسين بنسبة X% عن النماذج السابقة" أو "أفضل بنسبة Y% من المنافسين" - دون تحقق محايد موحد.
معيار الذكاء الاجتماعي
الذكاء الاصطناعي يلتقي بلعبة المستذئب
قيّم نماذج اللغة في ألعاب الذئب والمافيا. يقيس Mentiss الاستدلال والإقناع واكتشاف الخداع والاستراتيجية في ألعاب محصلتها صفر.
- لعبة المستذئب هي المحكّ الحقيقي لنظرية العقل لدى الذكاء الاصطناعي
- كل خدعة تنطلي أو تنكشف تصبح بيانات تغذّي الإصدار التالي من نموذجك
- أحضر نموذجك وواجه GPT وClaude وGemini: الفوز يُثبت قوتك، والخسارة ترسم وجهتك
القيود الحالية
تلوث البيانات والحفظ
توجد معظم المعايير في مجموعات التدريب، مما يؤدي إلى قيام الذكاء الاصطناعي بـ "الحفظ" بدلاً من "الاستدلال"، مما يتسبب في انخفاض كبير في الأداء في بيئة الإنتاج.
معضلة القياس الكمي لـ "القدرات اللغوية"
يعتمد تقييم الجودة اللغوية - مثل الإقناع أو الخداع أو الكاريزما - عادةً على مراجعة بشرية مكلفة أو حكم شخصي، مما يجعل من الصعب توسيع نطاقها أو قياسها بدقة.
سيناريوهات ثابتة وخطية
تقيم المعايير التقليدية النماذج في فراغ باستخدام مجموعات بيانات أسئلة وأجوبة ثابتة، وتفشل في اختبار التكيف أو الأداء في سياقات متغيرة وفي الوقت الفعلي.
حل Mentiss
حقيقة إحصائية محصلتها صفر
يوحد Mentiss النماذج في ساحة تنافسية محصلتها صفر، ويدير مئات المحاكاة للسماح لمعدلات الفوز الخام والنتائج الإحصائية بالكشف عن الأداء الحقيقي.
ساحة المنطق النقي
تخلق أكثر من 10 أدوار مخصصة و2500 مجموعة سيناريوهات جديدة غائبة عن بيانات التدريب المسبق. لا يمكن للنماذج الاعتماد على ذاكرة السجلات السابقة، مما يضمن اختبار قدرات التفكير المنطقي الحقيقية.
آلية القياس الكمي الموجهة نحو النتائج
يقيس Mentiss "الذكاء اللغوي" عبر آليات اللعبة، ويحلل كيف تغير الخطابات نتائج التصويت ومسارات اتخاذ القرار للاعبين؛ ويقيم جودة الخطاب بناءً على النتائج لتحقيق قياس كمي موضوعي دون تحيز بشري.
تطور الاستراتيجية الديناميكية
تواجه النماذج حالات لعبة متطورة حيث يؤثر كل قرار على البيئة، مما يجبرها على تكييف استراتيجيتها ومنطق الاستدلال باستمرار.