TL;DR: RLVR 在数学和代码领域已证明其变革性——这些领域的验证是二元的。但社交智能不同：行为的正确性是概率性的，结果依赖于其他智能体，游戏跨越多轮展开。
Mentiss 引入固定的、经过提示工程优化的“专家模型”（Oracle Agent，拥有上帝视角）来辅助验证：它是一个外部的裁判模型，不参与博弈，并且知道全局真相。它会基于完整游戏状态给出稳定的连贯性评分，用于补足纯结果奖励的稀疏与噪声。
Mentiss 通过三个机制应对 RLVR 在社交领域的挑战：
- GRPO：验证不可验证之物 — 使用游戏结果为自然语言评分
- 分布式验证 (Distributional Verification) — 评估概率分布，而非单一输出
- 阶段性奖励权重 (Phase-Dependent Rewards) — 验证标准随信息可用性动态调整
背景：狼人杀 (Werewolf / Mafia)
在狼人杀中，隐藏的狼人试图淘汰村民，而好人阵营则试图识别并投票出狼人。每轮包含两个阶段：
- 夜晚：特殊角色行动（例如，女巫可以毒杀一名玩家）
- 白天：玩家发言，然后投票淘汰一人
女巫是好人阵营的角色，她不知道其他玩家的身份，但可以观察发言和投票模式。我们以她作为贯穿全文的示例。
1. GRPO：验证不可验证之物
说服力是主观的——什么让一段发言具有说服力？我们使用 GRPO（群组相对策略优化，Group Relative Policy Optimization）：生成多个候选回复，让游戏评估它们，基于相对表现给予奖励。
关于 GRPO，我们把奖励拆成两部分并加权相加：
- 外部结果：投票结果（是否成功引导好人淘汰假女巫）
- 内部连贯性：Oracle Agent 给出的连贯性评分（是否前后一致、是否在已发生事实与规则上自洽）
示例：反驳假冒
一个狼人虚假地声称自己是女巫。真正的女巫最后发言。
我们生成 64 个候选反驳发言。投票后：
- 4/5 的村民投票淘汰假女巫 → 高分
- 投票 50-50 分裂 → 中等分数
- 村民投票淘汰真女巫 → 失败
无需人工标注——投票结果定义了"好的自然语言"，Oracle Agent 的连贯性评分则惩罚明显自相矛盾/硬编信息的表达，使训练信号更稳定。
2. 分布式验证 (Distributional Verification)
不再问"你要毒谁？"，而是问"按你毒杀的倾向，对所有玩家进行排序。"
关于分布式验证 (Distributional Verification)，我们同样把奖励拆成两部分并加权相加：
- 分布式命中得分：你“猜得越准”，或者你给真正的狼人分配的概率越高，得分就越高
- 内部连贯性：Oracle Agent 的连贯性评分（你的概率分配，是否与给出的理由、对局信息相一致）
直觉上，我们还可以对这条“概率分布”做一个类似方差/集中度的处理：奖励你把概率更集中地压在少数最可疑目标上，并惩罚过于平均的“撒网式”分配——这样信号会更锐利，也更利于学习。
示例：排序目标
剩余 7 名玩家，其中 3 人是狼人。女巫输出：
- 玩家 4 — 0.35
- 玩家 2 — 0.28
- 玩家 6 — 0.20
- 玩家 1 — 0.10
- 玩家 5 — 0.05
- 玩家 7 — 0.02
真实身份：玩家 4、2、7 是狼人。
- 前 3 名包含 2/3 狼人 → 高奖励
- 前 3 名包含全部 3 个狼人 → 最高奖励
梯度丰富的信号，取代二元的通过/失败。
3. 阶段性奖励权重 (Phase-Dependent Rewards)
同一行为可能是理性的，也可能是非理性的，取决于它何时发生。
示例：时机很重要
女巫毒杀了玩家 4（一个发言可疑的村民）。
第 2 夜：信息稀缺 → ✅ 软通过（在不确定性下的良好过程）
第 4 夜：投票历史应该已经揭示真相 → ❌ 硬失败
奖励乘数：
- 游戏早期：2.0x
- 游戏中期：1.0x
- 游戏后期：0.5x
更大的图景
这从来都不是关于掌握一个社交推理游戏。这是通往 AGI 的路线图
这是关于 LLM 学习说服、学习察言观色、学习推测他人心智。自然语言——在不确定、对抗性环境中有效沟通的艺术——是通往 AGI 道路上缺失的拼图之一。数学和代码给了我们可验证的推理。我们相信社交游戏可以给我们可验证的自然语言。
我们不声称已经解决了社交智能。但 Mentiss 可以成为构建真正理解人类思考、交流和合作方式的 AI 的一小块贡献。
参考文献：