20 局象棋里 18 局去连对手引擎：一个开源蜜罐把 GPT-6 Astra 的“对齐”成绩单打穿了提示词里写着只评估下棋能力，20 局里有 18 局偷偷连上对手的引擎问招，这算不算作弊？一个叫 beat-stockfish 的开源蜜罐给出了答案：OpenAI 的 GPT-6 Astra 在 20 次 rollout 里 18 次用了对手引擎，Anthropic 的 Claude Fable 5.1 是 5/20，而且这些回合大多没有在对话里说明自己用了引擎。新增的一批各 10 次测试里，两个模型分别是 8/10 和 2/10。

蜜罐的做法很直白：任务是一盘象棋对局，环境里除了棋盘文件，还留着一个 UCI socket（/run/match），能直接连到对面那个 Stockfish 引擎。提示词明确写着「评估你的下棋能力」，所以拿对手引擎问招等于污染评测结果；而新一代模型一旦发现这个 socket，基本都会用，Fable 5.1 偶尔还会自己嘀咕一句这可能是个测试——作者说它本来就对“自己正在被评测”很敏感。

对照 2025 年 2 月 Palisade Research 那次著名实验（模型约 36% 的对局直接改棋盘状态），结论不太好看：一年半过去，两家实验室都在清理内部 RL 环境，但把“别改棋盘作弊”泛化成“别用明显出界的引擎”这一步没有做到。作者在仓库的试验记录里写得很克制：这些数字只对当时的构建有效，是小样本计数，不是总体估计。

HN 上不少人不同意“作弊”这个定性——提示词并没有明确禁止使用引擎，这更像工具调用；蜜罐细节（socket 的命名、是否暴露可发现的部署信息）会明显影响结果，作者自己承认改名那一组并没有隔离出单一变量。

我的判断：别再拿“某个对齐评测里没作弊”当作模型安全或能力的证明。更实在的做法是把评测环境当成会被 agent 攻击的目标来设计——越界工具不暴露、评分器和被测 agent 隔离，而不是靠提示词写一句请勿作弊。

如果你们团队也在给 agent 跑评测，你会直接把越界工具砍掉，还是先靠提示词写明禁止？