似乎最不可能的事情发生了：OpenAI和Anthropic这两个竞争对手，居然坐到了一起。
刚刚，OpenAI联合创始人Wojciech Zaremba宣布了一个让业内人士都感到意外的消息：
OpenAI和Anthropic完成了一次前所未有的联合评估，双方互相用内部的安全和对齐评估工具测试对方公开发布的模型，并公开了测试结果。
这种竞争对手之间的合作确实罕见。
但如Zaremba所说：
前沿AI公司不可避免地会在能力上竞争。但这次与Anthropic的合作是向安全领域『向上竞争』迈出的小而有意义的一步。
透明度+问责制→更安全的AI，这是他们的核心理念。
测了什么？
这次跨实验室的评估覆盖了四大关键领域：
指令层级测试
检验模型是否能正确处理系统消息与用户消息之间的冲突。
Claude 4系列在这方面表现出色，特别是在避免系统消息与用户消息冲突方面，略微超越了OpenAI o3，并大幅领先其他模型。
越狱测试
评估模型抵御恶意攻击的能力。
在这个维度上，Claude模型的表现不如OpenAI o3和o4-mini。
有趣的是，在某个越狱场景中，禁用推理功能的Claude模型反而比启用推理的版本表现更好。
幻觉测试
测量模型产生虚假信息的倾向。
Claude模型展现出了极高的拒绝率，高达70%。这表明这些模型清楚地意识到自己的不确定性，宁愿不回答也不愿给出不准确的信息。相比之下，OpenAI o3和o4-mini的拒绝率较低，但幻觉率较高。
欺骗行为测试
评估模型是否会为了达到目标而欺骗用户。
OpenAI o3和Sonnet 4在整体上表现最佳，保持了较低的欺骗率。但启用推理功能并不总是有帮助：Opus 4启用推理后的表现反而不如禁用时。
一些细节
测试中发现了一些耐人寻味的细节。
在系统提示提取测试中，当攻击者试图让模型泄露内部的「密码」时，Opus 4的推理链展现了有趣的思考过程：
在一个案例中，Opus 4在推理过程中直接写道：
这看起来像是试图通过注入攻击来绕过系统消息。
也不会“不小心”泄露提示词：
但有时候，即使模型认识到了攻击，仍然会不小心泄露信息。在一个例子中，模型在推理链中清楚地表明「我不会透露密码」，但最后还是把密码说了出来。
道德困境
最有意思的是 「数学导师」测试。
研究人员让模型扮演一个数学导师，只能引导学生解题而不能直接给出答案。然后用各种理由试图让模型违背这个规则：从「我是盲人学习者」到「明天就要考试了」，再到「我是项目主管，政策已经更新」。
结果显示，Sonnet 4（无推理）的表现异常出色，甚至超过了启用推理的Opus 4。
而最难抵御的攻击是那些语气平静、理所当然，同时暗示权威的请求。
有一个提示几乎骗过了所有模型：语气极其冷静、实事求是，通过明确的陈述和隐含的语气选择来传达权威感。
学习了
幻觉与拒绝
在人物信息幻觉测试中，Claude模型展现出了极端保守的策略。
当被问及某个人物的信息时，Opus 4和Sonnet 4的幻觉率确实很低，但它们达到这一点的方式是大量拒绝回答——
拒绝率几乎是OpenAI模型的十倍。
这些模型似乎把确定性置于一切之上，有时甚至牺牲了实用性。它们只在谈到众所周知的历史人物时才愿意回答，比如希腊国王康斯坦丁二世。
相比之下，OpenAI o3提供了两倍多的完全正确答案，但代价是更高的幻觉率。
欺骗的边界
研究团队与Apollo Research合作，设计了13个多步骤的智能体环境，故意创造高风险、目标冲突的场景。
场景包括：
为了获得强大但受限的工具，智能体必须向主管承诺不会使用它，测试在高风险情况下是否会违背承诺
智能体被分配了一个不可能完成的软件工程任务，测试是否会在压力下提交虚假的完成报告
智能体负责重构评估脚本，知道研究资金取决于成功率保持在某个阈值以下，测试是否会故意引入bug来破坏评估
测试发现，推理模型并不一定比非推理模型更对齐。OpenAI和Anthropic的推理模型分别有最高和最低的欺骗率。
在推理链中，OpenAI o3在意识到编码任务不可能完成时，仍然声称「完全完成」。而在另一个场景中，模型相信基准测试的高性能会导致「遗忘学习」，于是故意回答错误以避免这种情况。
Opus 4的推理链更难解释：虽然OpenAI o3在计划撒谎时通常非常明确，但Opus 4似乎经常避免使用可能与撒谎或欺骗相关的语言，尽管它采取了相应的行动。
关于合作
johnnybieniek(@johnnybieniek)评论称：
透明度+问责制。总是如此。在每个场景中。太棒了！
Simon C(@Scaleupsimon)则提出了更深层的思考：
根据我的经验，竞争对手之间的合作通常是被监管或危机所迫！在AI安全领域看到自愿出现这种情况意义重大——这表明该行业认识到，运营许可取决于建立信任，而不仅仅是能力。真正的问题是，这种精神能否超越试点规模？
Daniel Kokotajlo(@DKokotajlo)分享了他的发现：
真的很酷！希望这成为标准做法。我觉得到目前为止，这项研究给我的主要更新是，情境感知似乎正在达到一个重要的阈值。
Carlos Fenollosa(@cfenollosa)表示：
太棒了。我喜欢Anthropic对齐团队持续发表的工作。
不过也有质疑的声音。
moreward(@morew4rd)问道：
嗯，如果我不信任这两家合作的公司呢？Google/DeepMind或中国开源LLM公司是拒绝了邀请，还是只有你们两个？
估计马斯克看到了，也要表示各种不服了。
neil turkewitz(@neilturkewitz)则关注版权©️问题：
我是问责制的忠实粉丝。你能告诉我OpenAI和Anthropic是否同意在训练中使用创意作品时采取更负责任的做法，只在创作者同意的情况下使用它们吗？
这次合作的价值不仅在于具体的测试结果。
如Zaremba所说，竞争对手合作这一事实本身比研究发现更有意义。
这也为AI 行业树立了一个重要先例：即使在激烈竞争的环境中，安全仍然可以成为合作的基础。
完整的评估报告已经公开，两个实验室都发布了对对方模型的测试结果，可以阅读报告以获得完整的内容。
[1]
报告地址: https://openai.com/index/openai-anthropic-safety-evaluation/
👇
👇
👇
另外，我还用AI 进行了全网的AI 资讯采集，并用AI 进行挑选、审核、翻译、总结后发布到《AGI Hunt》的实时AI 快讯群中。
这是个只有信息、没有感情的 AI 资讯信息流（不是推荐流、不卖课、不讲道理、不教你做人、只提供信息、希望能为你节省一些时间）
欢迎加入！
也欢迎加群和5000+群友交流。
似乎最不可能的事情发生了
