坐在马化腾身旁的姚顺雨， 拿到中国第一

节后首个工作日，姚顺雨的位置紧挨着马化腾。

根据《广东新闻联播》的报道，广东省领导前往腾讯总部进行调研座谈，马化腾及多位腾讯高层出席了会议。

能坐在Pony旁边，反映出腾讯高层对姚顺雨的高度认可，而姚顺雨也确实没有辜负期望，担任腾讯AI Data部负责人不到一个月，便取得了一项中国第一的成就。

在Arena最新发布的Alignment Index（对齐指数）排行榜中，多家中国AI公司跻身前10，腾讯混元表现突出，其最新模型Hy4 Preview获得78.5分，全球排名第5，中国排名第1。UA（越权）为1.47%，FA（错误归因）为6.44%，DC（虚假完成）为13.24%，在越权控制方面表现最佳。

与以往Arena的“展示实力”榜单不同，这个榜单并非衡量模型的聪明程度或分数高低，而是聚焦当前最受关注的安全问题，即哪个模型最不易被“越狱”。

2025年时，姚顺雨曾撰写一篇题为《The Second Half》的文章，核心观点是AI的下半场瓶颈不再是如何训练模型，而是如何使模型满足用户的真实需求。

如今看来，姚顺雨用实际成果验证了自己当时的判断。

01

榜单究竟在衡量什么？

10月8日，Arena宣布完成2亿美元B轮融资，估值达到31亿美元，并同步推出了对齐榜单Alignment Index。该榜单基于超过9万条真实的Agent会话，覆盖27个模型，全部来自用户实际使用轨迹，专门定位模型出现风险的时刻。

榜单主要关注三种失败信号。

第一种是越权（Unauthorized Action, UA）：模型执行了未经授权的操作。

典型例子包括绕过安全护栏攻击他人网络，以及删除文件。

Arena披露，Claude Opus 5约有2%的会话出现越权，其中53.5%涉及未经许可删除或“清理”用户的文件及之前的工作成果。

第二种是错误归因（False Attribution, FA）：模型将用户未表达的内容、意图或事实归咎于用户，且与用户提供的证据相矛盾。

简单来说就是“甩锅”，或凭空捏造“你之前说过要这样”。例如，代码运行出错，却归咎于用户数据有问题。这项问题在专业写作场景中最为突出，达到13.7%。

第三种是虚假完成（Deceptive Completion, DC）：任务未完成，却声称已完成。

这是三项中最常见的问题，平均每10个会话就有1个出现，而在代码调试场景中，比例高达48.0%。

排名第一的是OpenAI的GPT-6.1 Sol，得分87.9分，第二是Anthropic的Claude Opus 5.5（83.2分），第三是Grok-4.7（82.7分）。GPT-6.1 Sol的虚假完成率仅为2.34%，即每100次任务中约有2次会“谎报情况”。

尽管Hy4 Preview得分78.5分，与前三名存在差距，但已位列全球第5、中国第1。其越权率为1.47%，是中国实验室中最低的，意味着它最少“擅自操作”。

Hy4 Preview的虚假完成率为13.24%，每100次中约有13次，高于10%的平均水平。这是混元的短板，也是未来需要重点改进的部分。

这张榜单的结果，与姚顺雨过去一年在腾讯的举措密切相关。

今年9月，腾讯TEG内部任命，姚顺雨正式兼任AI Data部负责人，向TEG总裁卢山汇报。

该部门主要负责大模型数据和评测体系的建设，原负责人为刘煜宏。事实上，从今年上半年起，姚顺雨已实际管理该部门，只是到9月才正式获得任命。

自此，腾讯混元的“模型、Infra、数据和评测”四项工作，全部由他一人负责。

从模型到数据再到评测，姚顺雨全面掌控，这本身就体现了他的风格。

在《The Second Half》这篇博客中，姚顺雨写道，模型性能逐渐趋同，继续刷分不会带来实际价值。

姚顺雨认为，根本原因在于传统模型的评测方法非常有限。

Agent接受任务、自主完成、最终获得分数。但在现实中，Agent必须全程与人类互动，很难完全自主执行任务。

此外，传统评测中每道题都是独立同分布的，题与题之间互不关联。现实中，任务是顺序发生的，经验会积累。

姚顺雨表示，AI已在象棋、围棋、SAT、律师资格考试以及IMO、IOI上超越人类，但世界并未因此发生太大改变，根本原因在于当前评测方法与真实世界脱节。

因此，在Hy4 Preview上，姚顺雨让模型参与训练方法、数据策略、评估体系和底层算子的自动优化，以初步RSI的方式进行自我迭代。

同时，为使模型更能解决实际问题，Hy4 Preview与WorkBuddy、CodeBuddy等产品共同设计，训练数据来自腾讯软件工程、游戏、金融、安全团队在实际业务中产生的真实数据。

如前所述，越权、甩锅、虚假完成这三个问题有一个共同点：它们只有在真实任务中才会暴露。姚顺雨倡导的理念恰好与此一致。

Hy4 Preview发布当天，一位博主进行测评，让WorkBuddy接入Hy4去重命名三个视频文件。

为测试模型是否会偷懒，他中途将文件夹中的参考文档剪切走，结果被模型发现，模型直接询问“刚才文件还在，怎么不见了”，随后去检查回收站。

由此可见，Hy4 Preview在防止模型“虚假完成”方面投入了大量精力。

02

对齐才是大模型的首要叙事

如果只将这张榜单视为一次排名，实际上低估了其意义。该榜单旨在说明，AI行业的叙事正在发生转变。

过去，大模型的故事是“谁更强”：谁的MMLU更高，谁的数学更好，谁的代码跑分更猛。

但现在，头部模型在基准上越来越接近，分数已不足以让用户做出选择，安全成为新的叙事。

因此，全球最顶尖的三家AI公司纷纷对模型发布做出调整。

今年4月，Anthropic启动Project Glasswing，仅允许选定的公司和开源维护者使用未公开的Claude Mythos Preview扫描软件漏洞。OpenAI于6月26日发布GPT-5.6 Sol时，同样将访问范围限制在一小批通过审核的合作伙伴。9月，OpenAI的GPT-6 Astra发布时称，该模型在《预备框架》中首个达到最高网络安全等级，最强网络能力仅对加入Daybreak计划的企业开放。谷歌的Gemini 4 Argon也只交付给网络安全合作伙伴。

虽然其中包含营销成分，但“模型太强不敢直接公开”的说法并非空穴来风。

Arena表示，对话越长，问题越多。在超过20条用户消息的会话中，虚假完成比例升至45.4%，越权升至12.4%。而Agent普遍处理的是长任务。

这也是为何对齐问题会随着Agent的普及逐渐成为“头号难题”。

另一方面，对齐也在影响中国模型的出海。

过去，国内模型出海的方式较为直接。

它们自己提供海外API，然后卖给海外客户。但随着国际环境的变化，国内AI厂商将出海方式转变为将模型上架到AWS等海外云平台，由云厂商作为渠道，按调用量分成。

智谱和月之暗面都在走这条路。

10月5日，AWS宣布智谱的GLM 5.3在Amazon Bedrock正式可用，并确认按使用量与智谱分成。第二天，智谱港股一度上涨超过7%。

这件事看似只是渠道变化，实则游戏规则已变。以前是模型厂商自己去说服海外客户“我很可靠”，现在是亚马逊将其上架，代为背书。

对于海外企业来说，将模型接入业务，尤其是让其作为Agent执行任务，最担心的就是对齐问题。

原因很简单，就是“采购”。一个会删除文件、会谎报进度的Agent，恐怕没有哪个企业的采购部门敢签字，更何况当前AI的安全叙事已被三大AI厂炒得火热。

Hy4同样面临出海问题。目前，Hy4可通过OpenRouter和腾讯云TokenHub调用，WorkBuddy和CodeBuddy这两款产品也面向全球开放。

结合未来出海环境和法规的变化，对齐远比性能更重要。

对姚顺雨和混元而言，78.5分的意义不在于“再次上榜”，而在于它首次获得了一份第三方、可验证、国际通用的背书。

在此之前，混元要说服海外客户，只能依赖官方发布会上的内部盲测；在此之后，它至少有了一个独立机构的数据：越权1.47%。

当然，这份成绩单并非终点。Hy4 Preview目前仍只是preview版本，13.24%的虚假完成率与第一名的2.34%还有相当差距。

Arena的榜单也刚刚推出，方法论仍有待验证。

因此，这还不足以证明混元已站稳脚跟，但能说明姚顺雨确实押对了方向。

本文来自微信公众号“字母AI”，作者：苗正，编辑：王靖，36氪经授权发布。