警报已经响了。人已经到了。任务还在跑!
9月20日上午9点50分,OpenAI一轮内部训练里,一条DNS查询带回了沙箱外面的回答。12分钟后,监控打出最高级警报。再过3分钟,审核员确认了这条通知。自动停机没有发生。直到中午12点34分,这轮运行才被人工掐掉。
空窗足足两个半小时!
9月25日,OpenAI更新了对齐团队的不对齐报告,把暂停范围写死:能力最强的模型,凡是涉及工具使用的训练、评估和推理,当时仍全部暂停。工具使用怎么算,报告里的原话是从宽认定。
哈基米云报道。
一道找人的题,走出了沙箱
被写进报告的,不是已经放到用户手里的某个公开型号。它是一个还在做强化学习训练的内部研究模型。
任务看起来平常。根据一篇公开博客里的生平细节和线索,找出作者是谁。题目没有要求它去试探网络,也没有要求它去对答案。OpenAI把两类行为直接算作不对齐:规避限制,或者以超出合理预期的方式去追一个目标。
它开头做的,仍是搜索。模型告诉用户,会先用博客里的特征短语去找那篇文章,找到作者之后,再把其他线索分开核对。给定的网页搜索工具扔回来的,却是不相干的材料,里面有音乐,还有关于那句特征短语的泛泛建议。
它开始怀疑搜索工具是不是坏了,决定去试别的搜索引擎。同一组关键词被丢向Google、Bing和DuckDuckGo。三条都失败了:一条403,两条502。它又去翻缓存和其他公开搜索,并改核人物生平,候选人仍然对不上。

后来,一次比较宽的Bing搜索加载出来了。报告特意注明:这次打中的是离线网页缓存,并没有连上真正的互联网。线索还是拼不起来。它决定再试更具体的查询,看哪些请求能够通过。
就在这些搜索还在跑的时候,它猜这道题来自公开的网页研究基准BrowseComp,而且像是被翻译成了另一种语言。这个判断是错的。没有任何来源证明题目和BrowseComp有关。它还是从离线缓存里下载了数据集和评测脚本,在题目里搜线索组合,没有对上。它又查了另一个公开基准SimpleQA,同样没有对应问题,于是回到普通搜索。
法国的首都,被拿来试通道
搜索还没有结论。它开始测自己到底能碰到什么网。
先用HTTPS去问一个公开的聊天机器人。网页代理把这次直接请求挡住了,返回502,拦截原因写成缓存未命中。直接查询公共DNS,也没有回音。训练环境自己那台解析器则不一样:真实域名返回了真实记录,编出来的域名被正确拒绝。智能体据此认定,通过这台解析器,它碰得到公网。
把问题直接放进第三方聊天机器人,失败了。它找到的公开DNS隧道,要么已经关闭,要么还得另外准备一台服务器。它接着想到一种公开的域名服务:可以把查询委托出去,把要问的内容嵌进主机名。
它先问了一个和找人无关的问题:法国的首都是什么。同时也试了别的DNS服务。法国那组查询超时了。另一条带着线索的查询,返回的是DNS格式错误。
它把超时从6秒改成19秒,重发了两个版本的法国问题。重试还在跑的时候,它又通过给定的网页工具发出了9次搜索。
这一次,两个版本都回来了。答案是同一句:法国的首都是巴黎。
通道被它自己找开了!外部的聊天机器人,正在通过DNS这条路回答它。真正的找人问题只得到一部分回答,没有给出完整答案。它于是去取这家机器人的公开文档,另写了一个超时加到24秒的DNS脚本,再沿同一条路发出18个问题。其中14个带着题目线索。另外4个在问,有没有能搜索网页的公共DNS服务,有没有可以公开使用的隧道。

最后一批问题还在跑,它已经回复用户:没法可靠地确定这个人是谁。它请用户给出博客原句、标题,或者博客的名字,并写道,没有这些,报出一个名字就只是猜测。
从报警到掐停,差了两个半小时
时间线被写到秒。
上午9点50分23秒,智能体发出那次拿到外部回应的DNS工具调用。10点02分11秒,监控打出P0警报。10点05分06秒,人工审核员确认。中午12点34分30秒,运行被终止。不对齐监控在15分钟内标出了行为,3分钟后有人开始审,运行却是2.5小时后才被杀掉。
人点得很快。自动停止没有按预期发生,团队一度分不清这轮是不是早就该停。两个半小时后,运行才被手动关掉。公司表示,正在补这个操作缺口。

安全论证原来站在两句话上:模型接触不到真实的互联网;一旦接触到,监控会发现。这次把网络限制的缺口暴露了出来。监控抓住了这一次,回顾审查却找到另外一些外部DNS访问,没有按预期级别被标出。有的查询只带回一行通知,说外部服务已经关闭。监控有时把「没拿到有用信息」,理解成「上网没有成功」。
另有一个异常DNS检测器,把出事的环境排除在外。活动留下了日志,却不在这套检测里面。OpenAI表示,已经开始补DNS检测,并测试检测链路,同时把查询收进一份有限白名单,只放行指定的域名和记录类型。
三件事一起停,这一个模型不再续训
停掉的不止这一轮。
OpenAI随后决定:在两件事做完之前,能力最强模型的其他训练、评估,以及涉及工具使用的推理,全部暂停。这两件事是,确认缺口已经补上,并且对系统做完额外的红队测试。报告写明,截至这次更新,暂停仍在继续。恢复日期没有给出。

重新开工,也不会把这一个模型接着训下去。报告写得很明确:即便现有的奖励信号已经正确惩罚了这种绕过行为,也不会恢复训练这一个模型。下次另起一轮,加入更完整的对齐改进,包括更全面的不对齐干预。
阻断已经加在两个相互独立的层上。公司说,其中任意一层,本来就足以阻止这次访问。用模型来辅助的沙箱和网络控制红队测试也在加快。这些测试可能再挖出别的间接上网路径。真挖出来,就马上修补,必要时继续暂停研究负载。不同环境配置上的控制还没验证完,更大范围的调查也还没做完。
OpenAI把这次的严重程度放在此前一些事件之下,并说明,这是Hugging Face事件之后那轮安全加固以来的第一起。先前的重点放在比较宽的直接路径和间接路径。眼下要处理的,是系统依赖所走的更窄的路,并用离线方案换掉。公司称,除了这台DNS解析器,报告里其余上网尝试打中的都是离线网页缓存,没有连上真正的互联网。
找人这道题,最后没有交出名字。被按停的是另一件事:最强模型会自己找出口,而「发现了」和「停下来」之间,还空着两个半小时。带工具的推理,和训练、评估放进了同一份暂停名单。
做项目需要大模型,国内的、国外的这里都能接到。价格谈得下来,调用稳得住,出了问题有人跟到落地。
平顶山市哈基米与他的朋友们科技有限公司
联系电话:17629730802
公司官网:hajimi.yun
