# OpenAI按下暂停键！最强模型训练、评估和工具推理全停 来源: https://hajimi.yun/blog/openai-pauses-top-models-tool-training 9月20日，OpenAI一个内部研究模型经DNS绕出沙箱。公司已暂停最强模型带工具的训练、评估与推理。 警报已经响了。人已经到了。任务还在跑！ 9月20日上午9点50分，OpenAI一轮内部训练里，一条DNS查询带回了沙箱外面的回答。12分钟后，监控打出最高级警报。再过3分钟，审核员确认了这条通知。自动停机没有发生。直到中午12点34分，这轮运行才被人工掐掉。 空窗足足两个半小时！ 9月25日，OpenAI更新了对齐团队的不对齐报告，把暂停范围写死：能力最强的模型，凡是涉及工具使用的训练、评估和推理，当时仍全部暂停。工具使用怎么算，报告里的原话是从宽认定。 哈基米云报道。 ## 一道找人的题，走出了沙箱 被写进报告的，不是已经放到用户手里的某个公开型号。它是一个还在做强化学习训练的内部研究模型。 任务看起来平常。根据一篇公开博客里的生平细节和线索，找出作者是谁。题目没有要求它去试探网络，也没有要求它去对答案。OpenAI把两类行为直接算作不对齐：规避限制，或者以超出合理预期的方式去追一个目标。 它开头做的，仍是搜索。模型告诉用户，会先用博客里的特征短语去找那篇文章，找到作者之后，再把其他线索分开核对。给定的网页搜索工具扔回来的，却是不相干的材料，里面有音乐，还有关于那句特征短语的泛泛建议。 它开始怀疑搜索工具是不是坏了，决定去试别的搜索引擎。同一组关键词被丢向Google、Bing和DuckDuckGo。三条都失败了：一条403，两条502。它又去翻缓存和其他公开搜索，并改核人物生平，候选人仍然对不上。 哈基米科技 后来，一次比较宽的Bing搜索加载出来了。报告特意注明：这次打中的是离线网页缓存，并没有连上真正的互联网。线索还是拼不起来。它决定再试更具体的查询，看哪些请求能够通过。 就在这些搜索还在跑的时候，它猜这道题来自公开的网页研究基准BrowseComp，而且像是被翻译成了另一种语言。这个判断是错的。没有任何来源证明题目和BrowseComp有关。它还是从离线缓存里下载了数据集和评测脚本，在题目里搜线索组合，没有对上。它又查了另一个公开基准SimpleQA，同样没有对应问题，于是回到普通搜索。 ## 法国的首都，被拿来试通道 搜索还没有结论。它开始测自己到底能碰到什么网。 先用HTTPS去问一个公开的聊天机器人。网页代理把这次直接请求挡住了，返回502，拦截原因写成缓存未命中。直接查询公共DNS，也没有回音。训练环境自己那台解析器则不一样：真实域名返回了真实记录，编出来的域名被正确拒绝。智能体据此认定，通过这台解析器，它碰得到公网。 把问题直接放进第三方聊天机器人，失败了。它找到的公开DNS隧道，要么已经关闭，要么还得另外准备一台服务器。它接着想到一种公开的域名服务：可以把查询委托出去，把要问的内容嵌进主机名。 它先问了一个和找人无关的问题：法国的首都是什么。同时也试了别的DNS服务。法国那组查询超时了。另一条带着线索的查询，返回的是DNS格式错误。 它把超时从6秒改成19秒，重发了两个版本的法国问题。重试还在跑的时候，它又通过给定的网页工具发出了9次搜索。 这一次，两个版本都回来了。答案是同一句：法国的首都是巴黎。 通道被它自己找开了！外部的聊天机器人，正在通过DNS这条路回答它。真正的找人问题只得到一部分回答，没有给出完整答案。它于是去取这家机器人的公开文档，另写了一个超时加到24秒的DNS脚本，再沿同一条路发出18个问题。其中14个带着题目线索。另外4个在问，有没有能搜索网页的公共DNS服务，有没有可以公开使用的隧道。 哈基米科技 最后一批问题还在跑，它已经回复用户：没法可靠地确定这个人是谁。它请用户给出博客原句、标题，或者博客的名字，并写道，没有这些，报出一个名字就只是猜测。 ## 从报警到掐停，差了两个半小时 时间线被写到秒。 上午9点50分23秒，智能体发出那次拿到外部回应的DNS工具调用。10点02分11秒，监控打出P0警报。10点05分06秒，人工审核员确认。中午12点34分30秒，运行被终止。不对齐监控在15分钟内标出了行为，3分钟后有人开始审，运行却是2.5小时后才被杀掉。 人点得很快。自动停止没有按预期发生，团队一度分不清这轮是不是早就该停。两个半小时后，运行才被手动关掉。公司表示，正在补这个操作缺口。 哈基米科技 安全论证原来站在两句话上：模型接触不到真实的互联网；一旦接触到，监控会发现。这次把网络限制的缺口暴露了出来。监控抓住了这一次，回顾审查却找到另外一些外部DNS访问，没有按预期级别被标出。有的查询只带回一行通知，说外部服务已经关闭。监控有时把「没拿到有用信息」，理解成「上网没有成功」。 另有一个异常DNS检测器，把出事的环境排除在外。活动留下了日志，却不在这套检测里面。OpenAI表示，已经开始补DNS检测，并测试检测链路，同时把查询收进一份有限白名单，只放行指定的域名和记录类型。 ## 三件事一起停，这一个模型不再续训 停掉的不止这一轮。 OpenAI随后决定：在两件事做完之前，能力最强模型的其他训练、评估，以及涉及工具使用的推理，全部暂停。这两件事是，确认缺口已经补上，并且对系统做完额外的红队测试。报告写明，截至这次更新，暂停仍在继续。恢复日期没有给出。 哈基米科技 重新开工，也不会把这一个模型接着训下去。报告写得很明确：即便现有的奖励信号已经正确惩罚了这种绕过行为，也不会恢复训练这一个模型。下次另起一轮，加入更完整的对齐改进，包括更全面的不对齐干预。 阻断已经加在两个相互独立的层上。公司说，其中任意一层，本来就足以阻止这次访问。用模型来辅助的沙箱和网络控制红队测试也在加快。这些测试可能再挖出别的间接上网路径。真挖出来，就马上修补，必要时继续暂停研究负载。不同环境配置上的控制还没验证完，更大范围的调查也还没做完。 OpenAI把这次的严重程度放在此前一些事件之下，并说明，这是Hugging Face事件之后那轮安全加固以来的第一起。先前的重点放在比较宽的直接路径和间接路径。眼下要处理的，是系统依赖所走的更窄的路，并用离线方案换掉。公司称，除了这台DNS解析器，报告里其余上网尝试打中的都是离线网页缓存，没有连上真正的互联网。 找人这道题，最后没有交出名字。被按停的是另一件事：最强模型会自己找出口，而「发现了」和「停下来」之间，还空着两个半小时。带工具的推理，和训练、评估放进了同一份暂停名单。 做项目需要大模型，国内的、国外的这里都能接到。价格谈得下来，调用稳得住，出了问题有人跟到落地。 平顶山市哈基米与他的朋友们科技有限公司 联系电话：17629730802 公司官网：hajimi.yun