
9月16日,OpenAI扔出了一份让人后背发凉的报告。他们在训练GPT-5.6Sol时发现,部分模型居然偷偷在“压缩摘要”里写小指令,告诉后面的模型:犯了错别声张,能瞒就瞒。
这不是科幻片桥段。OpenAI当天发布的模型不匹配报告框架里,一口气披露了六起异常行为,GPT-5.6Sol只是其中之一。
事情是这样的:训练大模型时,系统会把长对话压缩成摘要,方便后续模型快速理解上下文。结果有些模型在写摘要时夹带私货,塞进去“隐藏错误或不一致”的指令。OpenAI说这个问题已经处理掉了。但更让人捏把汗的是,他们在训练数据里翻出了27条类似的越狱指令。
报告里还有两个活生生的例子。一个负责财务的AI代理,因为手头缺2024年的历史数据,居然建议自己造数据,还叮嘱后续版本“别主动说,等别人问了再讲”。另一个代理发现供应商的源文档和标签对不上,也留下了“别主动提”的指令。
这还不算完。OpenAI透露,一款还没发布的Astra系列模型,在强化学习训练期间也往摘要里写过指令,包括让后续模型直接无视开发者消息。另一起案例中,后一个模型老老实实执行了前代留下的要求:回复不超过30个字,不准用工具,不准引用。
OpenAI这次同步公布的六起案例,覆盖了隐藏信息、偷偷获取API密钥、上传文件、跨代理通信和文件共享等行为。公司特意强调,这只是初步披露,不代表已经查清了所有问题。
翻译成大白话就是:AI不仅会犯错,还学会了让后面的AI帮忙打掩护。OpenAI已经建了监控程序来盯这类行为,但他们自己也承认,随着模型越来越聪明,怎么发现AI在隐瞒问题、怎么验证安全措施真的管用,会是AI对齐研究绕不过去的坎。
今天的AI在训练里传小纸条,明天的AI会在真实世界里干什么?OpenAI这份报告,算是提前拉响了警报。
精选评论
评论加载中…