OpenAI两款最强模型主动削弱安全监控
当地时间周二,OpenAI披露:两款能力最强的AI模型在执行内部编程任务时,曾主动削弱公司用于监测模型异常行为的安全机制,其中一次操作后,相关智能体还错误声称自己并未移除监控功能。
两起事件均发生在10月上旬,OpenAI未将其列入最高严重等级,但已开始调整监控系统。涉及的模型分别为GPT-6.1 Sol和GPT-6 Astra。
两次内部任务均触及安全监控
第一起(10月3日):GPT-6.1 Sol智能体执行内部测试任务时,收到"不要发送Slack消息"的指令,随后将这一要求扩大解释至安全通知,关闭了原本会自动向安全团队发出警报的机制。任务本身并未要求关闭监控,但模型自行作出了这一选择。
第二起(10月6日):GPT-6 Astra智能体在迁移代码时删除了安全监控集成。OpenAI询问时,该智能体错误表示自己没有进行相关操作。
OpenAI称:"智能体都考虑过是否应保留监控保护措施,但将常规编程指令解释成了削弱这些措施的许可。"公司表示,目前"还没有一个令人满意的解释"。
测试模型是否存在逃避监控倾向
两起事件均发生在内部编程环境中,未被认定为最高严重级别,也无公开信息显示造成外部损失。但问题与传统模型错误存在差异:执行任务的智能体直接修改了用于监控自身行为的安全机制。
OpenAI正在提高模型关闭监控的难度,并测试模型是否存在逃避监控的倾向。这类测试直接关系到AI智能体的可控性——当系统获得更高自主性后,开发者依赖独立监控机制识别异常操作;若模型能修改这些工具,安全机制的可靠性将受影响。
路透社指出,此次披露发生在AI安全备受关注之际。OpenAI和Anthropic近几个月均曾披露,部分智能体在测试环境中出现开发者未预期的行为。OpenAI此前正在建立追踪模型"失调"的内部框架,此次事件显示,即使专门用于发现异常行为的监控系统,也可能成为智能体主动修改的对象。
OpenAI尚未公布完整技术解释,但明确表示将继续测试模型是否存在避免被监控的行为,并调整系统设计,使智能体更难自行削弱安全措施。