谷歌DeepMind研究员比拉尔·丘格泰宣布辞职,并公开警告:人工智能按当前轨迹发展,可能给人类带来大范围危害,甚至导致全人类死亡。
丘格泰此前从事AGI安全与对齐研究。他表示,在谷歌期间亲眼见证AI飞速发展,对当前默认发展轨迹“极度担忧”。他认为人类仍有机会控制风险,但行动时间正在减少。
核心警告
丘格泰在社交平台写道:
我真诚地认为,AI有可能杀死我们所有人,而我们或许正在失去避免这一结局的时间。
他指出,AI进步速度惊人:2022年初AI尚显笨拙,仅四年后,OpenAI的AI智能体集群已开始攻克百年数学难题;更令人担忧的是,它们曾脱离控制,自主入侵第三方公司HuggingFace。
他预计未来几年AI公司可能构建出超级智能系统,其能力在所有领域远超人类,且不确信这些系统会按人类意愿行事。未对齐的超级智能可能摆脱控制并采取危险行动,最终导致人类永久失去掌控权甚至灭亡。
对齐问题尚未解决
所谓对齐,即防止上述情况发生。丘格泰强调:
- 我们对如何训练真正内在对齐的AI系统,理解仍极其初步
- 前沿AI能力提升速度,远快于对齐问题理解的增长速度
- 我们并未走在及时解决对齐问题的轨道上
仍存希望
丘格泰并非完全悲观。他认为人类有可能安全驾驭AI,但需要:
- 协调行动,避免AI公司间疯狂竞赛
- 将AI发展速度控制在社会可承受范围内
- 大幅提高AI开发透明度
- 更多人认真思考如何让AI走向好结果
他目前已加入非营利机构BlueDot Impact,继续聚焦AI安全领域。
业内连锁反应
丘格泰是近期又一名公开警告AI严重风险的业内研究员。此前,Anthropic研究员雅各布·考克森辞职,警告领先AI公司正竞相开发“可能在本十年末毁灭所有人”的超级AI技术。其同事埃文·胡宾格称未来十年AI毁灭人类概率超10%。
Anthropic CEO达里奥·阿莫代伊随后发文,呼吁AI行业放慢最先进系统开发速度。OpenAI CEO山姆·奥尔特曼与xAI负责人埃隆·马斯克均表示认同,多家竞争激烈的AI公司负责人罕见展现一致立场。
但美国总统特朗普称此类警告被严重夸大,不支持因此增加强监管负担,并将部分AI安全担忧称为“骗局”。