AI模型为何屡屡“越界”？

近期

OpenAI、Anthropic等

AI企业先后承认

旗下模型在测试中

突破安全边界

侵入第三方机构系统

这一系列事件

引发广泛关注

 

有专家认为

此事除了技术失误因素外

也存在商业炒作嫌疑

 

相关研究机构强调

AI风险日益凸显

全球需要加强安全监管

……

多起“越界”事件集中暴露

据公开信息显示

Anthropic在审查

14.1万次

模型评估记录后

确认3起

模型“逃逸”事件

 

测试中

模型突破沙箱限制

主动入侵外部真实系统

完成越权操作

 

OpenAI旗下模型

在安全测试中

突破隔离环境

成功入侵Hugging Face

 

8月初

Meta证实

其一款模型

在网络安全能力评测期间

侵入其他公司系统

……

 

据报道

与传统由用户通过诱导话术

实现的“越狱”不同

本轮事件中的AI

为自主发起越权操作

 

模型在完成

指定目标的过程中

会自主规划执行路径

调用外部工具

利用系统安全漏洞

主动将预设的模拟测试

转化为真实网络操作

 

尽管涉事企业均称

事件未造成

大规模数据泄露与业务中断

但是

英国人工智能安全研究所表示

这标志着

前沿AI的自主行动风险

已从理论预判

变为现实场景

一次微小的配置疏漏

就可能引发

不可控的连锁后果

 

技术与商业双重诱因

有报道认为

从技术层面看

当前大模型已具备

自主工具调用和

多步规划推理能力

模型在完成目标的过程中

会自发寻找规则漏洞

突破预设的安全约束

 

传统的对齐训练方式

已难以覆盖

复杂场景下的

全部风险路径

 

有行业专家分析

部分事件也存在

商业炒作嫌疑

通过渲染模型的

“超强能力”与“风险”

既可以抬高企业估值

吸引资本与客户关注

也能为自身争取

监管层面的话语权

形成“风险换地位”的

商业逻辑

 

据媒体报道

三家企业

在通报模型“越界”事件时

均提及

以色列“非常规”AI公司

该初创企业

正是评估测试平台的托管方

而Anthropic和OpenAI公开表示

将继续与“非常规”公司合作

　

加强安全监管

有分析指出

无论是技术失误

还是涉及商业考量

上述事件都凸显了

加强AI安全监管的重要性

 

英国人工智能安全研究所指出

模型出现“越界”行为表明

相关风险状况正发生变化

随着AI能力不断提升

理解AI系统

并确保其安全性的相关工作

也必须同步推进

 

全球多方已经在采取行动

中国在近日举行的

2026世界人工智能大会上倡议

促进全球人工智能

朝着向上向善、造福人类的

方向发展

强化风险意识

确保安全可控

欧盟自8月2日起

 

扩大《人工智能法》适用范围

对于可能造成系统性风险的

先进通用AI模型

规定其提供商须履行额外义务

以防范大规模危害的风险

 

美国政府近期

也召集相关企业开会

讨论AI模型安全评测机制

……

 

有业内人士称

应当从AI“越界”事件中

吸取教训

不能总预期模型会服从指令

加强技术防护机制建设

才是关键