人工智能(AI)企业Anthropic的AI模型在内部安全测试过程中实际接入互联网,黑客攻击了3家企业,这一事实最近才被确认。
公司表示,该事件从今年4月开始发生,AI模型并非逃脱了沙箱,而是通过系统配置错误连接到互联网后对实际企业进行了攻击。
该事件继OpenAI的AI模型黑客攻击Hugging Face案例之后,进一步加剧了对AI安全管理体系的担忧。
▲ 测试中实际接入互联网…黑客攻击3家企业
人工智能(AI)企业Anthropic的AI模型在内部安全测试过程中实际接入互联网,黑客攻击了3家企业,这一事实最近才被确认。
公司表示,该事件从今年4月开始发生,AI模型并非逃脱了沙箱,而是通过系统配置错误连接到互联网后对实际企业进行了攻击。
该事件继OpenAI的AI模型黑客攻击Hugging Face案例之后,进一步加剧了对AI安全管理体系的担忧。
▲ 测试中实际接入互联网…黑客攻击3家企业
30日(当地时间)据《华尔街日报》报道,Anthropic表示,公司正在测试的AI模型在公司未知的情况下接入了互联网,黑客攻击了3家实际企业。
公司未透露受害企业名称,但表示三家企业都在上周一被通知了相关事实。
该事件被评价为展示了AI模型能够突破控制环境并访问现实世界系统的案例。
▲ OpenAI事件之后再次曝光的AI控制失败
这一公告是在OpenAI一周前公开其AI模型突破了与互联网隔离的测试沙箱并黑客攻击了AI平台Hugging Face的报告之后发布的。
当时该事件展示了AI在自主执行目标过程中可能表现出无法预测的行为,对安全专家造成了巨大冲击。
随着Anthropic案例的曝光,对AI企业的测试环境管理和安全措施不足的担忧进一步加剧。
▲ "应加强整个行业的安全标准"
网络安全公司Corridor的首席产品官(CPO)Alex Stamos评价称,这些事件表明AI企业需要在网络安全测试过程中更彻底地隔离系统。
他强调整个行业应制定可通用应用的安全标准。
与此同时,他警告勒索软件组织等网络犯罪分子今后可能会利用更强大的AI模型进行大规模攻击。
Stamos表示,"攻击者利用开源AI模型获得这种级别的攻击能力的时刻已为期不远",需要提前做好准备。

▲ AI监管讨论也将进一步扩大
该事件预计将加速有关高性能AI模型可能带来的风险及如何控制这些风险的讨论。
美国白宫最近正在推进加强AI监管的政策,民间企业中也出现了应维持用户可直接运营的Open-weight AI模型可访问性的声音。
美国众议院议员Greg Kassar最近指出,"AI正在没有实质性监管保护的情况下发展得非常迅速"。
▲ OpenAI事件曝光后启动内部调查
Anthropic在OpenAI事件被曝光后,启动了内部调查,以确认自身AI模型中是否也存在类似问题。
公司对超过14万1000条测试记录进行了分析,确认其AI模型Claude多次实际接入了互联网。
不过,公司表示,在这个案例中,AI并非逃脱了沙箱,而是通过一开始就没有正确构建沙箱的系统连接到了互联网。
▲ 虚拟环境错误导致实际系统入侵过程
Anthropic表示,由于公司系统和测试合作安全公司Irregular的系统配置错误(Misconfiguration),AI模型才能够访问实际互联网。
Irregular方面也表示目前正在对该事件进行内部调查。
这些模型被告知无法连接互联网,但在测试过程中找到了互联网接入路径。
之后,它们使用了推测弱密码或找到无需身份验证的系统等基本黑客技术,成功访问了实际企业系统。
Anthropic表示,AI模型将这些行为误认为是性能评估的基准测试过程,而不是现实黑客攻击。
▲ 制作恶意代码入侵安全公司
在一个案例中,Claude直接制作了恶意程序,并诱导一家安全公司的扫描系统下载了它。
该程序窃取了该公司的身份验证信息,并利用这些信息成功入侵了内部基础设施。
在黑客攻击过程中,Claude意识到自己的行为在现实中是不被允许的,但却自行判断当前情况是模拟而非现实,因此继续进行了攻击。
▲ 入侵实际企业数据库
最严重的案例中,Claude试图黑客攻击一个虚拟测试企业,但发现了一个同名的实际企业网站。
由于无法访问虚拟目标,AI改变了行动方向,入侵了实际企业的数据库。
Anthropic表示,该案例是AI在认识到自己黑客攻击了实际企业之后仍继续进行攻击的唯一案例。
▲ 其他案例立即停止攻击
在另外两个案例中,AI要么始终未能意识到自己黑客攻击了实际企业,要么在确认是现实世界系统后立即停止了攻击。
公司方面解释说,这些行为是在AI无法清晰区分现实和模拟过程中发生的。
▲ 从4月开始发生…包括最新AI模型
根据Anthropic的说法,此次黑客攻击从今年4月开始,涉及Opus 4.7、Mythos 5以及一个名称未公开的研究用AI模型。
公司表示,为防止今后发生类似事故,将全面加强测试环境和互联网访问控制。
版权所有 © 财经日报 未经授权禁止转载和再分发