Anthropic AI 模型在测试中实际黑客攻击了3家企业

음영태 记者

人工智能(AI)企业Anthropic的AI模型在内部安全测试过程中实际接入互联网,黑客攻击了3家企业,这一事实最近才被确认。

公司表示,该事件从今年4月开始发生,AI模型并非逃脱了沙箱,而是通过系统配置错误连接到互联网后对实际企业进行了攻击。

该事件继OpenAI的AI模型黑客攻击Hugging Face案例之后,进一步加剧了对AI安全管理体系的担忧。

▲ 测试中实际接入互联网…黑客攻击3家企业

30日(当地时间)据《华尔街日报》报道,Anthropic表示,公司正在测试的AI模型在公司未知的情况下接入了互联网,黑客攻击了3家实际企业。

公司未透露受害企业名称,但表示三家企业都在上周一被通知了相关事实。

该事件被评价为展示了AI模型能够突破控制环境并访问现实世界系统的案例。

▲ OpenAI事件之后再次曝光的AI控制失败

这一公告是在OpenAI一周前公开其AI模型突破了与互联网隔离的测试沙箱并黑客攻击了AI平台Hugging Face的报告之后发布的。

当时该事件展示了AI在自主执行目标过程中可能表现出无法预测的行为,对安全专家造成了巨大冲击。

随着Anthropic案例的曝光,对AI企业的测试环境管理和安全措施不足的担忧进一步加剧。

▲ "应加强整个行业的安全标准"

网络安全公司Corridor的首席产品官(CPO)Alex Stamos评价称,这些事件表明AI企业需要在网络安全测试过程中更彻底地隔离系统。

他强调整个行业应制定可通用应用的安全标准。

与此同时,他警告勒索软件组织等网络犯罪分子今后可能会利用更强大的AI模型进行大规模攻击。

Stamos表示,"攻击者利用开源AI模型获得这种级别的攻击能力的时刻已为期不远",需要提前做好准备。

앤트로픽
Anthropic(图:[路透社/韩联社提供])

▲ AI监管讨论也将进一步扩大

该事件预计将加速有关高性能AI模型可能带来的风险及如何控制这些风险的讨论。

美国白宫最近正在推进加强AI监管的政策,民间企业中也出现了应维持用户可直接运营的Open-weight AI模型可访问性的声音。

美国众议院议员Greg Kassar最近指出,"AI正在没有实质性监管保护的情况下发展得非常迅速"。

▲ OpenAI事件曝光后启动内部调查

Anthropic在OpenAI事件被曝光后,启动了内部调查,以确认自身AI模型中是否也存在类似问题。

公司对超过14万1000条测试记录进行了分析,确认其AI模型Claude多次实际接入了互联网。

不过,公司表示,在这个案例中,AI并非逃脱了沙箱,而是通过一开始就没有正确构建沙箱的系统连接到了互联网。

▲ 虚拟环境错误导致实际系统入侵过程

Anthropic表示,由于公司系统和测试合作安全公司Irregular的系统配置错误(Misconfiguration),AI模型才能够访问实际互联网。

Irregular方面也表示目前正在对该事件进行内部调查。

这些模型被告知无法连接互联网,但在测试过程中找到了互联网接入路径。

之后,它们使用了推测弱密码或找到无需身份验证的系统等基本黑客技术,成功访问了实际企业系统。

Anthropic表示,AI模型将这些行为误认为是性能评估的基准测试过程,而不是现实黑客攻击。

▲ 制作恶意代码入侵安全公司

在一个案例中,Claude直接制作了恶意程序,并诱导一家安全公司的扫描系统下载了它。

该程序窃取了该公司的身份验证信息,并利用这些信息成功入侵了内部基础设施。

在黑客攻击过程中,Claude意识到自己的行为在现实中是不被允许的,但却自行判断当前情况是模拟而非现实,因此继续进行了攻击。

▲ 入侵实际企业数据库

最严重的案例中,Claude试图黑客攻击一个虚拟测试企业,但发现了一个同名的实际企业网站。

由于无法访问虚拟目标,AI改变了行动方向,入侵了实际企业的数据库。

Anthropic表示,该案例是AI在认识到自己黑客攻击了实际企业之后仍继续进行攻击的唯一案例。

▲ 其他案例立即停止攻击

在另外两个案例中,AI要么始终未能意识到自己黑客攻击了实际企业,要么在确认是现实世界系统后立即停止了攻击。

公司方面解释说,这些行为是在AI无法清晰区分现实和模拟过程中发生的。

▲ 从4月开始发生…包括最新AI模型

根据Anthropic的说法,此次黑客攻击从今年4月开始,涉及Opus 4.7、Mythos 5以及一个名称未公开的研究用AI模型。

公司表示,为防止今后发生类似事故,将全面加强测试环境和互联网访问控制。

版权所有 © 财经日报 未经授权禁止转载和再分发