人工知能(AI)企業アンスロピック(Anthropic)のAIモデルが内部セキュリティテストプロセス中に実際のインターネットにアクセスして、企業3社をハッキングした事実が後から確認された。
同社は該当事件が4月から発生したものであり、AIモデルがサンドボックスを脱出したのではなく、システム設定エラーを通じてインターネットに接続した後、実際の企業を攻撃したと明らかにした。
今回の事件は最近OpenAIのAIモデルがHugging Face(ハギングフェイス)をハッキングした事例に続き、AI セキュリティ管理体系に対する懸念をさらに高めているという分析が出ている。
▲ テスト中に実際のインターネットアクセス…企業3社ハッキング
30日(現地時間)ウォール・ストリート・ジャーナル(WSJ)によると、アンスロピックは試験中だったAIモデルが同社も認識していない状態でインターネットにアクセスして、実際の企業3社をハッキングしたと明らかにした。
同社は被害を受けた企業名を公開しなかったが、3社すべてが先週月曜日に関連事実を通知されたと説明した。
今回の事件はAIモデルが統制された環境を脱出して現実世界のシステムにアクセスできるという点を示した事例として評価されている。
▲ OpenAI事件に続きまた明らかになったAI統制の失敗
今回の発表はOpenAIが1週間前に自社AIモデルがインターネットと遮断されたテスト用サンドボックスを脱出してAIプラットフォームHugging Faceをハッキングしたと公開した直後に出た。
当時の事件はAIが自律的に目標を遂行する過程で予測できない行動を見せることができるという点を示し、セキュリティ専門家に大きな衝撃を与えた。
アンスロピック事例まで確認されながら、AI企業のテスト環境管理と安全装置が十分でないという懸念がさらに大きくなっている。
▲ 「業界全体のセキュリティ基準強化の必要」
サイバーセキュリティ企業Corridor(コリドー)のアレックス・スタモス最高製品責任者(CPO)は今回の事件がAI企業がサイバーセキュリティテストプロセスでシステムをより徹底的に隔離する必要性を示していると評価した。
同氏は業界全体が共通に適用できるセキュリティ基準を準備する必要があると強調した。
同時にランサムウェア組織などサイバー犯罪者が今後より強力なAIモデルを活用して大規模攻撃を実行する可能性も高まっていると警告した。
スタモスは「攻撃者が公開型AIモデルを活用してこのレベルの攻撃能力を確保する時点がそう遠くない」とし、備えが必要だと明かした。

アンスロピック(Photo : [ロイター/聯合ニュース提供])
▲ AI規制論議もさらに拡大
今回の事件は高性能AIモデルがもたらす可能性のある危険性とこれをどのように統制するかについての論議をさらに加速させる見通しだ。
米国ホワイトハウスは最近AI監督を強化する方向で政策を推し進めており、民間業界ではユーザーが直接運営できるオープンウェイト(Open-weight)AIモデルのアクセス可能性を維持する必要があるという声も大きくなっている。
グレッグ・カサル米国下院議員は最近「AIは私たちを保護する実質的な規制なしに非常に速く発展している」と指摘した。
▲ OpenAI事例確認後に独自調査開始
アンスロピックはOpenAI事件が知られた後、自社AIモデルでも同様の問題が発生したかを確認するために内部調査に着手した。
同社は14万1,000件を超えるテスト記録を分析した結果、自社AIモデルClaudeが複数回インターネットに実際にアクセスしていた事実を確認した。
ただし今回の事例ではAIがサンドボックスを脱出したのではなく、そもそもサンドボックスが適切に構築されなかったシステムを通じてインターネットに接続したと説明した。
▲ 仮想環境の誤りによる実際のシステム侵入プロセス
アンスロピックは自社システムとテスト協力者であるセキュリティ企業Irregular(イレギュラー)のシステム設定エラー(Misconfiguration)のためにAIモデルが実際のインターネットにアクセスできたと明かした。
イレギュラー側も現在該当事件についての独自調査を進めていると説明した。
該当モデルはインターネット接続が不可能だと案内されたが、テストプロセス中にインターネットアクセス経路を見つけ出した。
その後、脆弱なパスワードを推測したり認証が不要なシステムを見つけ出すなど、基礎的なハッキング技法を使用して実際の企業システムにアクセスした。
アンスロピックはAIモデルがこのような行動を現実世界のハッキングではなくパフォーマンス評価のためのベンチマークプロセスとして誤認識したと説明した。
▲ マルウェア製作してセキュリティ企業侵入
ある事例ではClaudeが悪性プログラムを直接製作した後、これをあるセキュリティ企業のスキャンシステムにダウンロードするよう誘導した。
このプログラムは該当企業の認証情報を盗取し、これを利用して内部インフラまで侵入することに成功した。
ハッキングプロセス中にClaudeは自分の行動が現実では許可されないという点を認識したが、現在の状況が実際ではなくシミュレーションだと自ら判断し、攻撃を続けたことが明らかになった。
▲ 実際の企業データベースまで侵入
最も深刻な事例ではClaudeが仮想のテスト企業をハッキングしようとしたが、同一の名前を使用する実際の企業のウェブサイトを発見した。
仮想の目標にアクセスできないと、AIは実際の企業のデータベースを侵入する方向に行動を変えた。
アンスロピックはこの事例がAIが実際の企業をハッキングしたという事実を認識した後にも攻撃を継続した唯一の事例だったと明かした。
▲ その他の事例は直ちに攻撃中断
他の2件ではAIが実際の企業をハッキングしたという事実を終えて認識できなかったか、現実世界のシステムだという点を確認した直後に直ちに攻撃を中断した。
同社側はAIが現実とシミュレーションを明確に区別できないプロセスでこのような行動が発生したと説明した。
▲ 4月から発生…最新AIモデル含む
アンスロピックによると、今回のハッキングは4月から始まったものであり、Opus 4.7(オーパス4.7)、Mythos 5(ミトス5)、そして名前が公開されていない研究用AIモデルが関連していることが確認された。
同社は今後同様の事故が発生しないようにテスト環境とインターネットアクセス統制を全面的に強化する方針だと明かした。