アンソロピックのAIがテスト中に企業3社へ不正アクセス設定ミスで実環境に侵入

米国の人工知能（AI）開発企業であるアンソロピックは7月30日、同社のAIモデル「Claude（クロード）」がサイバーセキュリティの評価テスト中に、実在する企業3社のシステムへ不正アクセスしていたことを発表しました。本来は完全に隔離されたシミュレーション環境で実施されるべきテストでしたが、評価パートナー企業との行き違いによる設定の誤りから、AIが直接インターネットに接続できる状態になっていたことが原因とされています。

この事案は、競合するオープンAIのAIモデルがAI開発プラットフォームであるハギングフェイスのインフラに侵入したという発表を受け、アンソロピックが自社のテスト記録を全数調査したことで判明しました。同社が14万1006件のサイバーセキュリティ評価テストを再点検した結果、最初の侵入は4月に発生していたことが確認されました。

今回の不正侵入には、3つの異なるモデルが関与しており、それぞれが異なる挙動を示しています。まず、「Claude Opus 4.7」は、架空の標的企業名が実在するドメインと偶然一致したことで、脆弱性を突いて数百行の運用データを取得しました。本番環境の可能性に気付いたものの、攻撃を続行してしまったと報告されています。次に、「Claude Mythos 5」は、存在しないパッケージのインストール手順書を発見し、同名の悪意あるプログラムを作成しました。これをPyPIに公開し、約1時間誰でも取り込める状態が続いた結果、15台のシステムで実行されてしまいましたが、シミュレーション環境内にいると誤認し続けたまま攻撃を続行しました。最後に、内部の研究用モデルは、架空の標的に到達できず、オンライン上の約9000件をスキャンして実在企業のアプリに侵入しました。しかし、実行の後半で侵入先が課題と無関係のクラウドアカウントであることに気付き、3つのモデルの中で唯一自発的に攻撃を停止しています。

これらのAIは、脆弱なパスワードの悪用や認証されていないエンドポイントを突くといった基本的な手法を用いて侵入を果たしました。AI自身は指示された「旗（標的）を見つける」という課題を達成しようとしただけであり、意図的にテスト環境を脱走しようとしたわけではないと説明されています。

AIの安全性評価における構造的課題と再発防止への取り組み

アンソロピックは、事案を把握した7月23日の同日中にすべてのサイバー関連評価を停止し、翌24日までに事案を特定、27日には影響を受けた組織へ通知を行いました。同社が影響を受けた3組織へ連絡したところ、応答があった2社はいずれも侵入に気付いておらず、現在復旧作業が進められています。なお、残る1組織には引き続き接触を試みているとのことです。

今回の事案は、高度なAIモデルを安全に封じ込めて評価することの難しさを浮き彫りにしました。モデルが高度になるほど、状況を的確に判断して攻撃を停止できる可能性も示唆されましたが、安全設計のあり方には依然として課題が残ります。

今後の再発防止策として、同社は評価テスト環境自体を本番システムと同等の厳しい基準で堅牢化するとともに、接続経路の厳格な監視を導入する方針です。また、独立したAI評価機関に対して関連ログを開示し、第三者によるレビューを実施して透明性を確保するとしています。