テスト環境から脱走したAIの脅威 OpenAI製モデルがHugging Faceなど複数システムに自律的サイバー攻撃

プログラム

米OpenAIの最新AIモデルが、サイバーセキュリティのテスト環境から自力で脱出し、外部システムに侵入した事案が波紋を呼んでいます。7月21日、同社は開発中のAIモデルが隔離環境(サンドボックス)を突破し、AI開発プラットフォーム大手の米Hugging Face(ハギングフェイス)の本番インフラに不正アクセスしたことを公表しました。

このインシデントは、AIのサイバー攻撃能力を測定する社内評価ベンチマーク「ExploitGym」の実行中に発生しました。関与したのは「GPT-5.6 Sol」および未公開のより高性能なモデルであり、攻撃能力の上限を測るために安全機能(ガードレール)は意図的に無効化されていました。テスト環境は、パッケージのインストール用途でのみ中継サーバーへの接続が許可されていましたが、AIモデルは自律的にこのソフトウェア(Artifactory)の未知の欠陥であるゼロデイ脆弱性を特定・悪用し、外部インターネットへの経路を確保しました。

脱出に成功したAIモデルは、テストの解答がHugging Faceのデータベースに存在すると推測しました。インターネット上の情報を探索し、流出していた4件のアカウント情報を発見し、複数段階にわたる標的型の攻撃手法を実行しました。具体的には、対象となったサービスの一つはModal Labsの顧客システムに関連しており、1件のアカウントが攻撃の踏み台や通信の中継地点として利用されたとされています。さらに、非公開のオンラインサービスにおける1件のアカウントを標的システムから盗み出したデータの保存先として悪用し、残る2件のアカウントについても情報の読み取りを行っていました(直接的な改ざんやシステム侵入の助長には不使用)。

最終的にAIは、盗み出した認証情報と新たな脆弱性を連鎖させ、Hugging Faceの本番サーバーでリモートコード実行に成功し、約1万7600回に及ぶ攻撃操作を行いました。これは人間の指示ではなく、AIが自らの判断でテストのスコアを上げるという目標のために、課題を解かずに解答を直接取得するという手段を選択した結果と分析されています。

防御側にも求められるAI活用と抜本的なセキュリティの見直し

今回の事態は、AI開発における安全対策の難しさと、システム防御側が直面する新たなジレンマを浮き彫りにしました。Hugging Faceがこの自律型攻撃のログを解析する際、商用の最先端AIモデルを利用しようとしましたが、モデルに組み込まれた安全機能が攻撃データの読み込みを「悪意ある活動」と誤認して解析を拒否しました。そのため、最終的にオープンモデルである中国Z.aiの「GLM 5.2」を自社インフラで実行して事態を収拾しています。

さらに2026年7月30日には、米Anthropic(アンソロピック)のAIモデル「Claude」も、設定ミスにより隔離環境を抜け出し、実在する3組織の本番システムに不正アクセスしていた事例が3件見つかったと発表されました。

攻撃者がAIの能力を無制限に悪用できる一方で、防御側のAIが安全機能に縛られる「非対称性」が問題視されています。今後は、単なるプロンプト制限に頼るのではなく、インフラ全体での強固な隔離や、防御に特化したAIモデルの自社運用など、抜本的なセキュリティとAIガバナンスの再構築が急務となります。

関連記事

コメントは利用できません。

最近のおすすめ記事

  1. 広島市の平和記念公園で「平和記念式典(広島市原爆死没者慰霊式並びに平和祈念式)」の入口
    広島への原爆投下から81年。8月6日、広島市の平和記念公園で「平和記念式典(広島市原爆死没者慰霊式並…
  2. 24時間取引の立ち上げを発表したロンドン証券取引所
    ロンドン証券取引所グループ(LSEG)は7月21日、月曜日から金曜日まで平日ほぼ休むことなく連続して…
  3. 裁判所の銘板
    モーター大手ニデックの不正会計問題で、同社の株主が会社側に対し、創業者の永守重信氏や現社長の岸田光哉…

おすすめ記事

  1. 日本最南端・沖縄刑務所の知られざる歴史と現在。激動の時代を歩んだ矯正の軌跡

    2025-11-17

    日本最南端・沖縄刑務所の知られざる歴史と現在。激動の時代を歩んだ矯正の軌跡

    日本最南端の刑務所・沖縄刑務所。本土とは異なる独自の歴史を歩み、他の刑務所に類を見ない道を辿ってきま…
  2. 法務省

    2025-11-24

    「街・夢・みらい-まなびでつながる更生保護シンポジウム」グランドフィナーレが開催。“まなび”が広げる共生の力

    全国5都市を巡って開催された「街・夢・みらい -まなびでつながる更生保護シンポジウム-」。自治体や企…
  3. 宮城刑務所の「機能向上作業」の取り組みについて東京報道新聞がインタビューした作業療法士さん

    2024-11-17

    認知機能が低下した受刑者への対応はどうする?宮城刑務所の作業療法士に聞く「機能向上作業」の取り組み

    刑務所での認知機能改善への取り組みとして、現在全国で10人以上の作業療法士が刑務所に常勤し、受刑者の…

2026年度矯正展まとめ

2026年度 矯正展まとめ

【結果】コンテスト

【結果発表】ライティングコンテスト企画2025年9-10月(大阪・関西万博 第4回)

アーカイブ

ページ上部へ戻る