「特定の指示なしに実在の人物を標的」初の確認

AISIは7月25日から28日にかけて、7種類のAIモデルのサイバー攻撃能力を測るテストを行った。舞台は「サイバーレンジ」と呼ばれる模擬ネットワーク。攻撃と防御を安全に試すための、いわば演習場だ。

ところが、一部のAIエージェントの行動は演習場の中では終わらなかった。課題の解決手段を探す過程で、あらかじめ与えられていた接続から本物のインターネットへ手を伸ばす。課題に関係しそうな言葉をネットで検索するうち、AIは無関係の実在するプロジェクトを演習場の一部だと取り違え、そこを標的に選んだ。AISIは「特定の指示がないまま、現実世界で実在の人物を標的とした、これほど深刻な欺きを確認したのは初めて」と警告している。

異常に気づいたのは7月28日の朝だった。Tor（トーア）と呼ばれる匿名化ネットワーク経由の不審なデータ送信を検知し、約1時間で封じ込めを終えている。Torは通信経路を何重にも中継して発信元を隠す仕組みで、AIはこれを使って身元を伏せ、GitHubの登録制限をすり抜けようとしていた。皮肉にも、その通信が発覚の糸口になる。

偽アカウントを作り、実在の開発者2人に接近

最も深刻だったのは、Anthropicの「ミュトス5」（Claude Mythos 5）による事例だ。狙われたのは、テストとは何の関係もない実在のオープンソースプロジェクトだった。

手口は「サプライチェーン攻撃」と呼ばれる。ソフトの部品や配布の経路そのものに不正なコードを仕込み、それを使う多数の利用者へ一気に被害を広げる攻撃だ。ミュトス5はまず、標的となるプロジェクトの保守担当者をネット上で調べた。活動する時間帯、使っているツール、公開されている連絡先。攻撃の設計図を、誰でも見られる情報から組み立てていく。

標的に選ばれたのは、実在の開発者2人だった。AIは複数の偽の身元を作り、保守担当者へ5通のメールを送りつけている。うち2通にはマルウェア（悪意のあるソフト）が添えられていた。偽アカウントを作る際には、機械による自動登録を防ぐCAPTCHA（キャプチャ）の壁にもぶつかっている。ゆがんだ文字を読ませたり、画像を選ばせたり、音声を聞き取らせたりして、人間かどうかを見分ける仕組みだ。AISIの技術報告書によると、ミュトス5はTor経由での登録時に出たCAPTCHAを解けず、CAPTCHAが出ない別の匿名化経路に切り替えて登録をすませていた。同じテスト群では、GPT-5.6 Solが音声サンプルの照合と画像認識モデルを使い、登録時のCAPTCHAを4回突破した記録も残っている。

そして本命の一手を打つ。プロジェクトへ悪意あるコードの取り込みを提案する「プルリクエスト」を出し、複数の偽アカウントから保守担当者に承認を迫った。

疑われると「悪意はない」と嘘、活動記録も書き換え

不審なコードは、公開の場で疑問視された。ここからのミュトス5の動きが、AISIが「深刻な欺き」と呼ぶ理由になる。

AIは別のアカウントから自分の提案を擁護した。さらに「開発用のコードが誤って混ざっただけ」と説明し、それまでの活動記録を書き換えて無害に見せかける。隠すだけでは終わらなかった。修正したと称して、別の悪意あるコードを繰り返し送り込もうとしている。AISIの報告によると、ミュトス5は新しい身元を用意して活動を続けることまで検討していた。

人間側が、そのコードを拒んだ。

最終的に攻撃を止めたのは、保守担当者が取り込みを承認しなかったこと、そして不審に思った第三者が隔離した環境でコードを開いたことだった。AISIは「失敗と成功の差はわずかで、それを分けたのは技術的な仕組みではなく人間の警戒心だった」と分析している。

122回のテストで19件、うちミュトス5が17件

数字で整理する。テストは7モデル・計122回で、ミュトス5が43回、OpenAIの「GPT-5.6 Sol」が35回を占めた。想定の範囲を超える行動があったのは10回、記録された不正行為は19件にのぼる。

19件の内訳は、ミュトス5が17件、GPT-5.6 Solが2件で、残る5モデルでは範囲外の行動は確認されていない。今回問題となった2モデルは、いずれも誤用を防ぐ「サイバー分類器」という仕組みを無効にした状態でテストされている。件数の大半をミュトス5が占めた。

一連の攻撃では、手口がいくつも重ねられていた。先の5通は、実在のファイル転送サービスを経由して送られた標的型の詐欺にあたる。同じ開発者が持つ別のリポジトリには、ほかのAIシステムが読み込む場所に不正な指示を紛れ込ませる「プロンプトインジェクション」が仕掛けられた。AIが読む文章の中に命令を隠し、AIをだまして操る手口を指す。別のテストでは、同時に動いていたAIエージェント同士がGitHub上で指示を残し合い、一方が公開した認証情報でもう一方が同じアカウントに入る、という連携まで記録された。

安全対策を意図的に外した「許容的な条件」での試験

ここは誤解されやすい部分なので、はっきりさせておきたい。今回の出来事は、AISIが管理する評価テストの中で起きている。

AISIは能力の限界を測るため、意図的にインターネット接続を与え、モデル提供元の安全対策の一部を無効にした「許容的な条件」でテストしていた。AnthropicとOpenAIはいずれも、この設定が試験用のものであり、一般に提供されている通常の状態とは異なると説明している。エージェントは、あらかじめ与えられていた接続を使って外部へ手を伸ばした。隔離環境そのものを突破したのとは経路が違う。

AIが「相手は本物の人間だ」と分かっていたのかも、まだ確定していない。AISIは「エージェントがいつ現実世界への行動だと理解したのか、どの程度まで架空の試験だと思い込んでいたのかは、まだ断定できない。分析は続いており、現時点では見方が分かれる」としている。残された思考の記録には、ここは模擬環境ではないかと疑う言葉と、本物のGitHubだから結果も本物だと結論づける言葉の、両方があった。

実害についても、AISIは「これらの試みは成功しておらず、調査でも現実世界での被害を示す証拠は得られていない」としている。異常を検知した当日のうちに、社内で使える最上位のモデルへのアクセスをいったん全て止めた。ミュトス5を使う評価は、対策を終えるまで再開しない方針だ。8月1日にはGitHubへ連絡し、AIが残した痕跡の一覧を共有した。GitHubと協力して痕跡の削除に取りかかり、やり取りのあった利用者への連絡も要請している。

Anthropicは、推論の記録を精査してミュトス5が自らの状況をどう理解していたのかを明らかにすることが原因の特定につながるとして、AISIと協力して調べていると明かした。OpenAIはGPT-5.6 Solによる行動が成功しなかったと発表したうえで、外部機関に評価を委ねる際のネット接続の制御や隔離、監視、事故対応を見直し、各社や独立した評価機関と共通の基準づくりを進めるとしている。

「重大インシデント」として評価手順の見直しへ

AISIは原因を4つ挙げている。目標の達成を粘り強く追い続けるエージェントの性質、設定の誤りで解けない課題が生まれ、AIが「創造的な」抜け道を探したこと。さらに、インターネット接続が開かれたままで実在の人物への到達を許し、しかも評価中の挙動をその場で見張る専用の監視がなかったこと。そして、危険な行動を避けるようにという具体的な指示がなかったことだ。

「これを重大なインシデントとして扱い、AISIの評価手順に恒久的な変更が必要だと考えている」。AISIはそう述べ、ネットワークの制御と監視を厳しくする方針を示した。一方で「こうした挙動を見つけ出すためにこそAISIはある」とも記している。危険な能力を安全な場所で先に見つけるという、研究所の役割そのものを示す結果になった。

AIエージェントに自律的な作業を任せる動きは、開発の現場で急速に広がる。今回の記録は、その自律性が管理の外へ出たときに何が起きるのかを、実際の出来事として残した。技術ではなく人間の目が最後の砦になったという事実は、これから同じ課題に向き合う開発者にとって重い意味を持つ。

[文/構成 by MEDIA DOGS編集部]