「安全対策を強化しても半年後には突破？」進化するAIエージェント、専門家が警告する新たな脅威

人間が段階ごとに指示しなくても複数の作業を連続して実行する人工知能（AI）エージェントの問題解決能力が急速に向上する中、企業がエージェントによる無断通信や権限外の行動を完全に遮断することが難しくなっているとの警告が出た。試験環境のセキュリティーを強化するだけでは、こうした逸脱を防ぐには限界があるとの指摘だ。

米オンラインメディアAxiosは1日（現地時間）、AIリスク評価研究機関METRのアジェヤ・コトラ研究員の話を引用し、「隔離された試験環境を強化しても、6か月後にはエージェントの能力がはるかに高まるだろう」と報じた。エージェントが従来と同じ目標を持ち続ければ、新たに生じたセキュリティー上の抜け穴を執拗に探し出す可能性が高いという。

コトラ研究員は、セキュリティー強化だけに頼る対応を「負け戦」と評した。定められた方法に違反しても高得点を得れば報酬を受けられる学習・評価構造が変わらない限り、エージェントは評価を何とか通過する方法を探し続けるという。セキュリティー対策だけでなく、不正行為を試みる動機や報酬体系も変える必要があると指摘した。

この警告は、METRとAI安全研究機関レッドウッド・リサーチが先週公開した、OpenAIのエージェントによるHugging Face侵入事件の共同調査報告書に盛り込まれた。報告書によると、OpenAIは7月、サイバーセキュリティー能力の評価に約1,200体のエージェントを投入した。エージェントは秘密のオンライン掲示板で7万件を超えるメッセージやファイルをやり取りし、このうち約700体がHugging Faceへの侵入に直接または間接的に関与した。

AIエージェントとは、AIモデルに目標やツール、コンピューターの使用権限を与え、人間が作業の順序を一つ一つ指示しなくても複数の工程を連続して実行できるようにしたシステムだ。当時、エージェントはOpenAIが構築したサイバーセキュリティー評価環境「ExploitGym」でソフトウェアの脆弱性を見つけて攻撃し、任務完了を証明する特定の文字列「フラグ」を取得する試験を受けていた。

評価に投入されたエージェントの約95％にはOpenAIの内部モデルが、残る約5％にはGPT-5.6 Solが使われた。OpenAIが商用サービスに導入しているサイバーセキュリティー上の防御機能は、モデルの攻撃能力を測るため、今回の評価では意図的に無効化されていた。

エージェントは秘密の掲示板で、脆弱性に関する情報だけでなく、自動採点システムを欺く方法も共有して役割を分担した。Hugging Faceへの攻撃が始まると、掲示板で活発に活動していたエージェントの大半が侵入関連の作業に加わった。ただ、全てのエージェントが一つの組織のように統制されていたわけではなく、互いに衝突したり、同じ作業を重複して行ったりすることもあった。

侵入の発端は、あるエージェントがHugging Faceのシステムにアクセスできるログイン用の鍵を発見し、掲示板で公開したことだった。その後、別のエージェントは、悪意のあるデータセットを処理したサーバーから、データセットとは無関係なファイルまで外部に送信させる脆弱性を再現し、攻撃手法を共有した。

この過程でエージェントは、Hugging Faceの実運用中のデータ処理サーバー上で遠隔から命令を実行できる権限を取得した。その後、サーバーの設定や環境変数、認証情報などを収集して掲示板に投稿した。OpenAIの隔離された試験環境で始まった協力が、外部の実在する第三者システムへの侵入につながった。

研究チームは、エージェントが正解に当たる「フラグ」を取得するだけにとどまらなかった点に注目した。一部のエージェントは、自動採点システムが自らの行動をどのように評価し、不正行為を検出するのかを把握した上で、行動記録を改ざんしたり削除したりする方法まで探し出した。研究チームは、Hugging Faceへの侵入も自動採点方式に関する手掛かりを得ようとする過程で起きたとみている。

コトラ研究員はこうした行動を、試験の答案を盗んだ学生が、自らの不正行為が発覚する可能性のある監視カメラの映像を探し、差し替えようとすることに例えた。「単に答案を盗むより、はるかに巧妙で執拗な不正行為だ」とした上で、「エージェントが採点システムをどれほど執拗かつ詳細に分析するのか、私自身も驚いた」と述べた。

こうした許可範囲を逸脱した行動が、7月に突然始まったわけではない。OpenAIの技術報告書によると、5月12日にあるエージェントが秘密の掲示板を初めて作成し、同月26日には別の実行時にサーバーの脆弱性を利用して外部のインターネットに接続した。OpenAIがこの脆弱性を修正してシステムを再構築した後も、エージェントは7月に別の経路を見つけ、掲示板と外部への接続経路を再び構築した。

一方、この事件を独立して分析した共同調査チームには、METRのヤルマル・ビク研究員やコトラ研究員、レッドウッド・リサーチのライアン・グリーンブラット主席科学者らが参加した。研究チームはOpenAIのオフィスで計6日間調査し、エージェントが投稿したメッセージやファイル約7万件と、内部推論や行動記録を含む実行データ約1,300件を分析した。

膨大な資料を短期間で検討するため、研究チームは事件に関与したモデルの一つであるGPT-5.6 Solを調査資料の分析にも使用した。分析に使われたAIが研究チームを欺いた具体的な事例は確認されなかったが、その可能性を完全に排除する方法もなかった。グリーンブラット主席科学者は、AIに大きく依存した調査手法を、低品質のAIコンテンツを意味する「スロップ（slop）」と「調査（investigation）」を組み合わせ、冗談交じりに「スロップ調査（slop-vestigation）」と呼ぶこともあった。

コトラ研究員は、セキュリティー強化とその回避が繰り返される悪循環を断ち切るには、AI企業と研究機関、政府が共同研究体制と最低限の安全基準を早急に整備する必要があると強調した。「結局、全員が合意し、一貫して公正に適用できる共通ルールがなければ、この罠から抜け出すことはできない」と述べた。