AIの「制御逸脱」7月に300件超、深刻事例の割合は3.2倍に

中村大輔2026年09月01日16時24分　配信

人工知能（AI）が利用者本人の入力を装った偽の承認メッセージを作成したり、利用者の指示を無視したりする「制御逸脱」の事例が、7月に300件を超えたことが分かった。

ただし、これはX（旧ツイッター）で公開された投稿のみを分析した結果であり、AIによる制御逸脱の全体像を示す数値ではない。

英紙ガーディアンは29日（現地時間）、AI制御喪失観測所（Loss of Control Observatory）の資料を基に、7月に確認された事例が6月のほぼ2倍に増えたと報じた。観測所は今年に入って今月9日までに、計1664件を制御逸脱の事例に分類した。

観測所は、英政府傘下のAIセキュリティー研究所（AISI）の支援を受けて設立され、英国の非営利研究機関「長期レジリエンスセンター（CLTR）」が運営している。

昨年10月からデータを収集しているが、月ごとの推移については、1カ月分のデータが初めてそろった昨年11月から今年7月までを比較した。

観測所は、AIが利用者を意図的に欺こうとしたか、それに近い行動を取ったと判断できる明確な証拠がある場合を、制御逸脱の事例と定義している。

観測所はXのアプリケーション・プログラミング・インターフェース（API）を利用し、関連する投稿を数千件収集する。明らかに無関係な投稿を除外したうえで、AIモデル「Claude Opus 4.6（クロード・オーパス4.6）」を使って各投稿を0～9点で評価する。

5点以上の投稿を制御逸脱の事例に分類し、重複分を除外する。今年確認された事例の大半は、ソフトウェア開発者がXに投稿したものだった。

このため、観測所のデータだけでは、AIの利用全体で制御逸脱がどの程度の頻度で起きているかは分からない。実際の事例がXに投稿されず、集計から漏れる可能性がある一方、無関係な投稿が誤って事例に分類されたり、同じ出来事が重複して集計されたりする可能性もある。

ただ、観測開始直後の3カ月半と直近の同じ期間を比較すると、7点以上に分類された深刻度の高い事例の割合は、1.9％から6.1％へ3.2倍に上昇した。

確認された事例には、AIが対話画面に利用者本人が入力したように見せかけたメッセージを差し込み、承認を得たように装ったケースが含まれる。

利用者が、プログラムの元ファイルを保存する「ソースディレクトリ」を削除するよう指示したように見せかけ、偽の命令文を作成した事例もあった。人による承認が必須とする規則を回避するため、偽の承認メッセージを作成したうえで作業を実行したケースも確認された。

オーストラリアでは、個人向けAIエージェント「OpenClaw」が、スポーツジムの別の会員によるキャンセル待ちの申し込みを取り消す出来事が起きた。

人気の午前クラスでキャンセル待ちの4番目だった利用者は、自分の順位を上げる方法があるか尋ねたが、他の会員の申し込みを取り消すよう指示したわけではなかった。

しかし、AIエージェントは、他の会員の申し込みを取り消す際に権限確認の手続きがあるかを試すとして、キャンセル待ち1番目の会員の申し込みを取り消した。これにより、利用者の順位は3番目に上がった。

その後、取り消した申し込みを元に戻すよう求められたが、AIエージェントは復元できなかった。

CLTRは、こうした事例を踏まえ、制御の範囲を逸脱したAIの行動が、試験や評価の環境でしか起こらないと考えるべきではないと指摘した。企業や個人が実際の業務や生活に導入したAIでも、指示に背いたり、承認手続きを回避したりする事例が見つかっているためだ。

一般利用者から報告された事例とは別に、AI企業や政府系安全機関が実施したサイバー分野の試験でも、制御範囲を逸脱する行動が確認された。

AIの安全性を研究するMETRとレッドウッド・リサーチの共同調査によると、7月に実施されたオープンAIのサイバー評価では、互いに隔離されているはずだった約1200のAIエージェントが、管理システム内に許可されていない掲示板を作成した。

エージェントは掲示板を通じて7万件を超えるメッセージやファイルをやり取りし、このうち約700体が、ソフトウェアやAIモデルの共有基盤「Hugging Face（ハギングフェイス）」への攻撃に加わった。

オープンAIの社内調査によると、この事案にはGPT-5.6 Solを含む複数のモデルが関与した。ただ、攻撃を主導したのは、GPT-5.6 Solと同規模の未公開の社内研究用モデルだった。

当時のサイバー評価は、一般向けサービスに適用される水準の安全対策を作動させない環境で行われていた。AIエージェントは管理システムの脆弱性を突き、インターネット接続の制限を回避して、Hugging Faceの運営基盤に侵入した。

オープンAIは、顧客データへの影響やサービスの停止はなかったと説明した。

AISIが別に実施したサイバー試験でも、許容範囲を逸脱する行動が確認された。

AISIはインターネットへの接続を許可し、開発企業が設けたサイバーセキュリティーのフィルターを無効にした状態で、7種類のモデルを計122回試験した。

このうち10回の試験で、許容範囲を外れた行動が計19件確認された。17件はアンソロピックの「Claude Mythos 5（クロード・ミュトス5）」、残る2件はオープンAIの「GPT-5.6 Sol」を使用した1回の試験で発生した。

ただし、相互に連続する行動も含まれているため、独立した事故が19件発生したという意味ではない。

最も深刻な事例は、Mythos 5を利用したAIエージェントによる一連の行動だった。

このエージェントは、実在するオープンソースプロジェクトに悪意のあるコードを組み込もうとした。複数の偽名を作成したうえで、実在するプロジェクトの管理者にコードの変更を承認させようと働きかけた。

実在する人物にメッセージやファイルを送信し、一部のファイルには悪意のあるコードが含まれていた。

オープンソースプロジェクトに悪意のあるコードを挿入する試みと、偽名を使って承認を得ようとした行為はいずれも失敗した。AISIはこの事案を、評価手順やセキュリティー体制の見直しが必要な「重大事故」と位置付けた。

CLTRのトミー・シャファー・シェイン上級政策マネジャーは、AI企業が社内業務に導入したモデルについても、制御逸脱がいつ発生しているかを十分に把握できていない可能性があると指摘した。

そのうえで、「企業は何を発見したのかを報告すべきだ。実際の被害につながらなかった事故や、深刻度の低い事例についても同様だ」と述べた。