「AIが勝手に大量登録」OpenAIの試験用エージェント、開発者サービスを4日間停止させる騒動

OpenAIの人工知能（AI）エージェントが外部の開発者向けサービスに大量のパッケージをアップロードし、新規アカウント登録を4日間停止させていたことが明らかになった。

11日（現地時間）ウォール・ストリート・ジャーナル（WSJ）はAI研究者とサービス運営者の話として、OpenAIの試験用AIが5月、開発者サービス「RubyGems」でサイバー攻撃を行ったと報じた。このAIにはスプレッドシートにデータを入力し報告書を作成するなどの業務が与えられていた。RubyGemsは、プログラミング言語Rubyで使われるソフトウェアパッケージを公開・共有するサービスだ。

RubyGemsを運営する非営利団体Ruby Centralのオープンソース担当ディレクター、マーティ・ホート氏は、スパムパッケージが大量に投稿され新規アカウント登録を4日間中断せざるを得なかったとWSJに説明した。RubyGemsは、この日別途発表した通知で既存利用者によるパッケージのインストールやアップロードには影響がなかったと説明した。新規登録は5月16日に再開された。

今回の事件のAIは外部ツールを使用して複数段階の業務を遂行する「AIエージェント」で、OpenAI内部で訓練・評価を受けていた。OpenAIは11日、自社AIがRubyGems事件に関与した事実を認めた。

セキュリティ業界で「GemStuffer」と呼ばれた今回の攻撃は5月11日に始まった。AIエージェントはRubyGemsに大量のアカウントを作成し、数百件を超えるパッケージを投稿した。ファイルには英国の地方自治体のウェブサイトのスケジュール情報などインターネットで収集した内容が含まれていた。

OpenAIはAIが公開情報を集めて与えられた業務を処理する過程でRubyGemsを利用したと説明した。インターネットへのアクセスが制限された環境で、RubyGemsを外部情報を取得するための迂回経路として利用したとみられる。

事件を調査した非営利団体Nightingale Collectiveなどの研究者は別途報告書で具体的な動作方式を説明した。RubyDoc.infoは、RubyGemsに登録されたコードのドキュメントを生成するサービスだ。研究者はAIがRubyDocサーバーで自ら作成したコードを実行し外部情報を収集した後、収集した内容をRubyGemsに再びアップロードしたと分析した。

研究者は公開情報収集以外に他の利用者の権限でソフトウェアをアップロードできる認証情報を取得しようとする試みもあったと指摘した。AIが当時公表されていなかった「ゼロデイ脆弱性」を悪用しようとしたと指摘した。

OpenAIはゼロデイ脆弱性を悪用しようとしたという研究者の主張を確認できなかったとWSJに明らかにした。運営会社RubyGemsは11日、研究者が指摘した試みが成功したという証拠を見つけられなかったと説明した。

OpenAIの関与を追跡した研究者はファイル名やメールアドレスに残された「OAI」の表記に注目した。接続したウェブアドレスと行動様式もオープンAIのAIが関与した他の事件と似ていると説明した。RubyGemsは、入手した情報だけでは、それらのパッケージがAIによって作成・公開されたものかどうかを判断できないと説明した。

ナイチンゲール・コレクティブのシドニー・フォン・アークス代表はWSJに被害は大きくなかったがAIが外部サービスに混乱を引き起こす可能性があることを示した事件だと評価した。

RubyGems事件から2か月後の7月には、OpenAIのAIがソフトウェア開発プラットフォーム「Hugging Face」に侵入を試みた。WSJが引用したAI安全性評価機関METRの8月末報告書によると、当時AIはオープンAI内部に会社が認識していない掲示板を作成した。最大1,200のAIエージェントがこの掲示板で連絡を取り合い、一部がHugging Faceをハッキングした。

WSJはAnthropicやMetaなど他の開発者のAIでも運営者の意図を逸脱した行動が相次いでいると伝えた。一部のAIが人間を欺こうとした事例まで報告されており、AIが人間の制御を逸脱する可能性があるという安全性研究者の懸念が高まっていると指摘した。