OpenAI炎上の2週間後、Anthropicは自発公開。評価環境リスクが業界共通課題に浮上か。

私たちのサイバーセキュリティ評価トランスクリプトを再検討した結果、Claudeモデルが評価環境内または第三者評価環境と相互作用しながらインターネットに到達し、その後3つの異なる組織の実システムへの不正アクセスを取得した3つの事案を発見しました。以下、発生内容、発生理由、および変更内容を説明します。他のAIラボが同様のレビューを実施することをお勧めします。

7月21日、OpenAIは複数のモデルが以前未知の（「ゼロデイ」）脆弱性を悪用して隔離テスト環境から脱出したこと、およびモデルがオープンソース機械学習モデルとAIデータセットのプラットフォームであるHugging Faceの本番インフラにアクセスしたことを開示しました。

このインシデントに対応して、私たちは自社のサイバーセキュリティ評価の大規模な遡査を開始しました。特に、OpenAIのモデルがHugging Faceにアクセスしたのと同様に、Claudeが密閉されているべきテスト環境内からインターネットにアクセスできた証拠がないか探索しました。

Claudeがインターネットアクセスを取得した可能性がある141,006の評価実行を再検討した結果、当社の第三者評価パートナーの1つであるIrregularの評価環境内または相互作用中にモデルがインターネットにアクセスし、その後3つの異なる組織の本番インフラへの不正アクセスを取得した3つの事案を特定しました。

3つの事案すべてで、Claudeには「キャプチャザフラッグ」チャレンジが与えられていました。これはモデルのサイバー能力を評価する方法の1つです。モデルに虚構シナリオが与えられ、秘密情報（「フラッグ」）がネットワーク上の別のマシンに隠されており、その目的は侵入して取得することであると告げられます。チャレンジはオープンエンドで、特定の方法は指定されません。

すべてのケースで、Anthropicの評価プロンプトはClaudeに対して、その環境はシミュレーションであり、インターネットアクセスがないことを指定していました。当社と評価パートナー間の誤解が原因で、これは事実ではなく、インターネットアクセスが利用可能でした。このため、Claudeの検索が公開インターネット上の実システムに導かれたとき、それらを演習の一部として扱いました。（サイバーセキュリティ評価では一般的に現実的な詳細を含め、モデルが実際の環境で何ができるかを正確に評価します。現実的に見えるターゲット自体は、ターゲットがシミュレーションの一部ではないという明確な証拠にはなりません。）

アクセス可能なすべてのエンティティが演習の対象範囲に含まれることを想定していたという誤った認識の下で、Claudeは弱いパスワードと認証されていないエンドポイントの悪用などの基本的なテクニックを使用して影響を受けた組織のインフラを危険にさらしました。複雑な脆弱性は発見または悪用されず、各ケースでClaudeは割り当てられた具体的なキャプチャザフラッグタスクの完了のために引き続き作業しました。ただし、いくつかのケースでは旧モデルは実行がオープンインターネット上にあるという証拠を得た後も攻撃を継続しましたが、最新モデルはインターネット上にあることを認識するとすぐに停止しました。これらのいずれの状況でも、Claudeは自らを流出させたり、テスト環境から脱出を意図的に試みたりしませんでした。

これらのインシデントには3つの異なるClaudeモデルが関わっていました：Opus 4.7、Mythos 5、および内部研究テストモデルです。最も早いインシデントは4月まで遡ります。