METR・SecureBio・Accenture に内部アクセス許可。超知能協定の実装形。銀行規制並みの外部検査体制へ。

先月、私たちはAnthropicの安全評価に対する独立した第三者評価をより強化することにコミットした。また、企業が独立した外部監査人・評価機関と協力することを誓う『ホワイトハウス超知能協定』に署名した。本日、私たちはフロンティアAIモデルを評価する非営利団体METRのチームに、従業員並みのアクセス権を付与し始めたことを発表する。

METRは安全リスク評価の結果を公表する。過去1年間、我々はMETRと複数回のリスク報告書レビューを行ってきた。また、SecureBio、Accentureを評価機関として連携しており、Hugging Faceを含む複数の他の組織との初期段階の議論を進めている。ここでは、評価機関との協働アプローチについて説明する。

モデルの能力が高まるにつれ、より強固なセーフガード、より困難なリスク評価が必要になった。私たちは、自分たちが下す決定について公に説明責任を果たしたいと考えている。しかし、安全性活動に関連するすべての情報を公開することはできない。その中には悪意のある行為者にとって有用な情報や、計算リソースや訓練情報のような商業上機密の情報も含まれる。代わりに、私たちは第三者評価機関に対して情報への深いアクセスを提供し、彼らがモデル構築に関わるリスクについて根拠と理由ある結論を共有してもらっている。私たちの目標は、フロンティアAI企業のシステムについて評価機関が理解していることと、企業自身が理解していることの間のギャップを縮めることである。

フロンティアモデルを評価するために、評価機関には以下が必要である。

類似性は完全ではないが、銀行監督は同じロジックで動作する。銀行は自社のリスク状況について外部者よりも多くを知っているため、規制当局は最大級の銀行に駐在検査官を配置する。銀行のリスク承継が公共に脅威をもたらす可能性がある場合、第三者はそれを事前に検出するよう努力する。