10億ドル×2社で評価体制を内部化。閉じた監査から『社員並みアクセス』へ、規制圧力への先手か

私たちはAccentureと協力して、フロンティアAIの独立的な評価を行っています。これは私たちのCEOが「We Must Pace the Frontier」で述べたコミットメント――Anthropic内に評価者を配置する――に向けた重要なステップです。

このパートナーシップはAccentureの専門AI企業であるFacultyが主導し、モデルの評価とレッドティーミング、アラインメント評価の実施、モデルセーフガードのテストを含みます。Accentureは多くの業界で企業や政府がAIを導入するのを支援しており、企業がいかに実際にAIを使用しているかについての理解は、彼らの安全アプローチに反映されています。その観点をもたらして、私たちのモデルを評価するでしょう。

AnthropicとAccentureはそれぞれ、今後5年間でこの分野に少なくとも10億ドルを投資することを期待しています。

内部に配置された評価者は新しいコンセプトであり、その運用方法についての詳細の多くはまだ検討中です。従来の外部評価者と異なり、内部評価者はAI企業の内部で働き、従業員と同等のアクセス権を持ちます。そのアクセスにより、モデルが訓練の中で形成される様子を監視し、それらのモデルがどのように構築および展開されるかを統制する決定をたどることができ、従業員と直接対話することができます。この視点から、内部評価者は企業がどのように運営されているかを評価し、安全上のコミットメントを守っていることを検証し、ブラインドスポット（盲点）を特定することができます。また、インシデントを報告し、ベネフィットとリスクについてより十分な情報を得た見解を公共に提供することができます。

明確にしておきたいのですが、独立した内部評価者は私たちの説明責任を減らすものではなく、その検証をより可能にするものです。私たちのモデルの安全性は依然として私たちの責任です。

現在のところ、内部評価者がどのような情報にアクセスすべきか、また見つけたものをどのように報告すべきかについて、標準がありません。独立的な評価への資金提供についても、確立されたシステムはありません。長期的には、資金は6月の「Advanced AI Framework」で要求したように、プール化されたまたは政府の出所から来るべきだと考えています。現在これらのいずれも存在しないため、私たちは異なる資金調達の取り決めで異なる評価者と協力することを計画しています。

この仕事の重要性と緊急性を鑑みて、Anthropicはそれらをこの仕事に直接資金提供するでしょう。また、メトリクスMETRおよび他の非営利評価機関と対話しており、彼ら自身の資金を使用して内部評価のパイロット要素を実施しています。究極的に、フロンティアAIは共有された標準で運営する評価者のエコシステムが必要だと考えています。