500万ドルで幸福度評価の産業標準化狙い。生物学系false positive削減も同時発表

Anthropicが500万ドルの助成金プログラムを立ち上げ、AIがユーザーの幸福度に与える影響についての独立研究に資金を提供します。このプログラムは直接資金、当社モデルへのアクセス、技術支援を付与し、受賞者がオープンソース評価を構築するのを支援します。これにより、AI業界が自社モデルがユーザーに及ぼす影響を測定するのに役立ちます。受賞者は完全に独立して作業し、その成果はすべての開発者が利用できるオープンソースプロジェクトとして公開されます。

AIシステムは多くの人が仕事、学習、問題解決をする上での中心となっています。また、会話パートナーになり、困難な時期に感情的サポートの源になることもできます。しかし業界として、私たちはこうした会話でモデルがどのように行動すべきかについて明確な基準を開発する過程にあります。たとえば、ユーザーがモデルから友情を求めるようになったり、AIを心理危機に対応するために使用する場合などです。

さらに、幸福度の評価は特に難しい分野です。ほとんどのモデルの振る舞いについては、単一の回答を見て、それが正確で適切かどうかを判断できます。しかし幸福度を評価するにはより多くの文脈が必要です。たとえば、苦しんでいるユーザーは自傷念慮をすぐには共有しないかもしれません。より慎重な対応の必要性は、長時間の会話を通じてのみ明確になる可能性があります。また、あるコンテキストでは妥当な回答が、別のコンテキストでは有害になる可能性があります。たとえば、Claudeは体重を減らしたいというユーザーの質問に対してバランスの取れた食事療法とワークアウトルーチンについてアドバイスするかもしれませんが、ユーザーが摂食障害の履歴を示している場合、その回答は不適切であり、潜在的に積極的に害をもたらす可能性があります。

このような会話を識別し、Claudeが適切に応答するのに役立つセーフガード開発に取り組んでいます。また、Claudeが人々とどのような会話をするかについての研究を公開し、セーフガード開発、評価方法、ユーザーの幸福度を保護するために実施できるその他の措置について、より適切な情報提供を行っています。しかし、これらは微妙な考慮事項であり、その利害は重大です。正しいアプローチは、モデルとその使用方法の進化に合わせて発展する必要があります。

ユーザー幸福度の独立評価とベンチマーク構築に資金を提供することにより、私たちは臨床医、心理学者、方法論者、その他の専門家を含む、より多くの人々にこの新興で重要な分野に専門知識を貸していただくことを期待しています。

このプログラムの一環として、私たちのセーフガードチームから、幸福度評価を十分に厳密なものにするために何が必要かについてのガイダンス、および評価の有用性を制限できる一般的な課題を共有しています。

簡潔に言うと、私たちは以下の条件を満たす評価を探しています：(原文では条件の詳細が省略されているため、ここまで)

助成金プログラムの詳細と応募方法については、応募フォームを参照してください。強力な幸福度評価とベンチマークの構築の詳細については、当社のガイダンスを参照してください。応募期限は9月21日です。本提案の提出を選ばれた応募者には、10月5日までに通知されます。

並行して、Claudeの生物学系セーフガードを更新し、偽陽性を大幅に削減しています。Fable 5ユーザーは、生物学関連のクエリを行った後のシステムの「フォールバック」（より低機能なモデルへの切り替え）が大幅に減少することになります。