2023年9月21日に、OpenAIは新たな取り組み「OpenAI Red Teaming Network」の公募を開始しました。
OpenAIは、プロジェクトの目的について、「生成AIモデルの安全性をさらに向上させること」とし、OpenAIのAIモデルの評価とその安全性を検証するため、生物学や物理学など多様な分野の専門家を広く募集するとしています。
引用：OpenAI
OpenAI Red Teaming Networkの概要
「レッド・チーミング」は、生成AIシステムのリスク評価に関わる幅広い手法を示す用語であり、OpenAIのレッドチーム活動は、内部の活動から外部の専門家との協力へとシフトしてきました。
これにより、リスクに関する新しい分類法やDALL-E 2、GPT-4などのモデルの取り組みも進展しています。
OpenAIはOpenAI Red Teaming Networkについて、信頼と経験を持つ専門家たちのコミュニティであり、一時的なプロジェクトや一過性の取り組みではなく、リスク評価やその緩和の取り組みに関する情報を幅広く提供する役割を果たすとしています。
OpenAI Red Teaming Networkの具体的な取り組み
OpenAI Red Teaming Networkは、生成AIモデルの安全性を評価・強化するための取り組みです。具体的には以下のような活動を行います。
- モデルの評価：OpenAIが開発した生成AIモデルの弱点や脆弱性を探すためのテストを実施します。
- 多様な分野の専門家による協力：多様な背景を持つ専門家を募集し、それらの専門家と協力して生成AIモデルのリスク評価を行います。
- リスクのフィードバック：生成AIモデルの安全性に関するリスクや問題点をOpenAIにフィードバックし、それをもとにモデルの改善や緩和策の開発を行います。
- 情報の公開と共有：レッドチームの調査結果や評価結果を、システムカードやブログ記事として公開し、広く共有します。これにより、生成AIモデルの安全性に関する透明性を高め、他の研究者や開発者との協力を促進します。
OpenAI Red Teaming Networkの要件
OpenAI Red Teaming Networkに参加する専門家には、生成AI技術の安全性向上に貢献するユニークな機会が提供されます。
OpenAIは多様な領域の知識や視点を持つ専門家を募集しており、特に認知科学、化学、コンピューターサイエンスなどの分野を重視しています。
引用：OpenAI
また、OpenAIは求める基準として下記を挙げています。
- レッドチーム活動に関連する領域における実証済みの専門知識または経験
- AIの安全性に対する情熱
- 利益相反のない立場
- 多様な背景や伝統的に代表されないグループの代表
- 地理的多様性の考慮
- 複数の言語に堪能
- 技術的能力（必須ではありません）
応募要件について詳しくはOpenAI公式を参考にしてください。
応募方法
2023年12月1日まで期間中にのこちらのページから応募が可能です。
OpenAIは、それぞれのテストの目的に応じて最適な生成AIモデルを選び、さらに新しい方法や視点を採用したプロジェクトを特に優先して行っているようです。
専門分野については人間による評価や改善が必要
ChatGPTはネット上の学習データを基に回答を生成するため、物理学や生物学など専門的な情報に関してはハルシネーション（嘘や間違いの回答を出力する）のリスクが高まります。
そのため、生成AIの出力をより確かなものとするためには、人間による評価や改善が必要となってきます。
今後、生成AIの結果を専門的に評価する専門家の仕事が増加すると予想されます。
ハルシネーションとは ハルシネーションとは、AIが生成する情報が現実や事実に基づいていない場合を指します。この現象は、言語モデル（特に大規模なもの）が正確な情報を提供するのではなく、文脈に適合するように見える回答を生成することから生[…]
