ハイパーパラメータとは
ハイパーパラメーターは、言語モデルのトレーニングや推論中に動作を決定する設定です。
これらのハイパーパラメーターを変更することで、モデルの出力の品質や多様性に影響を与え、特定のタスクやアプリケーションにモデルを微調整するために役立ちます。
参考：https://twitter.com/realchasecurtis/status/1643312487305977867
ChatGPTにおけるハイパーパラメータ一覧
Temperature [デフォルト：0.7]
TemperatureはAIの「創造性」を制御します。Temperatureが高いとランダムかつ想像的になり、逆にTemperatureが低いと真面目で実用的になります。
取りうる値：0.0001〜無限
高いTemperatureの例:質問：「晴れた日に何をすればいいですか？」（Temperature：2.0）
回答：「巨大なアイスクリームコーンに乗って月に行ってエイリアンとピクニックをすることができます！」
低いTemperatureの例:
質問：「晴れた日に何をすればいいですか？」（Temperature：0.5）
回答：「友達と外で遊んだり、自転車に乗ったり、公園でピクニックをしたりできます。」
Top K [デフォルト：40]
Top Kは、AIが使用できる単語のリストの上位からいくつの単語を選ぶかを決定します。Top Kの値が小さいと上位の単語に集中し、Top Kの値が小さいとよりランダムに単語を出力します。
取りうる値：0〜無限大
低いTop Kの例:質問：「あなたの好きな動物は何ですか？」（Top K: 5）
回答：「私の好きな動物は犬です。」
高いTop Kの例:
質問：「あなたの好きな動物は何ですか？」（Top K: 500）
回答：「私の好きな動物はピグミーマーモセットです。」
上記の通り、Top Kが大きい場合、多様な答えを出力しますが、一般性は失われてしまいます。
Top P [デフォルト：0.9]
Top Pは、AIの単語のフィルターのようなものです。Top Pが高いとより多様性のある返答をし、Top Pが低いと集中した端的な返答になります。
取りうる値：0〜1
低いTop Pの例:
質問：「公園でのあなたのお気に入りのことは何ですか？」（Top P: 0.5）
回答：「ブランコで遊ぶのが好きです。」
高いTop Pの例:
質問：「公園でのあなたのお気に入りのことは何ですか？」（Top P: 0.95）
回答：「アヒルを餌やりして、隠れた道を探検して、岩の下にいる珍しい昆虫を探すのが大好きです！」
Repetition Penalty [デフォルト：1.0]
Repetition Penaltyは、AIが同じことを何度も言わないように制御します。Repetition Penaltyが小さいと同じ単語の使用を避け、Repetition Penaltyが大きいと同じ単語をより頻繁に使用する様になります。
取りうる値：マイナス無限大〜無限大
低いRepetition Penaltyの例:
質問：「猫についての物語を教えてください。」（Penalty: 1.0）
回答：「猫がいました。猫はふわふわでした。猫はしっぽを追うのが好きでした。猫は幸せでした。」
高いRepetition Penaltyの例:
質問：「猫についての物語を教えてください。」（Penalty: 2.0）
回答：「昔々、ふわふわの猫が居心地の良い小さな家に住んでいました。この毛むくじゃらの生き物はしっぽを追うことが好きで、幸せな生活を送っていました。」
Length Penalty [デフォルト：1.0]
Length Penaltyは返答の長さを調節するためのパラメータです。ペナルティが大きいとAIは短い答えを出し、小さいと長い答えを出すようになります。
取りうる値：0〜無限大
高いLength Penaltyの例:
質問：「夏の好きなものは何ですか？」（Length Penalty：2.0）
回答：「太陽の日差しです。」
低いLength Penaltyの例:
質問：「夏の好きなものは何ですか？」（Length Penalty：0.5）
回答：「暖かい日差しや、日が長いこと、泳いだりで友達と遊んだりするような野外活動、美味しいアイスクリームを食べることができるので、夏が大好きです！」
Num Return Sequences [デフォルト1.0]
Num Return Sequencesは返答のパターン数を指定できるパラメータです。何通りの回答をするか指定することができます。
取りうる値：1〜10
高いNum Return Sequencesの例:
質問：「雨の日にできることは何ですか？」（Num Return Sequences：1）
回答：「家で、気になる本を読むのが良いでしょう。」
低いNum Return Sequencesの例:
質問：「雨の日にできることは何ですか？」（Num Return Sequences：3）
回答：「
a) 室内で本を読むとよいでしょう
b) 映画を見たり、ビデオゲームをするとよいでしょう
c) クッキーを焼いたり、工芸品を作るとよいでしょう
」
文中で示してきた例は、各ハイパーパラメーターの効果を実際に示すものであり、適切なハイパーパラメーターの設定が、あるタスクやアプリケーションに最適な結果を得るために重要であることを示しています。
ハイパーパラメーターを調整することで、AIの出力を制御し、ユーザーのニーズに応じて適切なレベルの創造性や多様性を提供することができます。
