「ChatGPTのトークンって何？」「ChatGPTのトークン数を調べる方法はある？」
このような疑問をお持ちの方は多いのではないでしょうか。
今回PROMPTYでは、ChatGPTの「トークン」とは何か、ChatGPTのAPI料金はトークン数に基づいていること、ChatGPTのトークン数を調べる方法、ChatGPTでトークン数を節約する方法について解説します。
「ChatGPTの文字数制限について知りたい」「制限を突破する方法ってあるの？」 そう思う方もいるのではないでしょうか。 実は、ChatGPTの文字数制限は一定の制約がありますが、適切なプロンプトをChatGPTに入力することによ[…]
ChatGPTの「トークン」とは
ChatGPTにおけるトークンとは、テキストデータを分割する最小単位のことで、単語や句などがトークンとなります。
ChatGPTは、トークンを入力として受け取り、それに基づいて自然な日本語を生成することができます。
英語の場合は1ワードが約1トークン、日本語の場合はひらがなであれば1文字約1トークン、漢字だと1文字約1トークン、と言われています。
ChatGPTのAPI料金はトークン数に基づいている
ChatGPTのAPI料金の計算はトークン数に基づいています。
APIの利用料金は従量課金制で、1000トークンあたり0.27円とされています。
料金は個人でも法人でも同じです。
さらに試用期間があり、最初の3ヶ月間は18ドル（約2500円）分が無料で利用できます。
ChatGPTのトークン数を調べる方法
OpenAIのページ上で公開されているTokenizerを使うことで、あるテキストがAPIによってどのようにトークン化されるのか、またそのテキストに含まれるトークンの総数を把握することができます。
日本語のトークン数を調べてみた
まずは、日本語のトークン数を調べてみます。
「コーヒーの美味しい煎れ方を教えてください。」という文章をTokenizerに入力します。
赤で囲われている「Tokens」がトークン数で27トークン、青で囲われている「Chatracters」が文字数で21文字だとわかります。
日本語だと、21文字で27トークンを消費するということが分かりました。
ひらがなのみの場合
ひらがなのみの場合も調べてみます。
「こーひーのおいしいいれかたをおしえてください。」という文章をTokenizerに入力します。
すると、24文字で28トークンという結果でした。
漢字のみの場合
感じのみの場合も調べてみます。
「味」という字を、ひらがなと同じ24文字入力してみます。
すると、ひらがなは24文字で28トークンだったのに対して、漢字の場合は48トークン消費しました。
漢字の方がひらがなより、トークン数を多く消費することが分かりました。
英語のトークン数を調べてみた
次に英語のトークン数を調べてみます。
先ほどと同じく、「コーヒーの美味しい煎れ方を教えてください。」という文章をDeepLで翻訳して入力してみます。
すると、38文字で10トークンという結果になりました。
21文字で27トークン消費した日本語と比べると、英語の方がかなりトークンの消費が少ないことが分かりますね！
結果をまとめると下記の通りです。
| 言語 | 文字内訳 | 文字数 | トークン数 |
| 日本語 | ひらがなと漢字 | 21 | 27 |
| ひらがなのみ | 24 | 28 | |
| 漢字のみ | 24 | 48 | |
| 英語 | 英語 | 38 | 10 |
ChatGPTでトークン数を節約する方法
トークン数を節約するためにはどうしたらよいのでしょうか？
今回は、下記の5つの方法をご紹介します。
①入力文と出力文を制限する
②英語を使う
③質問を簡潔にする
それぞれ解説していきます。
①入力文と出力文を制限する
ChatGPTのAPIの料金は、送信される各入力と出力のトークン数に基づいています。
したがって、入力文と出力文を短くすることで、トークン数を節約することができます。
例えば、入力文を簡潔にする、または出力に要求される詳細度を低く設定するなどの方法があります。
②英語を使う
英語を使って質問をすることでトークン数を節約することが出来ます。
これは、一つのトークンが、一つの文字から数文字の範囲である英語の一部を表すことが多いからです。
一方で、日本語では、一つのトークンが通常、一つの文字（つまり、一つの単語）を表します。
これは、日本語が単語の間に空白を置かないため、モデルが英語のように複数の文字を一つのトークンとしてグループ化することが困難だからです。
したがって、英語を使用することで、同じ意味のメッセージをより少ないトークンで表現することが可能となります。
③質問を簡潔にする
質問を簡潔に保つことで、使用するトークン数を大幅に削減することができます。
また、ChatGPTが生成する回答が短くなるように工夫することも可能です。
たとえば、回答に必要な詳細度を低く設定するか、特定の範囲内で回答を求めるなどの方法があります。
まとめ
今回PROMPTYでは、ChatGPTの「トークン」とは何か、ChatGPTのAPI料金はトークン数に基づいていること、ChatGPTのトークン数を調べる方法、ChatGPTでトークン数を節約する方法について解説しました。
トークンとは何かを理解し、DeepLで英語に翻訳してから質問するなどの手法を使うことで、トークン数を節約することができます。
ぜひ、今回の記事を参考にして、トークン数を節約して、ChatGPTを効率よく利用しましょう！
