「ChatGPTってどんな風にできたの？」「そもそもChatGPTって何なの？」と気になる方もいらっしゃるのではないでしょうか。
今回PROMPTYでは、ChatGPTの歴史について解説します。
今後の展望についても説明していますので、是非最後までご覧ください。
大規模言語モデル（LLM）とは？
大規模言語モデル（Large Language Models）は、膨大なデータとディープラーニングの技術を用いて開発されています。
従来のモデルと比らべ、「計算能力」「データの規模」「パラメータ数」の3要素が発達しており、自然言語処理（NLP）や人工知能（AI）研究の領域において使用されます。
ChatGPTのモデルであるGPTもこの大規模言語モデルの1つであり、チャットボットや文章生成・要約といった、自然な言語処理能力や高度な文章理解能力が必要とされる行為において高いパフォーマンスを発揮します。
ChatGPT（GPT）の歴史は？
①GPT
GPT（Generative Pre-trained Transformer）とはOpenAIが2018年に開発した大規模言語モデルです。
膨大な量のテキストデータと、Transformerアーキテクチャと呼ばれる、大量の事前学習したデータに裏打ちされた文脈からの単語推測能力を保有しています。
同時期にGoogleでは「BERT」と呼ばれる大規模言語モデルが開発されましたが、このBERTと並び2大大規模言語モデルとして注目されていました。
②GPT-2
GPT-2はGPTの後継モデルとして2019年にOpenAIによって開発されました。
GPTよりも遥かに多い1.5億のパラメータを持っており、テキスト生成能力などの面で大きく進化しました。
③GPT-3
GPT-3はGPT-2をさらに進化させたモデルとして2020年にOpenAIによって開発されました。
Web上の45TBに上るテキストデータと1,750億個のパラメータを持っており、GPT-2の性能を遥かに超えるモデルになりました。
2020年9月にはマイクロソフトのクラウドサービス「Microsoft Azure」のAPI（要申請）として公開されました。
GPT-2までは、事前学習させた知識を特定ジャンルに特化させるために「ファインチューニング」と呼ばれる微調整を施していましたが、GPT-3からはファインチューニングを必要としない言語モデルへと変化しています。
GPT-2から大きな進化を遂げたGPT-3ですが、攻撃的な内容の文章の生成、フェイクニュースの作成を行うことがあったりと、実際の使用においては不安が残る面がありました。
④GPT-3.5
この問題を解決させるために更にパラメータ数を3,550億個まで増やし、進化させたものがGPT-3.5です。
このGPT-3.5を対話に特化させチャットボット形式のサービスとしてリリースしたものが「ChatGPT」です。
ChatGPTが2022年11月に公開されてから、そのユーザーは爆発的に増加しており、現代では知らない人がいないと言ってもいいほど社会に浸透しています。
GPT-3とGPT-3.5の違いとして特筆すべき点は以下の点です。
・分からないことを「分からない」と言える
・非倫理的な話題に対して反論できる
・不適切なリクエストには応じない
GPT-3.5は現在でも無料版のChatGPTで使用することができ、有料版では更に進化したGPT-4を使用することができるようになっています。
⑤GPT-4
GPT-4はGPT-3.5の上位モデルであり、現在もChatGPTの有料プランに加入することで使用可能です。
正確な数は知られていませんが、GPT-4のパラメータ数は5000億～1兆個程度あるのではと言われています。
現状のGPTシリーズの最新モデルであり、GPT-3.5と比べ以下のような点で進化しました。
・より正確な処理能力
・テキスト以外に画像や音声ファイルを認識できる「マルチモーダル」（成功率はまだ高くない）
・複雑なプロンプトの理解と実行
・プラグインの使用
GPT-4を利用したサービスもどんどんリリースされており、より一層様々な領域や用途で使用されていくことが予想されます。
ChatGPTの今後の展望は？
ChatGPTの認知度や使用率は増加傾向にあり、日本においては、個人利用に留まらず、民間企業や官公庁など幅広い業界業態で使用されています。
日本政府も今後国会での答弁作成などの事務作業にChatGPTを活用していく方針であることを表明しています。
海外では規制や禁止といった、ChatGPTの国内での使用率を食い止めようとする動きが見られますが、少なくとも日本では今後も活発に使用されていくことが予想されます。
まとめ
今回はChatGPTの歴史について解説しました。
「ChatGPTは知っていたけど、GPTの存在は知らなかった」という方も多いのではないでしょうか。
今後もOpenAIやChatGPTは様々な形で私たちの生活に影響を与えることになると考えられます。
彼らの取り組みやChatGPTについて深く知ることでリテラシー知識を持つこともできるため、歴史的な知識も理解しておくようにしましょう。
PROMPTYでは他のChatGPTについての記事も多く扱っているので、是非ご覧ください。
