ChatGPTが間違いやすい質問にはパターンがあり、適切な情報が得られない場合や、曖昧な質問、主観的な質問などがあります。
今回PROMPTYでは、ChatGPTが間違いやすい質問の典型的な例を挙げながら、なぜそれが間違いやすいのかについて解説していきます。
ハルシネーションとは ハルシネーションとは、AIが生成する情報が現実や事実に基づいていない場合を指します。この現象は、言語モデル（特に大規模なもの）が正確な情報を提供するのではなく、文脈に適合するように見える回答を生成することから生[…]
ChatGPTは回答を間違えることもある
ChatGPTは基本的には誤った回答を行う事はありませんが、主に以下のような場合に誤った回答をすることがあります。
- 最新の事柄に関する質問
- 特定の事物に関する質問
- 日本で起きた出来事に関する質問
これらの質問に関して、順番に見ていきましょう。
最新の事柄に関する間違い
ChatGPTは、2021年までのデータを基に回答を生成しているので、最新の情報に関しては知らなかったり、答えることが出来なかったりします。ここでは、その間違いの一部を紹介します。
情報が古いままになってしまっている
ChatGPTに、お台場の観光地について尋ねてみましょう。すると、以下のように返答が返ってきました。
一部の観光地の名称が間違っており、また、現在存在しない観光地に関する情報が返ってきました。
そもそも答える事ができない
ChatGPTは、そもそも最新の質問に関しては答えることが出来ません。質問をしても、以下のように返答が返ってきます。
ChatGPTに知識を問う際には、自身で情報が最新のものであるかしっかりチェックするようにしましょう。
特定の知識に関する間違い
ChatGPTに具体的な知識を尋ねると、回答を誤る場合があります。以下にその例を紹介します。
特定分野に関する質問に対する間違い
ここでは、生成AI技術に関する論文について聞いてみます。
すると、以下のような返答が返ってきました。
これらの論文に関する情報を実際に調べてみると、実際に存在するものと、論文の名前もしくは著者名が誤っている論文が出力されていることが分かります。
また、映画「ドライブ・マイ・カー」について尋ねてみると、以下のような返答がありました。
この情報に関しては、主人公の名前や、原作の収録書籍に関する情報が誤っています。
日本で起きた出来事に関する間違い
ChatGPTが学習している言語データの中で、最も大きな部分を占めるのは英語とされています。このため、英語を使用して質問すると高い精度で回答が得られると評価されており、英語圏に関する知識が豊富に組み込まれています。
一方で、英語圏以外の領域については、情報が充実していない可能性が考えられます。
日本の法律に関する知識を聞いてみる
日本の法律に関して、ChatGPTに質問をしてみました。
暴行罪は刑法208条であり、また、204条は傷害罪なのでこの情報は誤っています。
日本の固有名に関する質問をしてみる
ここでは、日本の歴史上の出来事に関して質問してみます。
上のように、誤った情報が出力されてしまいました。
ChatGPTで間違った質問をしないためにはどうすればよい？
上で紹介したように、ChatGPTは便利なツールである一方で、間違った回答をしてくる場合もあります。使用する際には以下の点について気を付けましょう。
- 具体的な知識を問う質問は避ける
- 最新の情報に関する質問は避ける
- 日本固有の出来事や人名などに関する質問は避ける
また、これらの事柄に関する質問をしたい場合は、質問方法を工夫しましょう。プロンプトを使用する、質問する所を絞るなどすることによって、ChatGPTが間違った回答をすることが少なくなります。
