「ChatGPTで数学の問題を解けるのか？」「GPT-3.5とGPT-4でどのような違いがあるの？」そう思う方もいるのではないでしょうか。
今回PROMPTYでは、では、ChatGPTがどの程度の数学の問題を解くことができるのか、その限界と可能性について詳しくご紹介していきます。本記事は、方程式編になります。
プロンプト
プロンプトでは、例題等は提示せず、次のように出力形式のみ指定しました。
#命令文
以下の#出力形式に従って#問題を回答してください。
#問題
{問題文}
#出力形式
*解き方
*答え問題①：一次方程式を解いて解答する文章題
入力文：
#命令文
以下の#出力形式に従って#問題を回答してください。
#問題
ある数xに2を足して3倍すると、その数から5を引いた数の4倍に等しい。このとき、xの値を求めてください。
#出力形式
*解き方
*答え出力（GPT-3.5の場合）：
#解き方
まず、数xを求めるための方程式を立てます。
(x + 2) * 3 = 4 * (x - 5)
両辺を展開すると、
3x + 6 = 4x - 20
xに関する項を左側にまとめ、定数項を右側にまとめると、
3x - 4x = -20 - 6
-x = -26
両辺を-1で割ると、
x = 26
よって、xの値は26です。
#答え
x = 26出力（GPT-4の場合）：
#解き方
この問題は、数学の一次方程式を解く問題です。まず、与えられた条件を一次方程式に変換します。
条件は「ある数xに2を足して3倍すると、その数から5を引いた数の4倍に等しい」ですから、この情報を使って次のような等式を作ることができます。
3*(x + 2) = 4*(x - 5)
次に、この方程式を解きます。まず、両辺を展開してみましょう。
3x + 6 = 4x - 20
この方程式を整理すると、
4x - 3x = 20 + 6
ここから、xについて解くと、
x = 26
#答え
したがって、xの値は26ですどちらのモデルでも、正しい解答が出力されました。
但し、#解き方の文章を見ると、GPT-4の方が丁寧な解説が出力されていることがわかります。
問題②：連立方程式を解いて解答する文章題
入力文：
#命令文
以下の#出力形式に従って#問題を回答してください。
#問題
クラスに男子生徒と女子生徒がいます。男子生徒の数は、女子生徒の数の2倍に5足した数と等しく、全生徒数は56人です。男子生徒と女子生徒はそれぞれ何人でしょうか？
#出力形式
*解き方
*答え出力（GPT-3.5の場合）：
*解き方:
この問題では、男子生徒の数をxとし、女子生徒の数をyとします。
問題文によれば、男子生徒の数は、女子生徒の数の2倍に5足した数と等しいです。つまり、以下の式が成り立ちます。
x = 2y + 5
また、全生徒数は56人なので、男子生徒の数と女子生徒の数を足すと56になります。つまり、以下の式も成り立ちます。
x + y = 56
以上の2つの式を解くことで、男子生徒の数xと女子生徒の数yを求めることができます。
*答え:
上記の2つの式を解くと、男子生徒の数x = 27人、女子生徒の数y = 29人となります。出力（GPT-4の場合）：
#解き方
この問題は連立方程式を使って解くことができます。
男子生徒の数をM、女子生徒の数をFとしましょう。
問題から、以下の2つの方程式が得られます。
M = 2F + 5
M + F = 56
1)の式を2)の式に代入して解きます。
(2F + 5) + F = 56
3F + 5 = 56
3F = 56 - 5
3F = 51
F = 51 / 3
F = 17
次に、Fの値を1)の式に代入してMの値を求めます。
M = 2*17 + 5
M = 39
#答え
男子生徒は39人、女子生徒は17人です。GPT-3.5の答えは不正解です。GPT-4の答えは正解です。
両モデルともに、適切な連立方程式を立てることができましたが、GPT-3.5では計算のミスが発生してしまいました。GPT-4モデルでは間違いなく解答することができました。
まとめ
今回PROMPTYでは、ChatGPTの数学の問題解決能力を検証するため、GPT-3.5とGPT-4で方程式の正答率を比較してみました。 結果として、GPT-4はGPT-3.5よりも高い正答率と、丁寧な解説が出力されました。今後の記事では、高校生レベルの数学の問題や推論問題を解かせた結果をご紹介します。
