用GPT无需计算器也能求解数学问题

​

GPT Can Solve Mathematical Problems Without a Calculator

Z Yang, M Ding, Q Lv, Z Jiang, Z He, Y Guo, J Bai, J Tang
[Tsinghua University & Zhipu.AI]

用GPT无需计算器也能求解数学问题

• 本文挑战了一个普遍观点，即像GPT-4这样的大型语言模型在没有计算器的情况下，难以准确执行复杂的多位数算术运算，尤其是含小数/分数的运算。
• 提出MathGLM，它从头训练，使用课程学习和逐步分解算式的策略，这使其能学习算术运算的基本规则和模式。
• 20亿参数的MathGLM在9592个样本的测试集上取得了93%的准确率，远远超过了GPT-4的18.84%准确率，即使只有1亿参数的MathGLM也优于GPT-4。
• 在用重构数据集(包含逐步解法)微调GLM-10B的基础上，MathGLM在5000个中文数学文本问题的数据集上也达到了与GPT-4相当的表现。
• 逐步解法是MathGLM取得强大算术表现的关键，直接计算答案会大幅降低准确率。
• 结果表明，通过充分的训练数据和逐步学习，大型语言模型可以在数学推理任务上获得优秀的表现。

动机：以往的研究普遍认为大型语言模型无法准确执行算术运算，特别是超过8位数字的乘法运算，以及涉及小数和分数的运算，而无需使用计算器工具。本文旨在挑战这一误解。

方法：通过充足的训练数据，一个拥有20亿参数的语言模型可以在没有数据泄漏的情况下，准确执行多位数的算术运算，准确率接近100%，大大超过GPT-4(其多位数乘法的准确率仅为4.3%)。本文还证明，所提出的MathGLM模型在一个包含额外多步算术运算和文本描述的数学问题数据集上进行微调后，与GPT-4在一个包含5000个样本的中文数学问题测试集上的表现相似。

优势：MathGLM模型能准确执行复杂的算术运算，包括超过8位数字的乘法运算，以及涉及小数和分数的运算。相较于其他大型语言模型，MathGLM在算术任务上表现出色。

介绍了一种能准确执行多位数算术运算的语言模型，展示了该模型在数学问题上的优越性能。

https://arxiv.org/abs/2309.03241 

​Read More