Microsoft｜大型语言模型对科学发现的影响：使用GPT-4初步研究

​

The Impact of Large Language Models on Scientific Discovery: a Preliminary Study using GPT-4

M R AI4Science, M A Quantum
[Microsoft]

大型语言模型对科学发现的影响：使用GPT-4的初步研究

• GPT-4在协助评估的科学领域的研究方面显示出有希望的潜力，具备广泛的知识来满足领域特定的要求。

• GPT-4在预测性质、检索信息、推荐方法和生成代码等任务方面显示出强大的能力。

• 然而，GPT-4在某些领域中面临定量计算、生成准确的原子坐标和进行精确计算等方面的挑战。

• 该论文强调了对GPT-4输出结果的仔细验证、提示的迭代改进以及与专业科学工具的整合，以确保可靠的结论。

• GPT-4在推进科学研究方面展示了显著的潜力，但仍然存在一些局限性,通过适当的实施，它可能成为各个科学领域研究人员的宝贵资产。

动机：

近年来，自然语言处理领域的突破性进展导致了强大的大型语言模型(LLM)的出现，这些模型在理解、生成和翻译自然语言甚至超越语言处理的任务方面展示出了显著的能力。本研究旨在探讨LLM在科学发现/研究领域中的性能，重点关注最先进的语言模型GPT-4。通过对药物发现、生物学、计算化学、材料设计和偏微分方程等各种科学领域进行评估，以验证GPT-4在不同研究领域中的潜力、加速科学进展、优化资源分配、指导未来模型发展和促进跨学科研究。

方法：

采用专家驱动的案例评估和基准测试相结合的方法，对GPT-4在科学任务中的表现进行评估。案例评估提供了对模型理解复杂科学概念和关系的定性洞察，而基准测试则定量评估了模型解决明确定义的领域特定问题的能力。

优势：

研究初步发现，GPT-4在各种科学应用中展现出巨大的潜力，表现出处理复杂问题解决和知识整合任务的能力。在生物学和材料设计领域，GPT-4具备广泛的领域知识，可以帮助解决特定要求。在药物发现等领域，GPT-4显示出强大的属性预测能力。然而，在计算化学和偏微分方程等研究领域，虽然GPT-4在预测和计算方面显示出潜力，但还需要进一步努力提高其准确性。

评估了最先进的语言模型GPT-4在科学领域的性能，发现其在各种科学应用中具有潜力，尤其在生物学和材料设计领域，但在计算化学和偏微分方程等领域仍需进一步提高准确性。

https://arxiv.org/abs/2311.07361 

​Read More