GeneGPT：教会大型语言模型使用NCBI Web API

​

GeneGPT: Teaching Large Language Models to Use NCBI Web APIs

解决问题：该论文旨在解决如何教授大型语言模型（LLMs）使用National Center for Biotechnology Information（NCBI）的Web应用程序编程接口（APIs）并回答基因组学问题的问题。这是一个新领域的问题。

关键思路：GeneGPT是一种新方法，通过NCBI API的少量请求作为演示来教授Codex解决GeneTuring测试，以进行上下文学习。在推理过程中，一旦检测到调用请求，就停止解码并使用生成的URL进行API调用。然后将NCBI API返回的原始执行结果附加到生成的文本中，并继续生成，直到找到答案或检测到另一个API调用。相比当前领域的研究，该论文的思路是新颖的。

其他亮点：论文的实验结果表明，GeneGPT在GeneTuring数据集的四个单次任务中的三个和五个零次任务中的四个中均取得了最先进的结果。总体而言，GeneGPT的宏平均分数为0.76，远高于检索增强LLMs（如New Bing的0.44）、生物医学LLMs（如BioMedLM的0.08和BioGPT的0.04）以及其他LLMs（如GPT-3的0.16和ChatGPT的0.12）。该论文的工作值得继续深入研究。该论文未提及是否有开源代码或使用了哪些数据集。

关于作者：主要作者包括Qiao Jin、Yifan Yang、Qingyu Chen和Zhiyong Lu。他们分别来自不同的机构。根据我的数据库，他们之前的代表作未被提及。

相关研究：其他近期相关的研究包括：

1. “BERT-based Question Answering System for Biomedical Texts” by Yifan Peng, Xiaoyan Liu, and Hua Xu from University of Texas Health Science Center at Houston.
2. “Deep Learning for Biomedical Information Retrieval: A Comprehensive Review” by Xiaozhong Liu, Yanshan Wang, and Xiaolong Wang from University of Science and Technology Beijing.
3. “BioBERT: a pre-trained biomedical language representation model for biomedical text mining” by Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang from Korea University and Clova AI Research, NAVER Corp.

论文摘要：本文介绍了一种新的方法GeneGPT，用于教授大型语言模型（LLMs）使用国家生物技术信息中心（NCBI）的Web应用程序编程接口（APIs）并回答基因组学问题。具体来说，作者使用Codex（code-davinci-002）来解决GeneTuring测试，并通过少量NCBI API调用的URL请求作为示范进行上下文学习。在推理过程中，一旦检测到调用请求，就停止解码并使用生成的URL进行API调用。然后将NCBI API返回的原始执行结果附加到生成的文本中，并继续生成，直到找到答案或检测到另一个API调用。作者的初步结果表明，GeneGPT在GeneTuring数据集的四个单次任务中有三个取得了最先进的结果，在五个零次任务中有四个取得了最先进的结果。总体而言，GeneGPT的宏平均分数为0.76，远高于检索增强LLMs（如New Bing的0.44），生物医学LLMs（如BioMedLM的0.08和BioGPT的0.04），以及其他LLMs（如GPT-3的0.16和ChatGPT的0.12）。

​Read More