加利福尼亚大学提出Baize:第一个开源的自监督GPT大模型

1,151次阅读
没有评论

加利福尼亚大学提出Baize:第一个开源的自监督GPT大模型

聊天模型,如ChatGPT,已显示出令人印象深刻的能力,并在许多领域迅速被采用。但是,这些模型仅通过受限API访问,为该领域的新研究和进展创建了障碍。本文提出了一种流程,可以通过利用ChatGPT与自身进行对话来自动生成高质量的多轮聊天语料库。随后,采用参数高效调整来增强开源大型语言模型LLaMA。由此产生的模型名为Baize,在最小化潜在风险的情况下,在多轮对话中表现出良好的性能。

Baize是一个开源聊天模型,可在自聊数据上进行参数高效调整。Baize使用了Self-Chat的技术,即模型自己对话,在训练数据中学习并优化自我生成对话的能力,从而实现更加自然的对话输出。同时,它提供了一个基于参数变化的自适应调整算法,允许人们使用更少的数据和时间来获得准确的对话生成结果。通过Baize这个开源聊天模型,人们可以更好地理解自适应计算的原理,并改进自己的聊天应用程序。

标题:Baize: An Open-Source Chat Model with Parameter-Efficient Tuning on Self-Chat Data

作者:Xu, Canwen and Guo, Daya and Duan, Nan and McAuley, Julian

代码:https://github.com/project-baize/baize

加利福尼亚大学提出Baize:第一个开源的自监督GPT大模型

加利福尼亚大学提出Baize:第一个开源的自监督GPT大模型

 

Read More 

正文完
可以使用微信扫码关注公众号(ID:xzluomor)
post-qrcode
 
评论(没有评论)
Generated by Feedzy