GPT4All:用GPT-3.5-Turbo的大规模数据提炼训练一个助理式聊天机器人

950次阅读
没有评论

GPT4All – 一个7B参数的模型(基于LLaMA),在大量干净的助手数据上训练,包括代码、故事和对话。
同时发布800K数据样本、数据整理程序、训练代码和模型权重,以促进开放研究。
发布了一个可以在CPU上运行的量化的4比特版本的模型。

代码地址:https://github.com/nomic-ai/gpt4all

论文地址:https://s3.amazonaws.com/static.nomic.ai/gpt4all/2023_GPT4All_Technical_Report.pdf

标题:GPT4All: Training an Assistant-style Chatbot with Large Scale Data Distillation from GPT-3.5-Turbo

Yuvanesh Anand Zach Nussbaum Brandon Duderstadt Benjamin Schmidt Andriy Mulyar

[nomic.ai]

这份初步的技术报告描述了GPT4All的发展,它是一个通过大量的助理互动语料库训练出来的聊天机器人,包括单词问题、故事描述、多轮对话和代码。我们公开发布了收集的数据、数据整理程序、训练代码和最终的模型权重,以促进开放研究和可重复性。此外,我们还发布了该模型的4位量化版本,允许任何人在CPU上运行该模型。

 

GPT4All:用GPT-3.5-Turbo的大规模数据提炼训练一个助理式聊天机器人

 

 

Read More 

正文完
可以使用微信扫码关注公众号(ID:xzluomor)
post-qrcode
 
评论(没有评论)
Generated by Feedzy