GPT4All – 一个7B参数的模型(基于LLaMA),在大量干净的助手数据上训练,包括代码、故事和对话。
同时发布800K数据样本、数据整理程序、训练代码和模型权重,以促进开放研究。
发布了一个可以在CPU上运行的量化的4比特版本的模型。
代码地址:https://github.com/nomic-ai/gpt4all
论文地址:https://s3.amazonaws.com/static.nomic.ai/gpt4all/2023_GPT4All_Technical_Report.pdf
标题:GPT4All: Training an Assistant-style Chatbot with Large Scale Data Distillation from GPT-3.5-Turbo
Yuvanesh Anand Zach Nussbaum Brandon Duderstadt Benjamin Schmidt Andriy Mulyar
[nomic.ai]
这份初步的技术报告描述了GPT4All的发展,它是一个通过大量的助理互动语料库训练出来的聊天机器人,包括单词问题、故事描述、多轮对话和代码。我们公开发布了收集的数据、数据整理程序、训练代码和最终的模型权重,以促进开放研究和可重复性。此外,我们还发布了该模型的4位量化版本,允许任何人在CPU上运行该模型。
正文完
可以使用微信扫码关注公众号(ID:xzluomor)