AI 军备竞赛,Meta 推出全新大型语言模型

1,454次阅读
没有评论

ChatGPT 持续火热,大型科技公司争先恐后地涌入 AI 军备竞赛中,这也为 AI 领域又带来了一个新的模型与潜在竞争对手 —— LLaMA。

AI 军备竞赛,Meta 推出全新大型语言模型

LLaMA 语言模型全称为 “Large Language Model Meta AI”,是 Meta 近日公布的一个全新的大型语言模型(LLM),这是一个模型系列,根据参数规模进行了划分(分为 70 亿、130 亿、330 亿和 650 亿参数不等)。

值得注意的是,其中 LaMA-13B(130 亿参数的模型)尽管模型参数相比 OpenAIGPT-3(1750 亿参数) 要少了十几倍,但在性能上反而可以超过 GPT-3 模型。更小的模型也意味着开发者可以在 PC 甚至是智能手机等设备上本地运行类 ChatGPT 这样的 AI 助手,无需依赖数据中心这样的大规模设施。

项目成员 Guillaume Lample 表示:

与 Chinchilla、PaLM 或 GPT-3 不同,我们只使用公开的数据集,使我们的工作与开源兼容并可重现,而大多数现有模型依赖的数据要么不公开,要么没有记录。

目前 LLaMA 的一个精简版可在 GitHub 上找到,Meta 暂时还没有要公开发布完整模型和权重的计划。Meta 提供了一个登记页面,感兴趣的开发者可以申请登记,从而获得完整的代码和权重。

正文完
可以使用微信扫码关注公众号(ID:xzluomor)
post-qrcode
 
评论(没有评论)