Stanford Alpaca(斯坦福 Alpaca)是一个指令调优的 LLaMA 模型,从 Meta 的大语言模型 LLaMA 7B 微调而来。
Stanford Alpaca 让 OpenAI 的 text-davinci-003 模型以 self-instruct 方式生成 52K 指令遵循(instruction-following)样本,以此作为 Alpaca 的训练数据。研究团队已将训练数据、生成训练数据的代码和超参数开源,后续还将发布模型权重和训练代码。
![Stanford Alpaca —— 指令调优的 LLaMA 模型 Stanford Alpaca —— 指令调优的 LLaMA 模型](https://oscimg.oschina.net/oscnet/up-ebb7e3074189bbe538f046e0c93ddd37fef.png)
GitHub 的仓库包含:
官方示例
![Stanford Alpaca —— 指令调优的 LLaMA 模型 Stanford Alpaca —— 指令调优的 LLaMA 模型](https://oscimg.oschina.net/oscnet/up-fe52d5aa818dfdaf6e42e8664d56c906563.png)
![Stanford Alpaca —— 指令调优的 LLaMA 模型 Stanford Alpaca —— 指令调优的 LLaMA 模型](https://oscimg.oschina.net/oscnet/up-8bba2ec1898ceb7081e84c6a2123bf53262.png)