Dolly 是一个低成本的 LLM,Dolly 采用 EleutherAI 现有的 60 亿参数的开源模型,并对其进行细微的修改,以激发指令跟随能力。
开始训练
- 将 dollyrepo 添加到 Databricks(在 Repos 下单击 Add Repo,输入https://github.com/databrickslabs/dolly.git,然后单击创建仓库)。
- 开始一个 12.2 LTS ML (includes Apache Spark 3.3.2, GPU, Scala 2.12)具有 8 个 A100 GPU 节点类型的单节点集群(例如Standard_ND96asr_v4或者p4d.24xlarge).
- 在 dolly仓库中打开train_dollynotebook,附加到你的 GPU 集群,并运行所有单元。训练完成后,notebook 会将模型保存在/dbfs/dolly_training.
在本地运行单元测试
pyenv local 3.8.13
python -m venv .venv
. .venv/bin/activate
pip install -r requirements_dev.txt
./run_pytest.sh
正文完
                                                    可以使用微信扫码关注公众号(ID:xzluomor)
                                 
                            