本次OpenAI发布了一致性模型的实现代码库。
此前报告相关论文链接:
https://hub.baai.ac.cn/view/24651
Consistency Models一致性模型
Yang Song, P Dhariwal, M Chen, I Sutskever
[OpenAI]
一致性模型代码库介绍
该存储库包含一致性模型的代码库,使用 PyTorch 实现,用于在 ImageNet-64、LSUN Bedroom-256 和 LSUN Cat-256 上进行大规模实验。我们的存储库基于openai/guided-diffusion,它最初是在 MIT 许可下发布的。我们的修改支持一致性蒸馏、一致性训练以及本文中讨论的几种采样和编辑算法。
CIFAR-10 实验的存储库位于 JAX 中,将单独发布。
预训练模型
我们已经发布了论文中主要模型的检查点。在使用这些模型之前,请查看相应的模型卡以了解这些模型的预期用途和限制。
以下是每个模型检查点的下载链接:
- ImageNet-64 上的 EDM:edm_imagenet64_ema.pt
- 具有 l2 指标的 ImageNet-64 上的 CD:cd_imagenet64_l2.pt
- 具有 LPIPS 指标的 ImageNet-64 上的 CD:cd_imagenet64_lpips.pt
- ImageNet-64 上的 CT:ct_imagenet64.pt
- LSUN Bedroom-256 上的 EDM:edm_bedroom256_ema.pt
- LSUN Bedroom-256 上的 CD,l2 公制:cd_bedroom256_l2.pt
- LSUN Bedroom-256 上的 CD,LPIPS 指标:cd_bedroom256_lpips.pt
- LSUN Bedroom-256 上的 CT:ct_bedroom256.pt
- LSUN Cat-256 上的 EDM:edm_cat256_ema.pt
- LSUN Cat-256 上的 CD,具有 l2 公制:cd_cat256_l2.pt
- CD on LSUN Cat-256 with LPIPS metric: cd_cat256_lpips.pt
- LSUN Cat-256 上的 CT:ct_cat256.pt
依赖关系
要安装此代码库中的所有包及其依赖项,请运行
pip install -e .
模型训练和抽样
我们在cm/scripts/launch.sh中提供了 EDM 训练、一致性蒸馏、一致性训练、单步生成和多步生成的示例。
评价
为了比较不同的生成模型,我们使用 FID、Precision、Recall 和 Inception Score。这些指标都可以使用存储在 (numpy) 文件中的样本批次来计算.npz
。可以使用cm/evaluations/evaluator.py以与openai/guided-diffusion中描述的相同方式评估样本,其中提供了参考数据集批次。
引用
如果您发现此方法和/或代码有用,请考虑引用
@article{song2023consistency,
title={Consistency Models},
author={Song, Yang and Dhariwal, Prafulla and Chen, Mark and Sutskever, Ilya},
journal={arXiv preprint arXiv:2303.01469},
year={2023},
}
title={Consistency Models},
author={Song, Yang and Dhariwal, Prafulla and Chen, Mark and Sutskever, Ilya},
journal={arXiv preprint arXiv:2303.01469},
year={2023},
}
正文完
可以使用微信扫码关注公众号(ID:xzluomor)