谷歌 | SVDiff: 扩散微调的紧凑参数空间

​

为扩散模型的微调提出了一个紧凑的参数空间–频谱移动。实验结果表明，在单主体和多主体生成中，该参数空间的微调与全权重微调相比取得了相似甚至更好的结果。提出的Cut-Mix-Unmix数据增强技术也提高了多主体生成的质量，使其有可能处理主体类别相似的情况。此外，光谱移动作为一种正则化的方法，使新的使用情况，如单一图像编辑成为可能。

SVDiff: 扩散微调的紧凑参数空间

SVDiff: Compact Parameter Space for Diffusion Fine-Tuning

Ligong Han, Yinxiao Li, Han Zhang, Peyman Milanfar, Dimitris Metaxas, Feng Yang

[Rutgers University & Google Research]

1. 扩散模型在文本-图像生成方面取得了显著的成功，能够从文本提示或其他模式中创建高质量的图像。然而，现有的定制这些模型的方法受到处理多个个性化主题和过拟合风险的限制。此外，其大量的参数对于模型的存储来说是低效的。
2. 在本文中，提出了一种新的方法来解决现有文本-图像扩散模型的这些限制，以实现个性化。该方法涉及微调权重矩阵的奇异值，导致一个紧凑和有效的参数空间，减少过度拟合和语言漂移的风险。还提出了一个Cut-Mix-Unmix数据增强技术，以提高多主体图像生成的质量，以及一个简单的基于文本的图像编辑框架。
3. 与现有的方法（vanilla DreamBooth 3.66GB，Custom Diffusion 73MB）相比，提出的SVDiff方法的模型大小明显较小（StableDiffusion为1.7MB），使其在现实世界的应用中更加实用。

https://arxiv.org/pdf/2303.11305.pdf