连续扩散: 基于C-LoRA的文本-图像扩散持续个性化

​

Continual Diffusion: Continual Customization of Text-to-Image Diffusion with C-LoRA

James Seale Smith, Yen-Chang Hsu, Lingyu Zhang, Ting Hua, Zsolt Kira, Yilin Shen, Hongxia Jin
[Samsung Research America]

Zsolt Kira是计算学院互动计算学院的助理教授。隶属于佐治亚理工学院研究所，并担任ML@GT的副主任，ML@GT是最近在佐治亚理工学院创建的机器学习中心。

连续扩散: 基于C-LoRA的文本-图像扩散持续个性化

要点:

• 动机：在实际应用中，需要让计算机能够自适应地生成图像，同时不会遗忘先前的知识。

• 方法：提出一种名为C-LoRA的方法，通过在Stable Diffusion模型的交叉注意力层中进行连续自正则化的低秩自适应，有效地适应新的概念，同时保留旧的概念知识，以避免遗忘。

• 优势：C-LoRA方法在Stable Diffusion模型和图像分类等领域中均取得了优秀的表现，超越了现有的基线模型，不需要存储用户数据，并且仅具有微小的附加参数成本。

提出一种名为C-LoRA的方法，用于自适应生成图像，同时避免遗忘以前的知识，并实现了稳定的表现。

https://arxiv.org/abs/2304.06027 

​Read More