隐式生成建模的得分差流程

​

The Score-Difference Flow for Implicit Generative Modeling

解决问题：本论文旨在解决隐式生成建模（IGM）问题，即通过流形空间中的动态扰动或流来将合成源数据推向目标分布。同时，论文还试图证明新提出的分数差（SD）流可以优化地减少两个任意分布之间的KL散度，并解决Schrödinger桥问题。

关键思路：本论文的关键思路是引入新的流形SD流，并将其应用于代理分布中，这些代理分布仅在原始分布对齐时才对齐。相比于现有的扩散模型，SD流不对先验分布施加任何限制，因此具有更大的灵活性和适用性。此外，论文还证明了生成对抗网络（GAN）的训练包括一个隐藏的数据优化子问题，当鉴别器是最优的时，这个子问题会诱导出SD流。因此，SD流提供了一个理论链接，将各种模型类结合起来，解决了“生成建模三难题”：高样本质量、模式覆盖和快速采样。

其他亮点：本论文在MNIST、CIFAR-10、CelebA等数据集上进行了实验，证明了SD流的有效性和性能优势。此外，论文还指出SD流与扩散模型在某些条件下具有等价性，并提供了一些值得继续深入研究的方向，例如如何使用SD流进行无监督学习和半监督学习等。

关于作者：本论文的主要作者是Romann M. Weber，他目前在瑞士洛桑联邦理工学院（EPFL）担任博士后研究员。在此之前，他曾在德国马普学会从事研究工作。他的代表作包括“Learning and Inference in Generative Models via the Doubly Reparameterized Gradient”等。

相关研究：近期的其他相关研究包括：“Score-Based Generative Modeling through Stochastic Differential Equations”（Ting Chen等，Columbia University）、“A Flow-Based Generative Model for Speech Synthesis”（Felix Kreuk等，University of Amsterdam）、“Flow Contrastive Estimation of Energy-Based Models”（Yilun Du等，UC Berkeley）等。

论文摘要：本文介绍了一种隐式生成建模（IGM）的方法，旨在生成符合目标数据分布特征的合成数据样本。最近的研究从将合成源数据通过环境空间中的动态扰动或流推向目标分布的角度来解决IGM问题（例如得分匹配网络、扩散模型）。本文将任意目标和源分布之间的得分差异（SD）引入为一种流，通过优化减少它们之间的Kullback-Leibler散度并解决Schrödinger桥问题。我们将SD流应用于方便的代理分布，只有当原始分布对齐时它们才对齐。我们证明了在某些条件下，这种表述与去噪扩散模型的形式等价。但是，与扩散模型不同，SD流对先验分布没有任何限制。我们还展示了生成对抗网络的训练包括一个隐藏的数据优化子问题，当鉴别器最优时，它会在某些损失函数选择下引入SD流。因此，SD流提供了一个理论联系，将模型类联系在一起，共同解决“生成建模三难题”：高质量样本、模式覆盖和快速采样。

​Read More