通过对解码器网络施加反Lipschitz约束来控制后验崩溃

​

Controlling Posterior Collapse by an Inverse Lipschitz Constraint on the
Decoder Network

解决问题：本文的目标是解决VAE模型中存在的后验崩溃问题。后验崩溃是指编码器与先验重合，没有考虑输入数据的潜在结构信息。这是一个已知的问题。

关键思路：本文提出了一种逆Lipschitz神经网络结构，将其引入到解码器中，提供了一种新的方法，可以简单明了地控制VAE模型的后验崩溃程度，适用于多种VAE模型，并提供了具体的理论保证。相较于当前领域的研究，本文的思路具有新意。

其他亮点：本文的实验设计了多个数值实验来验证方法的有效性。本文所使用的数据集和开源代码未在摘要中提及。值得进一步研究的是如何将本文的方法应用于其他深度生成模型中。

关于作者：Yuri Kinoshita、Kenta Oono、Kenji Fukumizu、Yuichi Yoshida和Shin-ichi Maeda是本文的作者。他们分别来自东京大学、日本国立信息学研究所和神户大学。他们之前的代表作包括“Variational Dropout and the Local Reparameterization Trick”（Kingma等人，2015年）和“Adversarial Training for Semi-Supervised Language Understanding”（Miyato等人，2016年）等。

相关研究：近期的相关研究包括“Understanding and Improving Interpolation in Autoencoders via an Adversarial Regularizer”（Berthelot等人，2018年）和“On the Generalization Gap in Generative Models and the Variational Information Bottleneck”（Alemi等人，2018年）等。这些研究都探讨了深度生成模型中存在的问题，并提出了新的解决方案。

论文摘要：本文题为“通过逆Lipschitz约束控制解码器网络的后向崩溃”，作者为Yuri Kinoshita、Kenta Oono、Kenji Fukumizu、Yuichi Yoshida和Shin-ichi Maeda。变分自编码器（VAEs）是深度生成模型之一，在过去几十年中取得了巨大的成功。然而，在实践中，它们遭受了一个称为后向崩溃的问题，当编码器与先验重合或崩溃时，不考虑输入数据的潜在结构而不进行任何信息提取。在本文中，我们将逆Lipschitz神经网络引入到解码器中，并基于这种架构提供了一种新方法，可以简单明了地控制各种VAE模型的后向崩溃程度，并具有明确的理论保证。我们还通过几个数值实验说明了我们方法的有效性。

​Read More