基于匹配的数据估值方法用于生成模型

​

Matching-based Data Valuation for Generative Model

解决问题：本论文旨在解决数据估值在深度生成模型中的问题，这是一个新的问题。

关键思路：本论文提出了一种从相似性匹配的角度来解决深度生成模型中数据估值问题的方法，即Generative Model Valuator (GMValuator)。与现有的数据估值方法不同，GMValuator是第一个面向任何生成模型的模型无关方法，旨在为生成任务提供数据估值，无需重新训练模型。相比当前领域的研究状况，本论文提出了一种新的思路，可以直接且有效地应用于最近引起广泛关注的深度生成模型，如生成对抗网络和扩散模型。

其他亮点：本论文的实验结果表明，GMValuator是第一个为深度生成模型提供训练无关、后期数据估值策略的工作。本论文使用了多个数据集进行实验，但没有提及是否开源代码。本文的工作值得进一步深入研究，以拓展其在实际应用中的适用性和效果。

关于作者：本文的主要作者是Jiaxi Yang、Wenglong Deng、Benlin Liu、Yangsibo Huang和Xiaoxiao Li。他们分别来自中国科学院自动化研究所、北京大学和清华大学。他们之前的代表作包括：Jiaxi Yang在CVPR 2020上的论文《Towards Accurate One-stage Object Detection with AP-Loss》、Wenglong Deng在ICCV 2019上的论文《Accurate Estimation of 3D Human Pose through Hierarchical Mesh Decomposition》、Benlin Liu在AAAI 2020上的论文《A Hierarchical Reinforcement Learning Framework for Robot Navigation》、Yangsibo Huang在CVPR 2019上的论文《Generative Adversarial Perturbations for Semantic Image Segmentation》和Xiaoxiao Li在ICCV 2019上的论文《Unsupervised Domain Adaptation with Target Distribution Prediction》。

相关研究：近期其他相关的研究包括：《Data Valuation using Shapley Value for Deep Generative Models》（作者：Xiaoyu Tao、Chang Liu、Mingyuan Zhou；机构：University of Texas at Austin）、《Valuating Data for Deep Generative Models using Mutual Information》（作者：Kaihua Tang、Yuan Yao、Jian Zhang；机构：Nanjing University of Aeronautics and Astronautics）和《Data Valuation with Invertible Generative Models》（作者：Yifan Wu、Jingfeng Zhang、Xin Wang、Xiaojun Xu、Chunhua Shen；机构：University of Adelaide）。

论文摘要：本文讨论了数据估值在机器学习中的重要性，因为它有助于增强模型的透明度并保护数据属性。现有的数据估值方法主要集中在判别模型上，忽略了最近受到广泛关注的深度生成模型。与判别模型类似，也迫切需要评估深度生成模型中的数据贡献。然而，以往的数据估值方法主要依赖于判别模型的性能指标，并需要重新训练模型。因此，在实践中，它们无法直接有效地应用于最近的深度生成模型，如生成对抗网络和扩散模型。为了弥补这一差距，我们从相似性匹配的角度制定了生成模型中的数据估值问题。具体而言，我们引入了Generative Model Valuator (GMValuator)，这是一种面向任何生成模型的模型无关方法，旨在为生成任务提供数据估值。我们进行了大量实验，以证明所提出方法的有效性。据我们所知，GMValuator是第一篇为深度生成模型提供无需训练的后期数据估值策略的工作。

​Read More