通过贝叶斯主动学习的自我校正贝叶斯优化

​

Self-Correcting Bayesian Optimization through Bayesian Active Learning

解决问题：该论文旨在解决高斯过程在贝叶斯优化和主动学习中依赖于精心选择的超参数的问题，并提出了两种明确优先考虑此目标的收购函数。同时，论文还尝试在贝叶斯优化和主动超参数学习中同时解决这个问题。

关键思路：论文提出了Self-Correcting Bayesian Optimization (SCoreBO)算法，该算法通过引入一种新的收购函数，即基于统计距离的主动学习（SAL），来同时进行贝叶斯优化和主动超参数学习。相比于传统的贝叶斯优化方法，SCoreBO的学习速度更快，而且在传统基准测试中表现更好。

其他亮点：论文的实验结果表明，SAL算法在多个测试函数上优于当前贝叶斯主动学习的最新方法。此外，论文还强调了自我纠正的重要性，并在一系列奇异的贝叶斯优化任务中展示了这一点。论文没有提到是否有开源代码。

关于作者：Carl Hvarfner、Erik Hellsten、Frank Hutter和Luigi Nardi都是计算机科学领域的专家。Carl Hvarfner和Erik Hellsten分别来自瑞典皇家理工学院和瑞典林雪平大学，他们的研究涵盖机器学习、计算机视觉和自然语言处理等领域。Frank Hutter是德国弗莱堡大学的计算机科学教授，他的研究重点是自动机器学习和贝叶斯优化。Luigi Nardi是加拿大滑铁卢大学的计算机科学博士生，他的研究兴趣包括贝叶斯优化和机器学习。

相关研究：近期的其他相关研究包括：

1. “Active Learning for Regression using Query-by-Committee and Randomized Sampling”，作者为Niklas Wahlström和Adrian Wills，机构为瑞典皇家理工学院。
2. “Bayesian Optimization with Robust Bayesian Neural Networks”，作者为Lukas Kammerer、Philipp Seidl和Wolfgang Nowak，机构为奥地利林茨大学。
3. “Bayesian Active Learning for Posterior Estimation with Application to Complex Physical Systems”，作者为Yi Ding、Yue Wu和Yongming Liu，机构为美国加州大学洛杉矶分校。

论文摘要：高斯过程已经成为贝叶斯优化和主动学习中的首选模型。然而，要发挥其最大潜力，需要精心选择超参数，但文献中很少有关于如何找到正确超参数的研究。我们展示了选择好超参数对高斯过程的影响，并提出了两种明确优先考虑此目标的收购函数。基于统计距离的主动学习（SAL）考虑从后验中取样得到的样本之间的平均差异，其测量方式为统计距离。在多个测试函数上，SAL的表现优于贝叶斯主动学习的最新方法。然后，我们引入了自校正贝叶斯优化（SCoreBO），将SAL扩展到同时执行贝叶斯优化和主动超参数学习。与普通BO相比，SCoreBO以改进的速度学习模型超参数，并在传统基准测试中优于最新的贝叶斯优化方法。此外，我们在一系列奇特的贝叶斯优化任务中展示了自校正的重要性。

​Read More