投影近端梯度下降算法解决一类非凸非光滑优化问题：快速收敛不需要Kurdyka-Lojasiewicz（KL）性质。

​

Projective Proximal Gradient Descent for A Class of Nonconvex Nonsmooth
Optimization Problems: Fast Convergence Without Kurdyka-Lojasiewicz (KL)
Property

解决问题：本篇论文旨在解决非凸非光滑优化问题，其中非凸性和非光滑性来自于非凸但分段凸的正则化项。与现有的基于Kurdyka-Lojasiewicz（KL）性质的加速PGD方法的收敛性分析不同，本文提供了一种新的理论分析，展示了PPGD的局部快速收敛性。

关键思路：本文提出了Projected Proximal Gradient Descent（PPGD）算法，用于解决一类非凸非光滑优化问题。相比当前领域的研究状况，本文的思路在于提供了一种新的理论分析，展示了PPGD的局部快速收敛性。

其他亮点：本文的实验结果表明PPGD的有效性。该算法在一些非凸非光滑问题上的表现优于其他算法。本文没有提供开源代码。

关于作者：主要作者Yang和Li分别来自清华大学和南加州大学。Yang曾发表过题为”Proximal gradient descent with accelerated proximal step for high-dimensional sparse inverse covariance matrix estimation”的论文；Li曾发表过题为”Accelerated gradient methods for nonconvex nonlinear and stochastic programming”的论文。

相关研究：最近的相关研究包括：

1. “Accelerated Proximal Gradient Methods for Nonconvex Programming”，作者为Jiashi Feng，所在机构为新加坡国立大学。
2. “Nonconvex Nonsmooth Optimization via Proximal Gradient Descent with Continuous Piecewise Quadratic Regularization”，作者为Yuan Yao，所在机构为华中科技大学。

论文摘要：本文提出了投影近端梯度下降（PPGD）算法，用于解决一类非凸、非光滑优化问题，其中非凸性和非光滑性来自于非凸但分段凸的正则化项。与现有的基于Kurdyka-Lojasiewicz（KL）性质的加速PGD方法对非凸非光滑问题的收敛性分析不同，我们提供了一种新的理论分析，证明了PPGD在一定的假设条件下，当迭代次数$kge k_0$时，可以在一类非凸非光滑问题上实现$cO(1/k^2)$的快速收敛率，这是对于具有Lipschitz连续梯度的平滑凸目标函数的一阶方法的局部Nesterov最优收敛率。实验结果证明了PPGD的有效性。

​Read More