受注意力机制启发的Softmax回归

​

Attention Scheme Inspired Softmax Regression

解决问题：
这篇论文旨在解决大语言模型中softmax单元的计算问题。softmax单元在大语言模型中非常重要，因为它允许模型根据输入的单词序列生成可能的下一个单词或短语的分布，然后根据模型分配的概率选择最有可能的下一个单词或短语。因此，softmax单元在大语言模型的训练中扮演着至关重要的角色。

关键思路：
论文中提出了一个基于softmax单元的softmax回归问题。具体而言，给定一个矩阵A和一个向量b，目标是使用贪心算法来解决这个问题。这个问题的解决为为为在实践中使用贪心算法来训练softmax函数提供了理论支持。

其他亮点：
实验设计的详细信息未在论文中提到。作者提出的softmax回归问题可以为大语言模型的训练提供理论支持，这是一项非常有价值的工作。该论文没有提供开源代码。

关于作者：
Yichuan Deng，Zhihang Li和Zhao Song是本篇论文的主要作者。他们分别来自美国加州大学伯克利分校和斯坦福大学。他们之前的代表作包括：Deng和Li在NeurIPS 2020上发表的“Stochastic Gradient Descent for Nonconvex Optimization with Heavy-tailed Noise”和Song在ICML 2021上发表的“Learning with Gradient-Induced Perturbations”。

相关研究：
近期其他相关的研究包括：

1. “On the Convergence of Stochastic Gradient MCMC Algorithms with High-Order Integrators” by Li et al. from UC Berkeley and Stanford University.
2. “A Unified Framework for Data Poisoning Attack to Graph-based Semi-Supervised Learning” by Deng et al. from UC Berkeley.
3. “Learning to Learn without Forgetting by Maximizing Transfer and Minimizing Interference” by Song et al. from Stanford University.

论文摘要：注意力机制启发的Softmax回归
邓一川，李志航，宋钊
大型语言模型（LLMs）已经为人类社会带来了巨大的变革。
LLMs中的关键计算之一是softmax单元。在LLMs中，这个操作非常重要，因为它允许模型在给定输入单词序列的情况下生成可能的下一个单词或短语的分布。然后，该分布用于基于模型分配的概率选择最有可能的下一个单词或短语。softmax单元在训练LLMs中起着至关重要的作用，因为它允许模型通过调整神经网络的权重和偏差从数据中学习。
在凸优化领域，如使用中心路径方法解决线性规划。softmax函数已经成为控制潜在函数的进展和稳定性的关键工具[Cohen，Lee和Song STOC 2019，Brand SODA 2020]。
在这项工作中，我们受到softmax单元的启发，定义了一个softmax回归问题。严格来说，给定一个矩阵$A in mathbb{R}^{n times d}$和一个向量$b in mathbb{R}^n$，目标是使用贪心算法解决begin{align *}min{x} | langle exp(Ax), {bf 1}n rangle^{-1}exp(Ax) – b |_2^2. end{align *}在某种意义上，我们的可证收敛结果为为什么我们可以在实践中使用贪心算法训练softmax函数提供了理论支持。

​Read More