Apple｜对任务复杂度高效泛化的自适应模块化实现

​

Adaptivity and Modularity for Efficient Generalization Over Task Complexity

S Abnar, O Saremi, L Dinh, S Wilson, M A Bautista, C Huang, V Thilak, E Littwin, J Gu, J Susskind, S Bengio
[Apple]

对任务复杂度高效泛化的自适应模块化实现

• 提出Conditional Pointer Value Retrieval(C-PVR)任务，用于检验模型处理具有不同难度样本的能力。
• 标准transformer在C-PVR任务上的泛化性能较差，尤其是推理更多步的样本时。
• 提出Hyper-UT架构，将动态模块化和自适应计算深度相结合，在泛化性能和计算效率上均优于标准transformer。
• Hyper-UT不仅在C-PVR任务上效果更好，在ImageNet图像分类任务上也展现出同等性能但计算量更少的特点。
• 结果表明，模块化和自适应深度机制能提升模型的泛化能力和计算效率。

动机：在多步推理任务中，解决例子的复杂性需要模型具备适应性和模块化的能力，但现有的transformer模型在处理这些任务时面临挑战。因此，本文旨在探索如何在transformer模型中引入自适应和模块化计算机制，以提高模型在多步推理任务中的泛化性能。

方法：设计了一个新任务来评估模型在处理不同复杂度例子时的泛化能力，提出一种基于transformer的架构Hyper-UT。Hyper-UT结合了来自超网络的动态函数生成和来自Universal Transformer的自适应深度，通过引入自适应深度和模块化机制，提高了模型在处理多步推理任务中的准确性和计算资源的分配效率。

优势：通过引入自适应深度和模块化机制，Hyper-UT模型在处理多步推理任务时具有更高的准确性和更公平的计算资源分配。此外，论文还证明了Hyper-UT模型在标准图像识别任务中的性能与ViT模型相当，但计算需求更低。

通过引入自适应深度和模块化机制，提出一种基于transformer的架构Hyper-UT，用于改进模型在多步推理任务中的泛化能力和计算效率。

https://arxiv.org/abs/2310.08866 

​Read More