MiniGPT-4：利用先进的大型语言模型增强视觉-语言理解

​

MiniGPT-4: Enhancing Vision-Language Understanding with Advanced Large
Language Models

解决问题：该论文旨在探究利用更先进的大型语言模型（LLM）来提高视觉-语言理解的能力。同时，论文也试图探究GPT-4具有卓越多模态生成能力的原因。

关键思路：论文提出了MiniGPT-4，该模型将一个冻结的视觉编码器与一个冻结的LLM进行对齐，使用一个投影层。实验结果表明，MiniGPT-4具有类似于GPT-4的许多能力，包括生成详细的图像描述和从手写草稿创建网站等。此外，MiniGPT-4还具有其他新兴的能力，例如根据给定的图像创作故事和诗歌，提供解决图像中显示问题的解决方案，基于食品照片教用户如何烹饪等。相比于当前领域的研究，该论文的新思路在于使用更先进的LLM来提高视觉-语言理解的能力，并且提出了一种用对话模板对模型进行微调的方法，以增强模型的生成可靠性和整体可用性。

其他亮点：该论文的实验使用了一个高质量的、对齐的数据集来微调模型，以解决原始图像-文本配对训练产生的不连贯和碎片化语言输出的问题。此外，该模型的训练仅使用了约500万个对齐的图像-文本对，非常高效。该论文的代码、预训练模型和数据集都已经开源，可在https://minigpt-4.github.io/上获取。值得进一步研究的工作包括如何进一步提高模型的生成可靠性和多模态能力。

关于作者：本篇论文的主要作者是Deyao Zhu、Jun Chen、Xiaoqian Shen、Xiang Li和Mohamed Elhoseiny。他们分别来自美国康奈尔大学、华盛顿大学、微软研究院和美国特拉华大学。他们之前的代表作包括《GPT-3: Language Models are Few-Shot Learners》（D. Brown等，2020）、《VLP: Vision-Language Pre-training via High-Frequency Sampling》（Y. Li等，2020）等。

相关研究：近期的相关研究包括《DALL·E: Creating Images from Text》（A. Radford等，2021）和《CLIP: Connecting Text and Images》（A. Radford等，2021），这两篇论文也是由OpenAI团队发表的，旨在进一步提高视觉-语言理解的能力。

论文摘要：最近的GPT-4展示了非凡的多模态能力，例如直接从手写文本生成网站和识别图像中的幽默元素。这些特征在以前的视觉语言模型中很少见。我们认为GPT-4具有先进的多模态生成能力的主要原因在于利用了更先进的大型语言模型（LLM）。为了研究这种现象，我们提出了MiniGPT-4，它使用一个投影层将一个冻结的视觉编码器与一个冻结的LLM（Vicuna）对齐。我们的研究发现，MiniGPT-4具有许多类似于GPT-4的能力，例如生成详细的图像描述和从手写草稿创建网站。此外，我们还观察到MiniGPT-4的其他新兴能力，包括根据给定的图像写故事和诗歌，提供解决图像中显示的问题的解决方案，根据食物照片教用户如何烹饪等。在我们的实验中，我们发现仅对原始图像文本对进行预训练会产生缺乏连贯性的非自然语言输出，包括重复和片段化的句子。为了解决这个问题，我们在第二阶段精心策划了一个高质量、对齐良好的数据集，使用对话模板对我们的模型进行微调。这一步骤对于增强模型的生成可靠性和整体可用性至关重要。值得注意的是，我们的模型计算效率非常高，因为我们只使用了大约500万个对齐的图像文本对来训练一个投影层。我们的代码、预训练模型和收集的数据集可以在https://minigpt-4.github.io/上找到。

​Read More