Emu2: 新一代生成式多模态模型

​

2023年12月27日（周二）14:00-15:00智源Talk 60期线上召开，邀请了智源研究院视觉模型研究中心崔玉峰和孙泉分享《由Emu2: 新一代生成式多模态模型介绍》。

2023年12月21日，智源研究院开源发布新一代多模态基础模型Emu2，通过大规模自回归生成式多模态预训练，显著推动多模态上下文学习能力的突破。Emu2在少样本多模态理解任务上大幅超越Flamingo-80B、IDEFICS-80B等主流多模态预训练大模型，在包括VQAv2、OKVQA、MSVD、MM-Vet、TouchStone在内的多项少样本理解、视觉问答、主体驱动图像生成等任务上取得最优性能。

Emu2是目前最大的开源生成式多模态模型，基于Emu2微调的Emu2-Chat和Emu2-Gen模型分别是目前开源的性能最强的视觉理解模型和能力最广的视觉生成模型。Emu2-Chat可以精准理解图文指令，实现更好的信息感知、意图理解和决策规划。Emu2-Gen可接受图像、文本、位置交错的序列作为输入，实现灵活、可控、高质量的图像和视频生成。

相较2023年7月发布的第一代「多模态to多模态」Emu模型，Emu2使用了更简单的建模框架，训练了从编码器语义空间重建图像的解码器、并把模型规模化到37B参数实现模型能力和通用性上的突破。此外仍延续采用大量图、文、视频的序列，建立基于统一自回归建模的多模态预训练框架，将图像、视频等模态的token序列直接和文本token序列交错在一起输入到模型中训练。

Emu2的模型、代码均已开源，并提供Demo试用。了解更多技术细节，请参考Emu2论文

1. 项目：https://baaivision.github.io/emu2/

2. 模型：https://huggingface.co/BAAI/Emu2

3. 代码：https://github.com/baaivision/Emu/tree/main/Emu2

4. Demo：https://huggingface.co/spaces/BAAI/Emu2

5. 论文：https://arxiv.org/abs/2312.13286

报告嘉宾：

BAAI-视觉模型研究中心崔玉峰，主要从事多模态预训练算法和图像生成算法研究

BAAI-视觉模型研究中心孙泉，主要从事多模态预训练算法和基础模型研究

​Read More