今天起，汉字也能AI视频生成了！《滕王阁序》直接拿捏到位了

十三
2025-01-09
12:32:13

来源：量子位

金磊 发自 凹非寺

量子位 | 公众号 QbitAI

“汉字”这个难关，今天终于被AI视频生成给拿下了！

话不多说，我们直接先来看效果：

视频地址：https://mp.weixin.qq.com/s/fIV5xYvwq_OjtLzGj6ql-g?token=1827059726&lang=zh_CN

这个“福”字，就这样被AI水灵灵地一笔一划滴了出来。

再如下面这个例子，我们的Prompt是：

有汉字“量子位”，古风。

但这样还是略显单调，我们上一下难度：

赛博朋克风格城市夜景，镜头视角是车辆在马路上行驶，对面大楼楼体有巨大的LED广告牌，上面写着“量子位”三个字。

好的，我们也算是打了一波赛博广告了。

那么让字数再多一点，AI是否能hold住呢？

我们直接来挑战一下：

水彩透叠插画风格，三只不同颜色的可爱小猫咪手举着一条超大的鱼，从右边走到左边。它们分别穿着粉色、蓝色和黄色的小背心，眼睛圆圆的，表情呆萌。充满童趣，笔触淡雅温馨，简笔画风格。纯白背景上逐渐显示出来几个字体，写着：“摸鱼一天 快乐无边”。

可以看到，这段视频中虽然有一个小瑕疵（“摸”字多了一笔），但整体是把Prompt中的内容给还原了出来。

当然，复杂的汉字都能搞定，这个AI自然也可以生成英文单词，并且还是带“花活儿”的那种（下面还有中文版）：

那么，这到底是何许AI是也？

不卖关子，它就是阿里通义万相刚刚升级的2个新版本视频生成模型：

• 通义万相2.1极速版：能够让AI高效、快速地生成视频；
• 通义万相2.1专业版：更注重AI视频生成的质量。

在整体体验过后，我们能够明显感受到模型整体性能有了大幅的提升。

尤其是在处理复杂运动、还原真实物理规律、提升影视质感以及优化指令遵循方面。

据了解，新版通义万相已经以84.70%的成绩登上权威评测集VBench榜首的位置，一路超越Gen3、Pika、CausVid等国内外视频生成模型。

不过有一说一，能生成汉字，也还只是通义万相能力升级的一隅。

接下来，我们就继续来看下它在视频生成中的更多能力。

《滕王阁序》都能理解

值得一提的是，这个新升级的模型并不是PPT哦，是已经上线了的那种~

现在人人都可以在线免费体验了，入口和模型选择如下图所示：

如果你是开发者或者企业，还可以在阿里云百炼上调用API，打造自己的专属应用。

鉴于此前大部分AI视频生成，在处理复杂人物动作时，往往会出现转个身就鬼畜的现象。

我们就直接来上个难度，超复杂动作——Breaking。

请听Prompt：

在室内，镜头平拍一个外国男子跳霹雳舞的全景，男子身穿灰色的上衣和绿色的裤子，镜头随着男子的动作而移动，男子在舞台上进行一系列的翻滚和旋转动作，背景中可以看到观众席上的观众和一些模糊的舞台灯光，但焦点始终保持在舞者的动作上。

可以看到，这段AI视频生成一改以往的鬼畜，在如此多且复杂的动作情况下，人物效果依旧是稳稳的。

再来看下跳水运动：

细节如脚背，也是拿捏的很到位了。

除了在连续复杂动作发挥稳定效果之外，还原真实物理规律，也是评判AI视频生成效果的关键指标之一。

我们不妨让《滕王阁序》来考验一番：

落霞与孤鹜齐飞，秋水共长天一色。

不难看出，通义万相新版本是非常好地理解了这句诗的意境。

而在面对像切肉这样的动作时，还原物理规律的体现会更加明显：

切肉时肉块的自然分离、刀面上的镜像、肉底部的油……细节如斯，细节如斯。

在真实性的基础之上，若想用AI来打造质量更高的视频效果，那么运镜就是不可或缺的技巧之一。

这一点，通义万相也是可以完全hold住。

例如狐大仙蹦迪，我们可以来个给氛围狠狠加分的运镜：

像电影场景里跑车在山谷里疾驰的画面，跟着汽车的轨迹加复杂运镜也是可以有的：

除此之外，通义万相还有个特点就是可以拿捏各种风格的类型，颇有种影视级的感觉。

例如中世纪真人写实风：

再如卡通动画：

而且生成的视频尺寸也是选择的哦：

那么接下来的一个问题就是：

怎么做到的？

整体来看，这次通义万相在技术方面采取了三步走的创新路线。

首先，是VAE与DiT架构协同发力。

视频VAE可以看做一位“压缩大师”，擅长将视频中的海量信息进行高效压缩，提取出最为关键的特征。

它通过将视频拆分为若干块（Chunk），并缓存中间特征，取代了传统长视频的端到端编解码方式。

这一设计的关键在于，使显存的使用仅与Chunk大小相关，而与原始视频长度无关，从而实现了对无限长1080P视频的高效编解码。

这种机制为任意时长视频的训练提供了可行性。实验表明，在较小模型参数下，通义万相VAE实现了业内领先的视频压缩与重构质量。

而DiT则像是一位“时空捕手”，能够敏锐地捕捉视频中的时空动态，精准地建模视频中不同元素在时间和空间上的变化关系。

通义万相团队采取了以下优化措施：

• 时空全注意力机制：增强模型对复杂动态场景的建模能力。
• 参数共享机制：提升模型性能的同时，降低训练成本。
• 文本嵌入优化：提升文本控制能力，并显著降低计算需求。

△通义万相2.1视频生成架构图

其次，是超长序列训练上的突破。

在面对超长序列训练这一极具挑战性的任务时，通义万相团队巧妙地运用了4D并行策略，犹如为模型训练打造了一台超强动力的“引擎”。

这一策略将DP（数据并行）、FSDP（ Fully Sharded Data Parallel，全量分片数据并行）、RingAttention（环形注意力机制）、Ulysses（一种优化技术）等多种先进技术有机融合。

例如在显存优化方面，团队根据序列长度带来的计算和通信需求，采用分层显存优化策略，解决显存碎片问题，同时使用FlashAttention3提升时空注意力的计算效率。

此外，通过去冗余计算和高效Kernel实现，进一步降低访存开销。

在文件系统优化方面，针对阿里云高性能文件系统的特性，团队采用分片Save/Load方式优化数据读写性能，并通过错峰内存使用方案，解决Dataloader Prefetch、CPU Offloading与Checkpoint存储引起的内存OOM问题。

在稳定性提升方面，依托阿里云的智能调度、慢机检测与自愈能力，模型训练能够实现自动故障检测与任务重启，大幅提升训练过程的稳定性。

△通义万相4D并行分布式训练策略

最后，是数据与评估双轮驱动。

通义万相团队打造了一套自动化数据构建管线，通过优化视觉质量和运动质量，筛选整合与人类偏好分布高度一致的数据集。这些数据具有多样性高、分布均衡等特点，极大提升了训练效率。

团队还为此设计了一套覆盖美学评分、运动分析、指令遵循等多个维度的评估体系，并训练了专业的打分器。通过这些自动化指标的反馈，显著加速了模型的迭代与优化。

以上便是炼成新版通义万相的核心技术要义了。

至此，不仅是从技术创新方面，更是从真真切切的体验角度来看，国产Sora再次走到了AI视频领域的前沿。

单就能够生成汉字这一点，便是全球独一份的那种。

而从视频生成范围之广，也是应了“通义万相”的名字——AI已经到了可以生成“万相”的时刻。

那么你是否也有脑洞大开的想法，并想让它们以视频的形式呈现出来呢？

快来体验一下最新、最Fashion的模型吧~

直接体验入口：
https://tongyi.aliyun.com/wanxiang/videoCreation

API调用：
https://bailian.console.aliyun.com/?spm=5176.29619931.J__Z58Z6CX7MY__Ll8p1ZOR.1.74cd59fckLhf3c#/model-market

参考链接：
https://huggingface.co/spaces/Vchitect/VBench_Leaderboard

Read More