金磊 发自 凹非寺

量子位 | 公众号 QbitAI

发布不到2天，那个号称“下一代”文生视频的Dream Machine（来自Luma AI），大大大大翻车。

原本宣传中的效果是这样的：

视频地址：https://mp.weixin.qq.com/s/tIfK4Ak2SNmE5nRtRBY44A

效果之惊艳，令人直呼“忘掉Sora”、“影视级水平”，并且Luma也是相当自信地表示“在线免费可玩”。

然而……当网友们纷纷前去尝鲜之后，得到的结果却是大跌眼镜。

例如给Dream Machine“投喂”一张OpenAI的一张合影：

结果它生成的视频是这样的：

视频地址：https://mp.weixin.qq.com/s/tIfK4Ak2SNmE5nRtRBY44A

是的，打起来了，而且人物的畸变也是相当离谱。

网友们也是忍俊不禁，调侃地说道：

我们终于知道去年OpenAI发生了什么。

再“投喂”一张奥特曼、老黄和Brockman的合影：

Dream Machine这次给出的结果是：

视频地址：https://mp.weixin.qq.com/s/tIfK4Ak2SNmE5nRtRBY44A

没错……又打起来了。

（Dream Machine好像很暴力的样子）

虽说Dream Machine生成视频的效果和剧情有些离谱，但爱整活儿的网友们却是坐不住了，直接开辟了一个新赛道。

让表情包“活”起来

或许Dream Machine这种“不走寻常路”的风格，跟表情包的气质很搭，现在网友们更乐于让AI“续写”表情包：

AI让memes栩栩如生。

Luma的Dream Machine可以当成Meme Machine了。

例如这张非常经典的表情包，在Dream Machine的加持下，后续的故事就谱写出来了：

然而还有更drama的版本——顺手牵羊：

男主角还从一名白人直接变成了三哥……

我们经常用到的“狗头”表情包，也在Dream Machine之下活了起来：

还有“淡定姐”和“励志哥”：

不难看出，Dream Machine被网友们吐槽翻车的最大问题，就是在于无法保证视频内容的连续性。

尤其是在生成人物方面，前后帧直接变人种、变性别的概率比较高。

因此，也有网友建议：

使用Luma最好的方法，就是先用Midjourney这样的工具生成关键图片，然后再用Luma对其处理。

然而，说到AI翻车，Luma的Dream Machine并不是个例。

SD3开源也秒翻车

前两天Stable Diffusion 3开源的消息也是让不少的网友们兴奋了一把。

但在亲自体验过后，很多人却直呼离了大谱。

例如生成一个躺在草地上的女孩，结果“打开方式”是这样的：

而且不是个例，只要是和人（整体）相关的内容，生成结果都有点掉san。

虽然在生成其它方面SD3的效果还是能让人满意，但它和Dream Machine一样，总是处理不好人类。

有人发现，如果细看“躺在草坪上的女孩”这张图像，会发现它在局部细节上确实还可以，甚至很棒。

草地上的影子、衣物上反射的光线、头发的质地……都遵循了物理规律。

但人物整体就不敢恭维了。

不少网友都认为，这就是问题的关键。

我认为他们的NSFW过滤器，把所有人类图像都判定为了NSFW。

这个过滤器全称是filtering out adult content，作用在于过滤掉不合规的成人内容。

SD2发布时就出现过类似的问题，研究人员发现审查这部分内容可能影响了模型对人体结构的理解。

后面的SD2.1和SDXL版本在这一问题上有所缓解。

这次SD3的翻车，暴露了一个问题：过于严格的数据审核，可能误删了一些无害的成人图像，所以现在模型没法理解人体结构。

总而言之，无论是Dream Machine还是SD3等，AIGC应用工具还需要不断加强和完善。

不过若是对整活表情包感兴趣的小伙伴，现在就可以去试试了：

https://lumalabs.ai/dream-machine

参考链接：
[1]https://x.com/lumalabsai/status/1800921380034379951?s=46&t=6eepxw1G6XRQ7VO0ANjJWg
[2]https://twitter.com/minchoi/status/1801338536597274999
[3]https://x.com/emollick/status/1801474104182390803

Read More