千万人围观「烧焦婴儿」图片！伯克利教授辟谣：AI图片检测器无用

  新智元报道  

编辑：桃子 润

【新智元导读】AI无法打败AI，不是没有道理。近来，上千万人围观的婴儿死亡照片，AI检测工具竟无法给出一致答案。

AI图片检测器又被冲了！

最近，外网爆出大量中东地区冲突的照片，向世人展示了生命在这种极端条件下是何等的脆弱和无助。

其中，一张「烧焦婴儿」的照片，由于太过于残忍，让人难以置信。

于是，有人把照片放到了AI图片检测器中，来检测这些照片是否为AI生成。

果然，这张照片被AI检测器——Optic，认定为「AI生成」。

而在4chan上，甚至还出现了「原图」，原本尸体的位置其实是一只狗狗。

于是网友愤怒地去发布者推文下方留言，攻击他利用AI生成的照片来散播虚假的末日恐慌。

这条认为照片是由AI生成的推文，2天不到的时间已经有2100万的阅读。

但是很快网友们发现，他们把照片放到了同样的AI检测器上，检测结果几乎是随机的，既有AI，也有人类。

有人发现，只要把同一张图片裁剪一下，或者背景色变成黑白，这个检测器就会认为图片是由人类拍摄的。

甚至有时候检测器「抛硬币」的时候，硬币还会立起来…

那到底这张图是不是由AI生成的呢？

最后，AI检测器官方也针对这个事件发推，认为他们的没有办法确定图片是否由AI生成，希望大家理性讨论。

AI图片检测器，到底有多不靠谱？

UC Berkeley教授、世界顶尖的数字图像处理专家之一Hany Farid表示，这张图像没有任何迹象表明它是由AI生成的。

「AI图像生成器最大的问题之一是高度结构化的形状和直线，」Farid说。「如果你看到桌腿和螺丝，一切看起来都很完美，那么图片就几乎不可能是由AI生成的。」

比如这张著名的「海绵宝宝制造了9/1」的图片，窗外的双子塔线条都不直，飞机上的仪表盘都相互扭曲到一起了，这看起来就是「A里A气的」。

「我们在那张照片中能够看到物体的结构很准确、阴影也很准确、没有伪影——这让我相信这张照片应该完全是真实的」法里德说。

Farid还通过他自己的其他AI图像检测器识别了这幅图，另外四种AI图像检测工具也都认为图像不是AI生成的。

Farid说，「AI检测器是一个工具，但它只是工具包的一部分。用户需要对整个图像进行进行一系列的测试，不可能只按一个按钮就得到答案。」

而AI检测工具Optic确实也没有给出自己的检测技术的具体细节。

Optic网站也声明，「AI检测器可能会产生不准确的结果」。

AI图像检测技术

Farid教授在去年曾经撰写过一篇论文，介绍了如何判断AI生图工具图像的一致性。

通过判断图像上的一致性，可以帮助判断出图像是否由AI生成。

论文链接：https://arxiv.org/abs/2206.14617?ref=404media.co

教授首先概述三种相关的基于物理的分析方式，每种分析都利用了图像形成过程固有的相同的基础透视几何原理。

消失点

1. 平行后退线汇聚于一个消失点。

瓷砖之间的线图1(a)是平行的。成像时，这些线全部汇聚在一个消失点。如果场景中的平行线在深度上远离镜头，那么就会存在消失点，尽管它可能落在图像之外。如果场景中的平行线在深度上不后退，也就是说，如果它们完全平行于镜头传感器（在任何距离），则平行线将被成像为平行线，出于实际目的，可以考虑消失点处于无穷远。这种几何学源于透视投影的基础知识。在透视投影下，场景中的点 (X, Y, Z) 被成像到点 (f X/Z, f Y /Z)，其中f是镜头焦距。由于图像中点的位置与距离Z成反比，因此投影点会作为距离的函数进行压缩，从而导致图像中的线会聚；2. 平行平面上的平行线会聚到同一个消失点远处的盒子在图 1(b) 与地板上的瓷砖对齐，使得盒子的边缘与瓷砖之间的线平行。因为平行平面上的平行线共享一个消失点，所以盒子侧面和瓷砖地板的消失点是相同的；3. 平面上所有直线的消失点都位于消失线上。许多组平行线，每组平行线会聚到不同的消失点，如图1(c) 所示。如果平行线组跨越场景中的同一平面，则它们的消失点将位于消失线上。消失线的方向由镜头相对于平行线所跨越的平面的旋转来确定

阴影

有点令人惊讶的是，消失点背后的相同几何形状也适用于投射阴影。上图显示的是连接盒子上的点及其在投射阴影上的对应点的三条光线。扩展图像边界后发现，这三条光线相交于一个点，该点对应的是照亮场景的光源的投影。无论光源在附近（台灯）还是在远处（太阳），这种与阴影、物体和光相关的几何约束都成立，并且无论阴影投射到的表面的位置和方向如何，该几何约束都成立。当然，该分析假设场景由单个主光源照明，从每个对象仅存在单个投射阴影可以明显看出这一点。在上面的示例中，照亮场景的光源位于镜头前面，因此光源的投影位于图像平面的上半部分。然而，如果光线位于镜头后面，则光源的投影将位于图像平面的下半部分。由于这种反转，对象约束的阴影也必须反转。因此，图像的投射阴影分析必须考虑三种可能性：(1) 光线位于镜头前面，光源的投影位于图像平面的上半部分，约束锚定在投射阴影上并包围对象；(2) 光线在镜头后面，光源的投影在图像平面的下半部分，约束锚定在物体上并包围投射的阴影；(3) 光线位于镜头中心的正上方或正下方，光源的投影位于无穷远，约束将在无穷远相交。如果这些情况中的任何一种导致所有约束的共同交集，则投射阴影在物理上是合理的。

反射

下图2所示的场景是三个盒子反射在平面镜中。这个图的下半部分显示了真实盒子和虚拟盒子之间的几何关系。橙色线代表镜子，位于两组盒子之间的中点。黄线连接真实和虚拟盒子上的对应点。这些线彼此平行并垂直于镜子。现在考虑一下这些平行线叠加在场景上时如何出现。从镜子平面观察时平行的线不再平行。相反，由于透视投影，这些平行线会聚到一个点，就像世界中的平行线会聚到一个消失点一样。由于连接场景中对应点及其反射的线始终是平行的，因此这些线必须在图像中具有共同的交点才能在物理上合理。

实例分析

上图3显示了AI合成图像的三个代表性示例，并对地板和柜台顶部的几何透视一致性进行了分析。每张图像（在几个像素内）准确地捕捉了瓷砖地板的透视几何形状，作为一致的消失点（以蓝色呈现）的证据。然而，平行台面（以青色呈现）的消失点在几何上与台面的消失点不一致。相应的对齐图块。即使台面与瓷砖不平行，青色消失点也应位于由瓷砖地板消失点定义的消失线（以红色呈现）上。请注意，对于图 3 右上角的图像，瓷砖地板上的水平线几乎是平行的，因此相应的消失点位于无穷远，因此不会相交。虽然这些图像中消失点局部事一致的，但并不是全局一致的。在 25 张合成的厨房图像中，每张都发现了相同的模式。上图是用提示词生成的方块图片，在阴影处就明显地出现了不一致性。上图8所示是将几何分析应用于由AI生成的包含了看上去相当准确的反射的图像结果。尽管这些反射在视觉上是合理的，但在几何上并不一致。与前几节中的投射阴影和几何结构不同，DALL·E-2 很难合成合理的反射，大概是因为此类反射在其训练图像数据集中不太常见。基于这些对于AI生成图片局限性的了解，通过对于图片一致性的检测，能非常有助于判断图片是否由AI合成。

图像识别难，AI打败AI

AI图像生成器，正不断进化。上半年，Midjourney爆火，能够生成足够逼真的图片，却愚弄了很多人。86岁教皇头顶白色小瓜帽、一身喇叭口的白色羽绒服，金属制的十字架项链外露，外加一本正经的表情。当时，这张照片一经发布，在社交媒体上骗过了所有人，被许多网友疯狂转发，甚至有人直呼教皇太潮了。在大家都信以为真时，突然有人点出这是AI生成的，许多人瞬间傻眼了。这仅是其中的一个栗子，还有马斯克新女友GM的首席执行官Barra等各种虚假流传的图片，已经达完全到以假乱真的程度。这一事件，直接引发了马斯克、苹果联合创始人Stephen Wozniak等科技领导人呼吁暂停AI的研发。虽然AI生成有趣、便利，但它给整个行业带来了风险。一不小，就会被别有用心的人用其传播虚假信息、侵犯知识产权，或利用生成「果照」等等。接下来几个月，Midjourney将会发布最新的V6版本，目前V5版本已经在图片生成的真实度上做的非常完善。而其他AI图像生成器也在快速迭代。前段时间，OpenAI刚刚发布了DALL·E 3，与此同时微软必应图像生成也用上了DALL·E 3。当然了，研究人员也在努力构建可以辨别图像的工具，关键是如何追赶上AI图像生成器不断换代的步伐？

AI检测工具竞争赛

现在，已经有十几家公司提供工具来识别图片是否是由AI生成的，它们的名字包括Sensity AI（深度伪造检测）、Fictitious.AI（抄袭检测）、Originality.AI等等。人工智能信任与安全公司Optic推出了一个「AI or Not」的网站。在这个网站上，你可以上传照片或粘贴图片网址，网站会自动判断，照片是否是由AI生成的。上传的图片数量没有限制。另外，你也可以在Optic的推特账户@optic_xyz上发布或转发一张图片，或者加上#aiornot，便会得到一条回复，包括图片的置信度百分比。这家公司的首席执行官Andrey Doronichev表示，Optic的AI工具可以检查每张图像中人眼不可见的伪影，例如图像中亮度和颜色的变化。让人惊喜的是，该工具的准确率为95%。但是随着Midjourney等AI图像生成工具的升级迭代，「AI or Not」的准确率下降到了88.9%。比如，教皇这张图片，AI认为87%的概率是由人类做的。

教皇穿着白色羽绒服的形象在Optic更新前被愚弄其实有网友表示，仔细去看这张图，就会发现有人工智能生成的明显迹象，包括几个明显模糊的细节区域：

– 看似不完整的手正试图抓住一个不太像咖啡杯的东西，旁边还有污迹

– 教皇佩戴的十字架也不是直角形状，上面还刻着一个像是用黏土雕刻而且坐着的耶稣

– 眼镜与脸部的阴影不一致这几点都表明这是由人工智能生成的。它仅了解现实的表面，但不了解支配物理对象是如何相互作用的基本规则。除了Optic家的工具，为内容添加标签的人工智能公司Hive近来，也更新了自家的免费AI生成的内容检测器。这个AI工具在DALL-E、Stable Diffusion、Midjourney的数百万张图像上进行了训练。Hive预计，它能准确检测到大约95%的AI生成的图像，尤其在网上疯传的共享图像，往往比其他图像识别效果更好。CEO Kevin Guo称，当人们分享人工智能图像时，他们会选择最逼真的假图，所以人们很辨别什么是真的。左图是AI生成的图像，可以从两个手指和奇怪的击掌辨别，而在普通iStock照片中真实的样子如右图。与Optic一样，Hive在检测必应Image Creator的图像时，也失败了。不过，这些检测工具并非止步不前，随着AI图像整成模型的迭代，它们也会更新升级。其实，AI图像辨别不能仅仅依靠行业中的检测工具完成，更应该在模型训练时，设好护栏。许多人工智能图像生成器，也被限定了一些内容能否被生成的「黑名单」。比如，必应Image Creator会标记和阻止要求其创建知名公众人物图像的用户提示。Midjourney有「human moderators」，并正在推出一种用算法来调节用户请求的方法。还有DALL·E 3技术报告中介绍道，当你让ChatGPT生成一些「果图」、或者涉及黑白人等图片时，输入的prompt直接被改写。

给AI加水印，大厂在做了

此外，数字水印也是目前增强生成式AI安全的重要手段之一，微软、谷歌等科技巨头已经在产品中使用。微软曾在9月Surface大会上，介绍了DALL·E 3加持下的必应生成图像的能力。与此同时，为了确保图像不被滥用，微软团队使用加密方法为为每一张图像生成不可见的水印，包括创建时间和日期。任何人可以点开每张图片，轻易识别出是否是AI生成的。Meta还开源了Stable Signature，可将数字水印直接嵌入到AI自动生成的图片中。

论文地址：https://arxiv.org/pdf/2303.15435.pdf值得一提的是，Stable Signature生成的数字水印不受裁剪、压缩、改变颜色等破坏性操作影响，能追溯到图片的初始来源。它可应用于扩散、GAN等模型，比如Stable Diffusion。还有谷歌在Google Cloud Next上，也发布了为AI生成的图像打上水印并进行检测和识别的SynthID。SynthID使用两个深度学习模型，分别用于水印和识别。它们可以在一组不同的图像上一起训练。组合模型针对一系列目标进行了优化，包括正确识别带水印的内容，并通过直观地将水印与原始内容对齐来提高水印的隐蔽性。SynthID生成的数字水印是直接嵌入到图像的像素中的，人眼无法察觉。但SynthID可以检测并识别它们。

SynthID可以帮助评估图像由Imagen创建的可能性加州大学河滨分校电气和计算机工程教授Amit Roy-Chowdhury表示，仔细观察图像背景，我们可以用自己的眼睛更好检测假图像。不过，在AI模型加速迭代当下，想要有「火眼金睛」太难了。
参考资料：https://www.404media.co/ai-images-detectors-are-being-used-to-discredit-the-real-horrors-of-war/