“AI泔水”正批量复制“感动”！国安部：有人利用AI批量生成数字泔水(2)

　　一篇发表于Nature杂志的研究证明，如果模型持续使用机器生成的数据训练，生成内容污染训练集后可能产生模型坍缩（model collapse），导致原始数据分布的尾部信息逐渐丢失。

　　乐观者认为，人类最终会像治理垃圾邮件一样逐渐学会过滤AI泔水。从事AI新闻产品工作的StoryFlow的创始人卡斯威尔（David Caswell）认为，低质量信息早在生成式 AI 出现以前就大量存在。当平台发现这些内容影响用户体验后，就会逐渐建立过滤机制，就像垃圾邮件一样。未来互联网也可能存在海量AI垃圾，但绝大部分用户根本不会看。

　　如何鉴别？

　　路透社研究所认为，尽管AI泔水并不直接等同于精心设计的虚假信息（disinformation），但人们仍然可能在上网时被迫承担"验证成本"。

　　本质上，识别"AI泔水"的方法与识别其他AI生成内容的方法并无不同。"澎湃明查"曾经在"工具箱系列"文章中详细列举过部分鉴别AI生成内容的方法。这些方法包括但不限于对内容进行溯源，观察图像是否符合解剖学和物理学规律，了解内容的上下文，考察其是否符合地理与社会背景等等。

　　以文章开头"大象救男子"的视频为例。通过溯源不难发现，这段视频早在8月1日便已出现在菲律宾社交媒体上，而尼泊尔泥石流发生在8月26日，揭示了视频相关说法存在时间线错乱。

　　视频中，男子撑在岩石上的手似乎与石头融为一体。当他试图爬上象背时，画质突然下降，面部也始终模糊不清，甚至一度近乎消失。此外，大象身上的皮肤纹理并不连贯，褶皱只零散地出现在部分区域。这些都是低质量AI视频中常见的视觉破绽。

　　左：大象身上的皮肤纹理不连贯；右：视频画质突然下降。这些都是AI生成视频的常见特征。

　　除了上述线索，Meta开发的AI检测工具meta.ai也通过数字签名揭示了网传视频是由AI生成的。

　　2024年，Meta以新任指导委员会成员的身份加入了内容溯源与真实性联盟（C2PA）。该联盟的成员还包括Google、OpenAI、Adobe等近百家科技公司。

　　这一联盟的核心在于提出了一套开放技术标准，可以让一张图片、视频、音频或文档从创建开始，就携带一份可以被密码学验证的"履历"（Content Credentials）。这份履历可以记录内容由什么设备或软件创建、是否经过 AI 生成或编辑、后来被什么工具修改过。这些信息共同组成C2PA清单，并由创建者或工具用私钥进行数字签名。验证者则可以通过对应公钥内容进行验证，查看其来源声明、签名内容、有没有被篡改，以及它是否仍然对应当前文件。

　　通常情况下，"内容履历"会以元数据形式嵌入文件。但元数据非常容易在截图、转码、压缩过程中被去除。于是C2PA想到了其他与内容进行绑定的方法，其中之一是在内容本身嵌入不可见数字水印。水印就像藏在内容中的防伪标记，在被裁剪、压缩、添加滤镜等常见处理之后仍可能被检测出来。谷歌的SynthID采用的就是这一技术。

　　尽管如此，水印并不是万能的，在内容经历了强修改、重编码、裁切或重生成时，水印也可能被削弱或破坏。为了应对这些问题，C2PA的成员正在开发更严格的内容溯源技术，加强对篡改行为的防护。

　　除了依靠模型公司给自己生产的内容打标签，现阶段，市面上还有多款由第三方公司开发的AI生成内容检测工具，如Hive Moderation，它们也能为核查数字泔水内容提供线索。

　　Hive Moderation鉴别图像由AI生成（图片源自法新社事实核查栏目）。

　　以图像检测为例。大多数图像检测工具采用空域分析结合频域分析（frequency domain analysis）的技术路径。其核心思路是：真实图像与AI生成图像在频谱结构上存在差异。通过提取这些频谱特征，并训练一个二分类模型，就可以对图像进行真假判断。

　　但频域分析本身存在一个天然缺陷，即跨模型泛化能力较弱。例如，一款基于GAN-1模型训练的检测工具，在面对由Diffusion模型或升级后的GAN-2模型生成的图像时，识别准确率可能会显著下降。而现实情况是，用于生成AI图像的模型正在不断进化，新产品、新算法层出不穷。这意味着，面对海量、不断变化的AI生成图像，没有任何检测工具能够保证100%的准确率。