AI深度伪造危害及应对

   在传统认知里，人们常常会相信“眼见为实”。但在现代人工智能和机器学习日益成熟和广泛应用的大环境下，这一传统认知却很容易被一种叫深度伪造（Deepfakes或Deep fakes）技术所颠覆。“深度伪造”是2017年首次出现的一个术语，用于描述使用人工智能技术生成的逼真照片、音频、视频和其他伪造品。深度伪造是“深度学习”（ "deep learning"）和“伪造”("fake")的组合。尽管目前全球并没有统一的“深度伪造”定义，但“深度伪造”最常被描述为使用机器学习（machine learning 缩写ML）技术创建的伪造品，机器学习是人工智能的一个子领域，尤其是生成对抗性网络（Generative Adversarial Networks 缩写GANs）。

“深度伪造”依赖于一种称为自动编码器的神经网络。它们由编码器和解码器组成，编码器将图像缩小到较低维的潜在空间，解码器从潜在表示重建图像。“深度伪造”通过具有通用编码器来利用这种架构，该编码器将人编码到潜在空间。潜在表征包含关于他们的面部特征和身体姿势的关键特征。然后可以使用专门针对目标训练的模型对其进行解码。这意味着目标的详细信息将叠加在原始视频的潜在面部和身体特征上，在潜在空间中表示。该架构的一个流行升级将生成对抗性网络连接到解码器。“生成对抗性网络”以对抗关系训练生成器，在这种情况下是解码器和鉴别器。生成器根据源材料的潜在表示创建新的图像，而鉴别器试图确定图像是否生成。这会导致生成器创建非常模拟现实的图像，因为任何缺陷都会被鉴别器捕捉到。这两种算法在零和博弈中不断改进。这使得“深度伪造”很难对抗，因为它们正在不断进化；任何时候确定缺陷，都可以对其进行纠正。

具体而言，在生成对抗性网络过程中，两个称为神经网络的机器学习系统在相互竞争的情况下进行训练。第一个网络或生成器（the first network, or the generator,）的任务是创建复制所积累的原始数据集的伪造数据（replicate the properties of the original data set），如照片、录音或视频足迹。第二个网络或鉴别器（the second network, or the discriminator）的任务是识别伪造的数据。根据每次迭代的结果，生成器网络进行调整，以创建越来越逼真的数据。网络经常持续竞争数千或数百万次迭代，直到生成器提高其性能，使得鉴别器无法再区分真实数据和伪造数据。尽管媒体操纵并不是一个新现象，但使用人工智能生成深度伪造品引起了人们的担忧，因为结果越来越逼真，创建速度很快，而且使用免费软件制作成本很低，并且能够通过云计算租用处理能力。因此，即使是不熟练的操作员也可以下载必要的软件工具，并使用公开的数据创建越来越令人信服的伪造内容。

从历史追溯的角度看，照片处理是在19世纪发展起来的，很快就应用到了电影中。20世纪，技术稳步进步，随着数字视频的出现，技术进步更快。“deepfakes”技术从20世纪90年代开始由学术机构的研究人员开发，后来由网络社区的业余爱好者开发。最近，工业界已经采用了这些方法。

从开发和应用的角度看，“deepfakes”开发和应用的领域非常广泛，且发展迅速。在业余开发方面，“deepfakes”一词起源于2017年底左右，来自一位名为“deepfakes”的Reddit用户。他和Reddit社区r/deepfakes中的其他人分享了他们创建的deepfakes；许多视频涉及名人的脸在色情视频中被换到女演员的身体上，而非色情内容包括许多演员尼古拉斯·凯奇的脸被换到各种电影中的视频。其他在线社区仍然存在，包括不分享色情内容的Reddit社区，如r/SFWdeepfakes（“安全工作的deepfakes”的缩写），社区成员在其中分享描绘名人、政客和其他非色情场景的deepfokes。其他网络社区继续在未禁止深度伪造色情内容的平台上分享色情内容。在商业开发方面，2018年1月，一款名为FakeApp的专有桌面应用程序发布。该应用程序允许用户轻松创建和共享人脸交换的视频。截至2019年，FakeApp已被开源替代品取代，如Faceswap、基于命令行的DeepFaceLab和基于网络的应用程序，如DeepfakesWeb.com。大公司开始使用deepfakes。企业培训视频可以使用deepfakesd头像及其声音创建，例如Synthesia，它将deepfakes技术与头像一起创建个性化视频。移动应用巨头陌陌创建了应用程序Zao，用户可以用一张图片将自己的脸叠加在电视和电影片段上。截至2019年，日本人工智能公司DataGrid制造了一种全身深度伪造，可以从头开始创造一个人。他们打算将这些用于时尚和服装。到了2020年，出现了音频深度伪造，以及能够检测深度伪造并在5秒收听时间后克隆人声的人工智能软件。移动深度伪造应用Impression于2020年3月推出。这是第一个用手机制作名人深度伪造视频的应用程序。Deepfakes技术不仅可以用来伪造他人的信息和行为，还可以用来复活已故的个人。2020年10月29日，金·卡戴珊发布了她已故父亲罗伯特·卡戴珊的视频；罗伯特·卡戴珊视频中的人脸是用深度伪造技术制作的。这个全息图是由Kaleida公司创建的，他们在全息图创建中结合了性能、运动跟踪、SFX、VFX和Deepfakes技术。2020年，帕克兰枪击案的受害者华金·奥利弗利用深度伪造技术复活。奥利弗的父母代表他们的非营利组织“改变裁判”与麦肯健康组织合作，制作了这段宣传枪支安全投票活动的深度伪造视频。在这条深度伪造的信息中，华金鼓励观众投票。2022年，猫王在《美国达人秀17》中使用深度伪造技术复活。被谋杀的流行文化和历史人物，例如披头士乐队成员、1980年被谋杀的约翰·列侬，都有深度伪造的复活。

就“deepfakes”类别分类而言，以美国为例，“deepfakes”大致有三类：一是换脸，在美国以色情网站、成人电影等为主要应用者；二是对嘴型，即表情迁移，多应用于恶搞官员、影视明星为主的视频；三是动作迁移，将一个人的肢体动作移植到另一个人的身上，也可形象比喻为“主人与木偶”的关系。“比如将来抖音上的网红可能是假的，他所说的话，做的事全是被‘深度伪造’技术所操控。”

虽然生成对抗性网络（GANs）开创了一个机器学习的新时代，在医学成像、预测人脸衰老和创造视觉艺术方面有着富有成效的应用，但它们也成为了巨魔和其他人的武器库中的一种武器，他们希望将错误的证据缝入网络话语的结构中。对于任何被指控有不当行为的人来说，操纵工具可以被专家称为骗子的红利。就像政客们把关于他们的不利文章称为“假新闻”一样，能够反驳照片和视频，说它们是深度伪造的。在极端情况下，被操纵的媒体可能会带来生死攸关的影响。随着人工智能工具变得越来越复杂，包括“deepfakes”在内的被操纵媒体变得越来越难以检测，尤其是在网络上出现大量媒体的情况下。根据世界经济论坛（World Economic Forum）2021年的一份报告，深度假冒视频的数量每年估计增加了900%，并且已经到了本迪克森（Bendiksen）这样的人能够通过观看油管（YouTube）视频自学制作视频的地步。

正如任何技术创新均有“双刃剑”的负面作用那样，“deepfakes”自然也可以用来生成讹诈材料，从而诬陷受害者。美国国会研究服务局的一份报告警告称“deepfakes”可能被用来勒索民选官员或那些能够获得机密信息的人，用于间谍或影响力目的。或者，由于无法可靠地将赝品与真品区分开来，实际勒索的受害者现在可以声称真正的文物是赝品，从而给予他们合理的否认。其效果是使现有勒索材料失去可信度，从而抹杀了对勒索者的忠诚，破坏了勒索者的控制。这种现象可以被称为“勒索通货膨胀”，因为它使真正的勒索“贬值”，使其变得毫无价值。可以利用商品GPU硬件和小软件程序为任何数量的主体生成大量的勒索内容，以高度可扩展的方式无限增加虚假勒索内容的供应。与此同时，音频“deepfakes”已被用作社会工程骗局的一部分，欺骗人们，让他们认为自己收到了来自可信个人的指令。2019年，一家英国能源公司的首席执行官被一名个人通过电话诈骗，他被要求将22万欧元转入匈牙利的一个银行账户，该个人使用音频深度伪造技术冒充该公司母公司首席执行官的声音。前谷歌高管Shuman Ghosemajumder称“deepfakes”是一个“社会关注”的领域，并表示它们将不可避免地发展到可以自动生成的程度，个人可以使用该技术制作数百万个深度伪造视频“deepfakes”拥有极大地破坏单个实体的能力。这是因为“deepfakes”通常针对一个人，或他们与其他人的关系，希望创造一种足以影响公众舆论或信仰的叙事。这可以通过“deepfakes”语音网络钓鱼来实现，该网络钓鱼操纵音频来创建虚假的电话或对话。深度伪造使用的另一种方法是捏造的私人言论，操纵媒体传达个人发表的破坏性言论。

鉴于“deepfakes”上述负面应用带来的巨大社会危害性，全球主要经济体均高度关注和重视“deepfakes”的发展和演变情况，并采取相应的措施加以管控。

2019年11月，我国宣布，从2020年开始，“深度伪造”和其他合成伪造的视频应该有关于其伪造性的明确通知。中国网信办在其网站上表示，不遵守规定可能被视为犯罪。政府保留起诉不遵守规则的用户和网络视频平台的权利。2021年3月18日，国家互联网信息办公室、公安部针对未履行安全评估程序的语音社交软件和涉“深度伪造”技术的应用，指导部分地方网信部门、公安机关依法约谈11家企业 。

在美国，政策制定者也在试图减少有害的“deepfakes”的影响。美国国土安全部对“deepfakes”技术进行了公共威胁评估和其他形式的研究。国会还推出了一项法案，将成立一个国家“deepfakes”和数字原产地特别工作组，以监测“deepfakes”。2018年，美国参议院通过了《恶意深度伪造禁止法案》。几个州也出台了有关“deepfakes”的立法，包括弗吉尼亚州、得克萨斯州、加利福尼亚州和纽约州。2019年10月3日，加利福尼亚州州长加文·纽瑟姆签署了第602号和第730号议会法案，使之成为法律。第602号议会法案为未经其同意而制作的色情深度伪造内容所针对的个人提供了针对内容创作者的诉讼理由。第730号议会法案禁止在候选人当选后60天内传播针对其竞选公职的恶意深度伪造音频或视频媒体。《2021财年国防授权法》（National Defense Authorization Act）第589F条指示国防部长对深度伪造对服役人员及其家人构成的威胁进行情报评估，包括评估该技术的成熟度以及如何使用该技术进行信息作战。除在立法和司法领域采取上述举措外，美国政府还投入大量资源试图用“用人工智能对抗人工智能”。美国政府根据《识别生成对抗性网络的输出法案》（The Identifying Outputs of Generative Adversarial Networks Act）指示美国国家科学基金会和美国国家标准与技术研究院支持对“生成对抗性网络”的研究。具体而言，美国国家科学基金会旨在支持对操纵或合成内容和信息真实性的研究，美国国家标准与技术研究院旨在支持开发必要的测量和标准的研究，以开发工具来检查“生成对抗性网络”或其他合成或操纵内容的技术的功能和输出。此外，美国国防高级研究计划局（Defense Advanced Research Projects Agency缩写DARPA）有两个专门用于检测深度伪造的项目：媒体取证（MediFor）和语义取证（SemaFor）。为了开发跨媒体模式和大规模使用的分析算法，媒体取证计划是要专门创建一些工具，当这些工具结合使用时，可以帮助识别、阻止和理解伪造的多模式媒体。媒体取证专注于三种特定类型的算法：语义检测、归因和表征。语义取证计划旨在开发技术，使伪造媒体资产的自动检测、归因和表征成为现实。SemaFor的目标是开发一套语义分析算法，极大地增加了伪造媒体创作者的负担，使他们极难创建出引人注目的未被发现的操纵内容。语义检测算法将确定多模式媒体资产是否被生成或操纵，而归因算法将推断媒体是否来源于所谓的组织或个人。确定媒体是如何创建的，由谁来帮助确定创建媒体的更广泛动机或理由，以及造假者可以掌握的技能。最后，特征化算法将推断多模式媒体是否是出于恶意目的生成或操纵的。MediFor于2021财年结束，旨在开发算法，自动评估照片和视频的完整性，并向分析师提供伪造内容是如何生成的信息。据报道，该项目探索了识别深度伪造中存在的视听不一致的技术，包括像素不一致（数字完整性）、与物理定律不一致（物理完整性）和与其他信息源不一致（语义完整性）。MediFor技术有望过渡到作战指挥部和情报界。SemaFor寻求建立在MediFor技术的基础上，并开发算法，自动检测、鉴定和表征（即识别为良性或恶意）各种类型的深度伪造。该程序旨在对语义不一致进行分类，或不寻常的面部特征或背景，并对疑似深度伪造进行优先排序，以供人类审查。国防高级研究计划局要求在2024财年为SemaFor拨款1,800万美元，2023财年拨款400万美元。SemaFor和MediFor开发的技术旨在提高对对手信息作战的防御能力。

据公开传媒报道， DARPA由六个技术办公室的大约220名政府雇员组成，其中包括近100名项目经理，他们共同监督大约250个研发项目。2018年， DARPA资助了一个项目，在该项目中，个人将竞争创建人工智能生成的视频、音频和图像，以及检测这些deepfakes的自动化工具。2019年，DARPA为一个隶属于语义取证计划的项目举办了“提案人日”，在该项目中，研究人员被驱使防止人工智能操纵的媒体的病毒传播。DARPA和语义取证计划也在合作，通过训练计算机利用常识和逻辑推理来检测人工智能操纵的媒体。2020年，美国国防高级研究计划局创建了一个媒体取证（MediFor）计划，以检测和减轻深度伪造和人工智能生成的媒体造成的日益严重的危害，提供有关媒体是如何创建的信息，并解决和强调深度伪造的后果性作用及其对决策的影响。

在英国，“deepfakes”材料的生产商可能会因骚扰而被起诉，但也有人呼吁将“deepfakes”定为特定犯罪。在加拿大，通信安全机构发布了一份报告，称“deepfakes”可能被用来干预加拿大政治，特别是抹黑政客和影响选民。因此，如果加拿大公民成为“deepfakes”的目标，他们有多种方法来处理“deepfakes”。

除上述各国政府主导所采取的各项举措外，各主要社交媒体平台也采取相应措施应对“deepfakes”带来的负面影响。其中，为了防止虚假信息的传播，推特正在对包含被操纵媒体或“deepfakes”的推文发布通知，这些推文向观众发出媒体被操纵的信号。计划转发、点赞或参与推文的用户也会收到警告。该平台还对外声称：“推特还将努力为用户提供一个链接，该链接位于包含被操纵或合成媒体的推特旁边，链接到推特时刻或相关主题的可信新闻文章，作为揭穿真相的行动。推特还可以删除任何包含deepfakes或被操纵的媒体的推文，这些推文可能会对用户的安全造成伤害。为了更好地提高推特对deepfakes和被操纵媒体的检测能力，推特已要求有兴趣与他们合作开发deepfakes检测解决方案的用户填写表格……”。与此同时，为了开发最先进的深度伪造检测软件，脸书一直在努力鼓励深度伪造的创建。脸书是2019年12月举办的Deepfakes检测挑战赛（DFDC）的主要合作伙伴，共有2,114名参与者参与，生成了35,000多个模型。分析了检测精度最高的性能最佳的模型的相似性和差异性；这些发现是进一步研究的兴趣领域，以改进和完善深度伪造检测模型。脸书还详细表示，该平台将删除人工智能生成的用于改变个人言论的媒体。然而，经过编辑以改变信息中单词的顺序或上下文的媒体将保留在网站上，但会被标记为虚假，因为它不是由人工智能生成的。

不难想象，道高一尺魔高一丈，基于算法的检测工具可能会导致猫捉老鼠的游戏，在这种游戏中，深度伪造生成器会迅速更新，以解决检测工具发现的缺陷。出于这个原因，社交媒体平台除了部署深度造假检测工具外，还可能需要扩展标记或认证内容的手段。这可能包括要求用户识别内容产生的时间和位置，或者将编辑后的内容标记为原始内容。不过，仅靠技术工具应对“deepfakes”带来是不够的，相反，重点应该放在教育公众上，技术管理上，最大地限制深度造假。

延伸阅读其他相关文章，可继续访问本公众号：

1.2023年4月17日《AI，你慢些走》

2.2023年2月27日《生成型人工智能在欧美引发的法律争议》

3.2022年12月18日《网络安全面面观》

4.2020年2月22日《国际银行怎样看声誉风险管理》

5.2020年2月17日《金融机构防控网络攻击有章法》

6.2020年2月12日《重新审视金融机构社交媒体风险》

7.2022年2月13日《关注系统性风险监管与应对》