【深度合成编译系列】欧盟应对深度伪造报告编译

在这份报告中，深度伪造被定义为“由人工智能技术（包括机器学习和深度学习技术）所支持的、看似真实、实则伪造了一个人说一些他并没有说过的话、做一些他并没有做过事的具体场景相关的合成类音视频媒体技术”。

近年来，三项技术的发展促成了视频的深度伪造技术的发展与突破。第一项技术是人脸识别技术。该技术由计算机视觉科学家研发，可以通过算法自动识别图像中面部器官的位置，从而达到识别不同人脸的目的。其次是互联网的迅猛发展，尤其是大型社交媒体的出现为深度伪造技术的训练提供了大量的音视频数据集。最后，自动鉴伪技术也在快速发展的图片伪造技术的刺激下得到了长足发展。

其中，两种人工智能方法常被应用于深度伪造程序：生成式对抗网络(GANs)和自编码器。生成式对抗网络是一种以机器学习为基础的算法，能够分析一系列图片并据此生成一组极为相似的新图片；自编码器则能够从图片中提取目标对象的面部特征信息并据此伪造该人有不同表情的图片。

声音克隆技术也被称为声音的深度伪造技术，该技术使计算机能够生成一段近似人类声音的声音。这种声音合成技术业已成为日常消费电子产品的一个基础功能之一，如谷歌的Home、苹果的Siri和亚马逊的Alexa与导航系统。

在此基础上，人工智能声音克隆软件则能够生成一段与目标对象声音高度相似的声音。人工智能技术的使用使合成声音的可信度和合成速度发展到一个新的高度。但是影响合成声音的可信度不是只有声音本身，声音片段的内容还必须与目标对象的语言风格和常用词汇相匹配。因此，声音克隆技术也与文本合成技术密切相关，该技术可用于自动生成类似于目标对象语言风格的语音文本。

文本合成技术可用于伪造一段高度符合某目标对象独特说话风格的说话文本。这项技术的使用依赖于计算机的自然语言处理技术(NLP)。NLP是计算机科学和语言学的一门交叉学科，主要被用来提升人和计算机之间的对话质量。不仅如此，这项技术还能在一定程度上解读出一段语音中的人类情感和其说话意图，因此也可被用于生成关于特定目标对象说话风格的模型，并在此基础上伪造关于该人的言论。

目前有两种不同的鉴别深度伪造的技术；人工鉴伪和自动鉴伪。人工鉴伪技术要求一位对此技术应用熟练的人审查相关视频材料并在其中寻找有伪造痕迹的不协调之处。这样的人工方式仅在审查数量较少的可疑视频较为有效，而无法应对现代社会中数量众多的音视频材料。

相比之下，自动鉴伪软件不仅效率高，而且能够从多方面鉴别相关材料的真实性，能够更好地保证鉴伪结果的可信度，包括：

→识别说话者

→声音同步性检测

→面部特征分析

→图象修改痕迹

→判断相关原创性指标的高低

但是具有多种鉴伪方法的自动鉴伪技术并非完全可靠。首先需要注意的是，鉴伪技术在面对多变的深度伪造技术时常常无法灵活应对。鉴伪算法通常由已知的深度伪造材料的数据集所确立的基准测试标准进行训练和检测，然而，研究表明，即使是对现有的深度伪造技术进行简单修改也会极大影响鉴伪结果的可靠性。

鉴伪算法面临的另一个问题是，在社交媒体或聊天软件上传播时，音视频材料常常会被压缩。由此而导致的像素降低和人工修改痕迹的减少可能会影响鉴伪准确性。

一些技术手段也能够一定程度上防止图像或音视频片段被用于深度伪造，如针对深度伪造算法的对抗性“反击”、加强音像材料的原创标志，以及帮助人们辨认深度伪造的技术援助。

伪造图片和操纵媒体绝不是什么新现象。从这个意义上说，深度伪造技术可以被看作是对一种早就出现的社会现象的新技术表达。现今社会，许多相关的社会进步有助于为深度伪造创造一个有利的发展环境：媒体格局在线上社交平台的影响下不断变化；可视通信的重要性日益增长；以及虚假信息的传播速度快速增长。深度伪造在传统媒体和新媒体中都有肥沃的发展土壤，因为这种新闻常常比较耸人听闻。此外，当前较为流行的视觉效果优先的社交媒体平台，如Instagram和色拉布（一照片分享平台）已经包含了美颜软件和视频编辑工具，进一步普及了对图像和视频的伪造与合成的操作。

深度伪造只是当今社会新闻和媒体急剧变化的其冰山一角，只是社会大环境下虚假信息电子化和新闻业急速变化的体现之一，除了深度伪造，还有伪新闻、利用“喷子”或社交机器人（即社交媒体中的机器人“水军”）操纵社交媒体舆论走向、甚至于恶意引起大众对科学事实的怀疑等等，都是其具体表现。

深度伪造使不同形式的误导性信息的生成与传播成为可能，包括：

第一，使“伪科学”以具有可信性的科学事实的形式出现。因为普通大众常常将科幻小说中的“科技”与“事实”代入现实社会中的真实情况，对于他们来说，两者的边界常常不甚清晰。

第二，因某种破坏性目的被创作或传播的假新闻与深度伪造材料共同出现，使人们对该新闻的“真实性”深信不疑。

第三，深度伪造可能和政治活动中的微目标定位技术相结合，这种有针对特定目标群体的深度伪造技术影响力尤为巨大。比如在选举中恶意散播伪造的关于某候选者的不利视频或图像，已诱引其支持者放弃对该候选人的投票支持。

可能虚假信息和深度伪造的兴起引发的最令人担忧的社会问题是人们对新闻和信息的信任度的日益下降、对事实和观点的混淆、甚至是对“真相”本身的极大质疑。最近有研究表明，仅是深度伪造这种技术的存在就会引发人们的不安和对各种信息的不信任。

深度伪造技术有多种用途，其影响可能是积极的，也可能是消极的。深度伪造的有益应用如下：声音产品的制作；改善人机交互的数字体验；视频会议；用于讽刺等言论自由的正常表达；个人或艺术的创造性表达；以及医学方面的应用（例如面部重建或为不能说话的残疾人生成自己的声音）。

深度伪造技术也可能在个人、社会组织和整个社会层面上有恶意的、欺骗性的、甚至是破坏性的影响。其风险可大致被分为三类：心理层面的、金融层面的和社会层面的。由于深度伪造首先针对的是每个个体，因此其首先对目标有直接的心理影响。其次，深度伪造信息可被用于诱发一系列金融风险。第三则是这项技术的总体社会后果，这一点也受到了人们的广泛关注。下表列出了对本研究所确定风险的概述。

在欧洲，与深度伪造相关的规制格局由复杂的宪法规范网络以及欧盟和各成员国的硬性和软性法规组成。在欧盟层面上，相关政策和监管框架有：

• The AI regulatory framework(人工智能监管框架)    

• General Data Protection Regulation(通用数据保护条例)

• Copyright regime(版权保护制度)

• e-Commerce Directive(欧盟电子商务指令)

• Digital services act(数字服务法案)

• Audio Visual Media Directive(视听媒体服务指令)

• Code of Practice on Disinformation(虚假信息行为准则)

• Action plan on disinformation(打击虚假信息行动计划)

• Democracy action plan(民主行动计划)

尽管目前的规章制度已经为降低深度伪造的潜在负面影响提供了一定程度的指引，但对于受害者来说，使用法律手段寻求救济仍然不易。在一个深度伪造的生命周期中，往往牵扯到多方人员：伪造者，平台方，技术提供者等等。伪造者通常是以匿名的方式采取行动的，这使得追责更加困难。从这个角度看，相关平台能够在帮助受害者追查伪造者方面发挥关键作用。此外，技术提供者也有责任维护其技术的积极和合法使用。因此，政策制定者若想减轻深度伪造的潜在负面影响时，应该考虑到深度伪造生命周期的不同环节。

该报告还讨论了深度伪造技术在美国、印度、中国的规制情况。

在美国，关于深度合成的立法首先在部分州通过，即加州和德克萨斯州。这些立法禁止人们在选举期间发布有关政治候选人的深度伪造新闻，但都招致了相当多的批评，以其对言论自由权的限制的批评为甚。

一些州的法律主要涉及针对色情相关的深度伪造，因此人们对它们的要求不如对政治相关深度伪造禁令那么高。例如，2019年7月在弗吉尼亚州通过的一项法案规定，将以胁迫、骚扰或恐吓他人为目的传播深度伪造内容的行为定为犯罪。

在联邦一级，美国针对深度伪造的立法行动相对缓慢，已经采取的措施包括系统化和制度化对深度伪造信息的收集行为，以便以后可以根据这些立法搜集信息、采取进一步的调查行动。其他措施还包括要求平台承担责任的条件——例如，修订后《通信规范法》(Communications Decency Act)的第230条的方法，该条款规定内容提供商可以免除责任，这一点类似于欧盟的电子商务指令(e-Commerce Directive)。

但这些措施在美国常有争议。首先，其与美国对言论自由的绝对理解相悖，人们认为相关立法过于限制人们的言论自由；其次，这些立法不打算给平台施加太大的监管负担。相较之下，欧盟更关心的是在这一领域的权益冲突之间取得平衡。

印度还没有针对深度伪造的专门立法。有的人认为应当敦促社交媒体平台对深度伪造采取更强硬的立场方面，并进行相应立法，对社交媒体平台施加一定义务。

在印度，关于深度伪造技术相关立法的争议在于，现有法律没有涉及以死者为目标对象进行深度伪造的行为。虽然与上述议题相关的纽约法律将对死者形象的保护归入形象公开权，但在印度，这种保护是在数据保护法中讨论的。因此有人认为应当补充数据保护法，以便死者的利害关系人能够继续保证死者的个人数据不受侵害，就像匈牙利和西班牙的国家数据保护法中的情况。

深度伪造技术的使用在中国已经十分普遍了。近年来，各种用于生成深度伪造的APP都获得了巨大的成功。与其他国家一样，中国政府正在努力遏制深度伪造所产生的潜在不利影响。为此，中国政府通过了《网络音视频信息服务管理规定》，已于2020年1月1日正式生效，网信办(CAC)负责执行以上新规。该法律规定，所有深度伪造的视频或音频内容、使用深度学习算法或VR技术创建的内容，都必须由平台方贴上相应的标签。该法律要求平台运营商独立识别、标记或删除未贴标签的内容。新法禁止制作和传播假新闻，假新闻在一经识别必须立即删除。

目前的立法也面临一些着挑战，尽管有已经针对深度合成的相关禁令，犯罪分子仍可通过一些手段发布非法的内容。为有效执行以下规则，该法中也有相关补充措施。规则包括：

• 用户必须根据《网络安全法》在平台上登记相关信息，如身份证号或手机号码。

• 平台应建立易于使用的投诉渠道。

• 音像服务部门应发布行业标准和指导方针，并建立信用体系。

• 政府部门必须进行定期审查，以确保平台根据服务协议管理在线音频和视频。

该报告提供了可能有效减轻深度伪造负面影响的各种规制建议。根据“深度伪造生命周期”的不同阶段，我们区分了政策措施的五个环节：

1. 技术环节

2. 创建环节

3. 传播环节

4. 目标对象环节

5. 受众环节

技术环节的政策方向主要针对深度伪造基础技术的政策方向——人工智能的机器学习技术以及参与研发和提供这项技术的相关方。对这类技术的监管在很大程度上归属于欧盟委员会提出的人工智能监管框架(The AI regulatory framework)。该框架采用了基于风险评估的方法来监管人工智能。欧盟委员会的提案中明确提到了深度伪造必须遵守一定的最低要求，尤其是在添加伪造标签方面。它们不被列入“高风险”类别，但是否属于“禁止”类别仍不确定。

因此，目前的人工智能监管框架仍有需要解释的空间。在深度伪造技术的广泛应用中，有不少应用明显可被归于“高风险”类别，因此该报告建议对人工智能监管框架进行澄清和补充。规制建议包括：澄清哪些人工智能实践应该在人工智能框架下被禁止；要求深度伪造技术提供者承担相关法定义务；以及将深度伪造技术划入“高风险”类别。

创造环节的政策方向主要针对深度伪造材料的创造者，或者用人工智能的相关术语来说：人工智能系统的“用户”。人工智能监管框架已经为深度伪造技术的使用确立了一些规则和限制，但这还远远不够。规制建议包括：明确伪造标签使用的准则；限制不使用深度伪造标签的将例外情形；以及绝对禁止深度伪造材料的创造者的某些请求。

这个环节还针对怀有恶意目的使用深度伪造技术的人。深度伪造技术的恶意用户往往隐藏匿名出现，不易被识别追查到，从而逃避责任。我们不能期望这些用户自愿遵守人工智能监管框架中引入的标签要求。因此，针对深度伪造技术的恶意用户采取的政策措施，可能包括：扩大目前有关刑事犯罪、外交活动和国际协议的法律框架，以避免外国及其情报机构使用深度伪造技术侵犯国家利益等等。

传播环节的政策方向主要针对深度伪造的传播问题、规制传播环节的参与方。网络平台、媒体和通信服务在深度伪造的传播中起着至关重要的作用，而深度伪造的传播在很大程度上决定了恶性深度伪造的规模和危害程度。因此，我们建议对平台和其他媒体机构施加法定责任与义务。解决这一问题的规制方法可归属于数字服务法(Digital Services Act)的范畴，包括：要求平台和其他媒体机构使用检测深度伪造的软件；强化对深度伪造检测系统、检测结果、伪造标签使用决策的透明度义务；以及限制相关深度伪造材料的传播热度等。

恶意的深度伪造对其所针对个人有极为不利的影响。该研究表明，原则上受害者的权利可以得到保护，但在实践中往往很难实现。因此，我们提供了几种提升对受害者保护效果的规制建议，包括：将对深度伪造受害者的支持制度化；增强数据保护部门对使用个人数据进行深度伪造作出反应的能力；并在欧盟内确立在深度伪造案件中适用人格权保护的统一方法。

受众环节中深度伪造的影响超越了个人层面，可以上升至特定群体甚至社会层面。其危害层级一定程度上取决于受众的面对深度伪造时的反应：他们是否会相信深度伪造的材料，并进一步传播，失去对当局的信任吗？因此，受众环节是决策者降低深度伪造的风险和影响的最后一个关键环节。这里的规制建议包括：标注有可靠来源的标签；提升群众的媒体素养、建立科技公民身份。

【指导教师】张欣，对外经济贸易大学数字经济与法律创新研究中心执行主任