AI拟声以假乱真，该如何设置“防火墙”？

　　2023年世界互联网大会乌镇峰会期间，从“互联网之光”博览会到多场论坛讨论，AI大模型成为了与会嘉宾口中的高频词。与会人士认为，对人工智能来说，今年是具有里程碑意义的一年，生成式人工智能赋能千行百业，未来潜力已初见端倪。

　　2023年11月7日，游客在“互联网之光”博览会上与超写实数字人互动。图源：光明网

　　然而，人工智能的快速发展，也带来了一定的安全隐患。以ChatGPT为代表的生成式人工智能快速发展，语言生成、图像生成、声音生成等各类生成式人工智能程序层出不穷，其中，能够模仿人类声音的 “声音生成式AI”受到关注。

　　AI拟声发展到哪了？

　　以假乱真！

　　在ChatGPT、GPT-4引领的浪潮之下，AI使科技变革提速。

　　此前，一段美国歌手泰勒·斯威夫特“说”中文的短视频在网络刷屏，引发热议。视频中，泰勒·斯威夫特“说”着流利中文，音色和讲母语时的音色类似，甚至连口型都能对上。

　　图源：澎湃新闻

　　类似的视频还有很多外国人“说”地道中文、很多中国艺人“说”起流利的英文……不少网友感叹，“嘴型、手势都对得上，太自然了，差点儿以为是真的。”“不止嘴形，还有身体动作和语速的配合。”

　　其实，这些视频有一个共同点：都是由AI生成的。

　　在音乐行业，AI的应用已非常广泛。在中国引起关注的“AI孙燕姿”翻唱歌曲，主要由多位创作者通过名为“so-vits-svc”的开源项目自制。其创作者之一表示，该团队花费半年左右时间，采集了孙燕姿约100首歌曲作为训练数据，并通过上百组实验得到了当前的模型。

　　图源：pixabay

　　各国积极行动，应对AI拟声“灰色地带”

　　当AI语音克隆技术用于正当目的时，能帮助语音合成、语音翻译、语音恢复等。而值得关注的是，AI模拟声音如此逼真，若它用于非法目的，或将为伪造证据、欺诈勒索、电信诈骗等行为提供可能，引发一系列伦理及法律问题。

　　今年3月，《卫报》澳大利亚版的一位记者表示，使用人工智能做出自己的声音，能够进入其Centrelink自助服务账户。《卫报》调查后发现，Centrelink和澳大利亚税务局（ATO）使用的“声纹”安全系统或许可以“被欺骗”。

　　图源：量子位

　　安全机构McAfee针对AI诈骗进行了调查，结果显示，近四分之一的人遇到过某种形式的AI语音诈骗。

　　Voicemod公司首席执行官Jaime Bosch曾表示，在创作模板时，他会担心这项技术被滥用的风险，因为它极有可能被拿来欺诈，或模仿一些重要的政治人物。Voicemod还将推进一个“水印”解决方案，确保变声技术的发布是安全的。

　　图源：pixabay

　　对于音乐行业而言，AI克隆声音生成音乐的影响同样较大。

　　今年4月，网友“Ghostwriter977”使用说唱歌手Drake和R&B歌手TheWeeknd的声音对AI进行训练，模仿两人音乐风格生成了“合唱”歌曲《Heart on My Sleeve》。作为两位歌手签约的唱片公司，环球音乐集团（UMG）很快提出了版权主张，并要求从流媒体服务中撤下这首歌曲。

　　美国国家音乐出版商协会（NMPA）主席兼首席执行官大卫·伊斯雷特表示，应允许词曲作者和音乐出版商更好地保护他们的作品免受未经授权的使用，这在AI时代将受到前所未有的挑战。纽约的音乐版权律师马克·奥斯特罗也曾提到，AI生成的音乐是一个“灰色地带”。

　　如何对AI拟声

　　设置“防火墙”？

　　11月9日，2023年世界互联网大会乌镇峰会人工智能赋能产业发展论坛在浙江乌镇举行。与会专家认为，国际社会亟待加强对话合作，不断弥合数字鸿沟和治理能力的差距，共同推动人工智能健康发展，促进人工智能技术造福于人类。

　　面对人工智能带来的机遇与风险，各国也积极行动。中国发布的《生成式人工智能服务管理暂行办法》中的相关规定明确，提供者发现违法内容的，应当及时采取停止生成、停止传输、消除等处置措施，采取模型优化训练等措施进行整改。

　　美国通过平台审查、技术对抗、法律监督形成自下而上的治理路径，先后提出了多部与深度伪造有关的法案。

　　欧盟则将深度伪造视为对生物识别信息的滥用，运用《通用数据保护条例》加以规制，并发布《反虚假信息行为准则》，通过行业自律、提升人工智能安全素养、加强人工智能伦理治理等协调欧盟各成员国参与治理。

　　参考 | 新华社、光明日报、科技日报、参考消息、环球时报、澎湃新闻、界面新闻、财联社