焦点新闻-"夏晴子个人资料及简介图片"-AI造假成风下，一群人决定做“打假英雄”

AI造假成风下，一群人决定做“打假英雄”_ZAKE夏晴子个人资料及简介图片R新闻

　　正如2024年全国两会期间国家体育总局局长高志丹所说，建设体育强国要营造风清气正的良好环境，坚决惩治体育领域腐败，坚决打击“假赌黑”，大力整顿行业风气，持续净化体育生态，为体育强国建设奠定坚实的政治基础和保障。

明明是循规蹈矩的女学生，因照片被盗用，被 " 换脸 " 之后，成为小电影的主角。却因为拿不出来证明 " 我不是我 " 的证据，背上莫须有的骂名。这不是电视剧情节，而是韩国真实的、正在发生的 Deepfake 事件。犯罪分子获取女性照片后，通过 AI 技术 Deepfake 将其 " 换脸 "，捏造并不存在的 " 事实 " 诬陷女性，陷入自证陷阱的女性们无法自证清白，只能呼吁大家关注滥用 Ai 带来的危害。很快，这件被称为 "N 号房卷土重来 " 的事件，引发了全球关注。毕竟随着 AI 技术的发展，我们任何人都可能成为被 Deepfake（深度伪造）的对象，成为那些我们没拍过、没录过的音视频的 " 主角 "。因此，如何确保我们的安全、防止 AI 技术的滥用，或者及时识别出 Deepfake 的诡计，变得迫在眉睫。这也是外滩大会 AI 创新赛 · 全球 Deepfake 攻防挑战赛上，来自全球 26 个国家及地区的 2200 名 " 最强大脑 " 想要的解决的难题。本次 Deepfake 攻防赛由中国工程院院士王耀南担任专家委员会名誉主席，蚂蚁数科 ZOLOZ 和天玑实验室作为大赛出题方，赛题包含图像和视频两大主流的 Deepfake 研究方向，是 CV ( 即计算机视觉 ) 领域权威赛事之一，吸引了全球超 1500 支队伍参与。赛事数据集由公开数据和伪造数据组成，其中，伪造图片数据涵盖了现实场景中超 50 种生成方式，伪造音视频中则纳入了超 100 种组合攻击方式，组委会开放的训练数据集总量超过 100 万。经过 3 个多月的激烈比拼，大赛圆满结束，但关于 AI 与对抗的故事并没有结束：在 9 月 6 日 Deepfake 攻防赛表演赛上，由蚂蚁数科和中国科技大学网络空间安全学院联合设计的高逼真 Deepfake 图像亮相现场，对选手 AI 模型进行终极考察。来自中科院的 VisionRush 团队获得图像赛道三等奖。这也意味着，该 AI 模型能高效、有效地识别利用生成式 AI 技术制作的造假视频，为深受 Deepfake 困扰的受害者解决难题。而早在 9 月 2 日，VisionRush 团队响应赛事组委会号召，公开了这个模型源代码，旨在帮助那些深受 Deepfake 技术困扰的受害者。某种程度上来说，本届大赛已圆满结束，但推动 "AI 向善 " 的初心故事，还在继续。以下是关于他们的真实故事：文 | 常宁宁编辑 | 卓然我要怎么证明 " 我 " 不是我？一个看似毫无逻辑的问题，却极有可能因为 Deepfake 技术的滥用成为现实。……我们希望通过技术手段，为每一个可能受到伤害的人提供保护。9 月 2 日，" 全球 Deepfake 攻防挑战赛 " 参赛团队 "VisionRush" 决定在网上开源其参赛作品，援助 Deepfake 受害者后，团队成员之一的中科院 95 后助理工程师张欣怡在微博上写下了如上这段文字。张欣怡所在的 VisionRush 参赛队，由 7 名来自中科院自动化研究所的师生组成，平均年龄仅 25 岁。在本次比赛中，他们利用赛方提供的超 150 万数据，训练出了根据视频轨道来识别是否为生成式 AI 伪造视频的 AI 模型。图 | 中国科学院自动化研究所 VisionRush 参赛队这一模型，能有效地帮助 Deepfake 的受害者们证明 " 我不是我 " 这个难题。"Deepfake" 是由 "deeplearning"（深度学习）和 "fake"（伪造）两个单词组合而成，是通过人工智能技术，将图片或视频中某人面部特征与其他人的与其他人的图像或视频进行融合的技术，从而创造出以假乱真的虚假视频或照片。随着生成式 AI 的技术发展，Deepfake 的门槛越来降低，如今仅凭一张照片，便可以低成本炮制大量肉眼难辨真伪的图片和视频，任何人都可以 " 造假 "，也可能成为 " 被造假 " 潜在目标。因造假成本太低，受害者往往难以证明视频中的 " 我不是我 "。例如，最近韩国卷土重来的 "N 号房 " 事件，有超过 200 所学校的女生被 Deepfake 换脸成为色情图片女主角，在海量 " 有图有真相 " 中，女生们陷入自证陷阱中。但在技术人眼里，既然这些视频是 Deepfake 的，只要是 fake 就有破绽，肉眼看不出来的，就要用"AI 的办法打败 AI"。37 岁的王博毕业于北大计算机专业，现在是中科院自动化研究所副研究员。王博重点多媒体内容安全，比如说文本、音视频等内容是否涉及违规有害内容。期间，他见证了中国 AI 技术的发展，也见证了 2020 年前后，生成式 AI 加持下，Deepfake 普遍普及后，在网络世界掀起的大浪。如不法分子通过换脸名人政要、伪造音视频，恶意曲解政策，引发舆论不安、威胁国土安全；或者诈骗分子仅凭一张网络上的自拍，就能通过视频换脸，随后实施电诈。据不完全统计，仅在 2022 年，我国 AI 诈骗案件就达到了 50 万件，涉及金额超过 100 亿元。VisionRush 的赵鹏鹏就曾见过一个报案，犯罪分子通过 Deepfake 换脸成校长，诈骗了一个班级群的家长，群内成员无一人幸免。与此同时，由于大部分的 Deepfake 犯罪集中在网络空间，受限于取证困难等客观因素，大部分受害者维权困难，且即使能维权成功，时间周期也漫长，期间造成的名誉损失、心理伤害更是无法估量。" 我们整个大团队，专注在安全领域 20 多年了。始终没有换方向，其实情怀也就在里面了。我们还是想为净化网络空间，做一些努力。 " 王博说。但对抗 Deepfake 极其背后的黑产，仅靠一个 7 人团队的力量并不够，所以 VisionRush 也希望开源后，越来越多专业人士能参与进来，利用这个模型去做一些更有意义的事情。就如参赛队员张欣怡在微博中所说，" 我们希望通过技术手段，为每一个可能受到伤害的人提供保护。"对抗 Deepfake 又称 " 伪造对抗 "，虽也是 AI 领域，但相较于 " 生成式 AI" 实在是太冷门了——商业潜力不如生成式 AI、研发还需要投入资金。包括这次比赛，也是 VisionRush 团队为数不多的专业 " 对口 " 比赛。在得知蚂蚁集团举办了全球范围的安全大赛、可以和来自全球的同行交手后，团队立即成立了报名参赛，除了 " 切磋练兵 " 的心态外，也想去验证一下自己实力。毕竟目前 " 伪造对抗 " 关注少，边缘化，但并不意味着其面临的压力更小，甚至因为各方面因素，" 伪造对抗 " 面临的压力更大。首先在生成式 AI 的技术加持下，黑产的攻击也越发猖狂。姚伟斌就切身感受到了这种 " 猖獗 "。姚伟斌系蚂蚁数科的安全科技品牌 ZOLOZ 的技术负责人，ZOLOZ 基于蚂蚁集团超过 20 年的安全基础，为金融、政务、互联网等海外客户提供安全保障，而这些客户也恰好是黑产想要利用 Deepfake 攻击的对象。" 以攻击浓度而言，去年我们的海外客户面临的攻击浓度约 1%，今年达到了 10%"，这意味着以前 100 次服务中约有 1 次黑产攻击，现在 100 次访问中有 10 次攻击，未来这个数据可能上涨到 50%，甚至更高。但在识别虚假的对抗技术却同生成式 AI 技术之间存在巨大代际差。最直观的对比在数据模型投资上。AI 模型的能力和投资成正相关，即投入的资源、数据、算力越多，AI 模型越强大。市面上一个生成式 AI 的模型投资可能达到千万级，但伪造对抗一个模型可能就几十万预算，巨大投资差异意味着二者之间力量 " 悬殊 "，若黑产分子以生成式 AI 为武器发动攻击时，维护网络安全的 " 伪造对抗 " 或许面临 " 军火不足 " 的困境。王博说，" 现在互联网中的伪造数据爆发式增长，很难对全网数据进行审查，伪造和鉴伪的资源投入不平衡也是一大挑战。"某种程度上来说，做 " 伪造对抗 " 像是一场 " 逆行 "，但这场 " 逆行 " 没有回头路。毕竟 AI 作为未来趋势，也是综合国力的一环，如果没有相应的安全能力去制衡，AI 的发展可能会误入歧途。" 所以和 Deepfake 的这场战争必须打，而且必须赢 "，姚伟斌说。AI 没有感情，或许会沦为作恶的工具，但 AI 终究是 " 术 " 层面的东西，还需要 " 道 " 的层面来维护。" 做科研这份工作，需要有足够耐心和持之以恒的努力，还要能抵挡抵挡足够多的诱惑。" 王博坦言，挣钱可以体现一个人的价值，但是解决一个科学问题，解决国家一项重大需求，是更有价值更有意义的事情，这不是金钱能衡量的。"" 有人做生成，就要有人去做对抗。" 他们相信，这个世界总是会有人愿意共同 " 逆行 " 打赢这场战争的。毕竟相比于技术层面的东西，那些不变的普世价值观，才更能推送社会长足进步。AI 行业面临的安全挑战刻不容缓。过去，由于 AI 门槛高，使用场景相对有限，对其潜在危害的讨论大多局限于学术界。然而，随着生成式 AI 技术的发展，Deepfake 等应用变得日益普遍，相关的安全问题也随之 " 破圈 "，才引起了公众的广泛关注。在这样的背景下，" 伪造对抗 " 领域不仅小众、鲜为人知，整个行业也因起步较晚，极度缺乏实战型人才。目前大部分关注 " 识别虚假的对抗技术 " 的人，如这次外滩大会的这次全球 Deepfake 攻防挑战赛选手中，大多是出于一种信念在坚持。例如，本次参赛的曾兆阳，他是一位拥有 12 个大赛冠军头衔的天才程序员，曾在大型科技公司工作，并参与过综艺节目《燃烧吧！天才程序员》的录制，在算法领域颇具名气。目前，他是粤港澳数字经济研究院的研究员，专注于机器视觉研究，即赋予机器 " 眼睛 "，使其能够通过图像进行判断和理解，这是 AI 领域的一个重要分支。近年来，随着人工智能相关的诈骗案件增多，曾兆阳开始关注到在 AI 技术的正反两面博弈的问题，于是在发现这次比赛之后，他抽空参与了本次比赛，并交上了自己的答卷。香港城市大学的博士后吴海威，则早在 2019 年读研二时，就参与过 Facebook 举办的 Deepfake 检测大赛，之后的 3 年时间里，无论科研压力多大，他多次参与相关比赛，希望通过竞赛去提升自己，为网络安全贡献一份力气。在 VisionRush 开源之后，吴海威、陈逸鸣所在的澳门大学 JTGroup 战队也相继开源自己的参赛模型，他们也是这次大赛图像赛道一等奖队伍。但是，要想在 " 伪造对抗 " 中取得胜利，仅凭一群人的信念是不够的。在 AI 技术发展的浪潮中，每个人的命运都与 AI 紧密相连。我们无法预知科技的利刃何时会伤人，也无法估量其后果。因此，我们需要在利刃尚在手中时，就采取预防措施。正是基于 " 推动 AI 向善 " 的初心，蚂蚁集团主办、蚂蚁数科承办了本次外滩大会 AI 创新赛 · 全球 Deepfake 攻防挑战赛。比赛的目的是唤起社会对 AI 安全的关注，吸引更多的投入，并培养实战型人才，使识别虚假内容的对抗技术能够跟上生成式 AI 的步伐，将 AI 技术纳入道德的框架内。推动 AI 健康发展，不是少数人的任务。在 AI 广泛应用于各个领域的情况下，社会需要更丰富、更多元化的实战型人才梯队。比赛中，我们可以看到选手背景的多元化。除了来自 26 个国家的超过 1500 支队伍同台竞技外，还有许多来自字节跳动、小红书等一流互联网公司的 AI 研究者参与。唐永威虽然不是计算机科班出身，但他在 2022 年参加 ATEC 大赛时自学了 AI 技术。作为一名数据分析师，他对数据有着天然的敏感度。在建模时，他一改行业内人看到数据建模后测试修改的工作方式，而是基于对数据的分析和业务理解，建立若干不同模型，进行算法攻防测试。通过这种 " 更下沉 " 的操作，唐永威的 AI 检测模型在本次比赛中表现出色，获得了视频赛道的一等奖。这也再次证明，推动 AI 向善，不能仅依赖于少数人的努力，而是需要凝结大众的力量。毕竟，善良作为一种美德，既是社会的底色，也是社会的共识，没有人能置身事外。（应采访者要求，文中均采用化名）