首席科学家俞能海教授团队获全球最大规模DeepFake检测挑战赛亚军,奖金30万美元

发布时间:2020年6月15日    来源:高维数据

       6月13日,全球最大规模Deepfake检测挑战赛结果出炉,由公司首席科学家俞能海教授、总工程师张卫明教授指导的\WM/战队以0.0005分之差惜败,最终获得亚军殊荣(奖金30万美元),这也是国内战队取得的最佳战绩。大赛由Facebook牵头,Microsoft、Amazon和MIT等知名企业与高校联合举办的Kaggle Deepfake Detection Challenge(DFDC)人脸深度伪造检测挑战赛,凭借着主办方强大的行业影响力与权威性,以及Deepfake的热度,吸引了全球2265支队伍参加比赛。      本届“Deepfake 检测挑战赛”总奖金高达100万美元。Facebook首席技术官迈克·施罗普夫(MikeSchroepfer)表示,他对挑战赛的结果感到高兴,他说:“老实说,这场比赛的成功程度超出了我的预期。”      凭借着主办方和组委会强大的行业影响力与权威性,比赛得到从事相关研究的高等院校及企业的广泛关注,吸引了全球2265支队伍约2114名参赛者提交了超过3.5万个Deepfake检测算法参加比赛。    “Deepfake”换脸案例(示例来源:DFDC竞赛数据)所有参赛队伍需要从大约10万个短片的数据集中识别假视频。据悉,Facebook 雇佣了 3500余名跨种族、年龄、肤色的演员,花费约1000万美元录制了大约 10 万个视频,其中一部分经过了 AI脸贴及深度伪造,用作比赛检测数据。比赛期间,主办方还组织了麻省理工学院、慕尼黑技术大学、加州大学伯克利分校、康奈尔大学、马里兰大学、牛津大学等专家参与大赛的意见收集与反馈。

为了保证此次比赛的公平性,主办方采用了黑盒数据集进行最终结果评定,并发布了目前规模最大的伪造人脸视频数据集DFDC。该数据集包含超过11万个伪造人脸视频,涵盖了以Deepfake、face2face等方法为基础的多种面部伪造和表情操纵算法,参赛队伍以此数据集为基础,训练检测模型。主办方另外提供了两个线上的非公开数据集:public test(包含4千个视频)和private test(包含1万个视频),分别用于算法的性能验证与最后的成绩评定。   “Deepfake”示例来源:摘自网络,侵删。各参赛队伍最终根据检测模型在private test数据上的检测准确性进行排名,不同于一般的比赛,当参赛队伍提交自己的模型时并不能知道最终的结果如何。最终结果显示,这个全球最大规模Deepfake检测挑战赛结果出炉,视频识别算法识别准确率最高可达 82.56%,黑盒测试准确率最高为 65.18%。


    团队关注AI安全公司首席科学家俞能海教授、总工程师张卫明教授团队长期从事多媒体安全与AI安全的相关研究,近年来在对抗样本、深度学习模型保护、深度伪造与检测等方向取得了一系列重要成果,在相关领域的顶会CVPR、AAAI、ICCV等发表了多篇高水平论文。公司近年来也持续关注AI造假、AI愚化相关的人工智能安全需求并持续研发投入,目前已经拥有AI愚化®、鹰隼检测®、脸捕®等多个人工智能安全注册商标。                                                                           俞能海教授(左一)、张卫明教授(右二)


近年来,除获得本次Deepfake大赛殊荣外,团队先后在谷歌大脑、IJCAI-Alibaba等全球人工智能算法大赛上获得优异成绩。其中2019年IJCAI-Alibaba人工智能算法对抗赛上,在全球2500多支队伍中脱颖而出,最终获得防御赛冠军非定向攻击亚军。 RNG战队分别获得防御类冠军 + 非定向攻击类亚军,获2520支参赛队的最好成绩 。            

 Deepfake由来Deepfake“换脸”是近年来新兴的一类技术,通过深度学习算法,实现人脸视频的模拟与伪造。与传统的基于计算机图形学的高门槛换脸技术不同,Deepfake得益于AI技术的飞速发展,大大降低了换脸手段的技术门槛,这类技术目前已被广泛用于娱乐应用中,并开发了如ZAO、Impressions等换脸app。但这类技术的盛行也带来了极大的潜在风险,尤其是在政治、金融、公共安全等领域,一旦出现恶意伪造,如身份伪造、舆情煽动等,都将对国家和社会带来巨大危害,因此开发有效的检测伪造人脸的技术对于全球相关行业而言都迫在眉睫。2017年,美国社交新闻网站 Reddit 一位名为 Deepfakes 的用户利用 AI 把《神奇女侠》女主角 Cal Gadot 的脸嫁接到一个成人电影女主身上,伪造了一段色情视频 po 上网络。由于换脸视频极易涉及色情和政治内容,造成隐私保护和社会风险,在社会上引起了恶劣反响。最终,Reddit 官方将 Deepfakes 封号,Deepfakes 未来报复,随即将换脸视频的 AI 代码免费公开。2019年换脸 app ZAO 上线,让AI换脸在国内快速刷爆网络,不需要P图、不用会代码编程,更不用专业设备,仅需要一个视频+一张照片,APP就能通过AI技术快速生成换脸视频,生成的造假视频效果逼真,人眼难以分辨真伪。