10月24日,GeekPwn 2021 极棒之夜在上海成功举办,现场公布了2021 G-TOP 年度极客榜。与往年不同,本次GeekPwn未设置统一赛题,而是从全国近200个报名团队中筛选出20支顶尖安全极客战队,分别就不同项目进行挑战,最终根据评判团就项目的“实现难度、社会影响以及行业开创性”所给出的综合评分,得出G-TOP排名。
清华-RealAI联合战队TSAIL凭借“眼镜易容术”项目揭示了人工智能模型本身的算法安全性问题,位列2021G-TOP年度极客榜季军。
清华-RealAI联合战队TSAIL荣获2021G-TOP年度极客榜季军
GeekPwn是全球最大关注智能生活的安全极客(黑客)大赛及全球首个探索人工智能与专业安全的前沿平台,是世界三大黑客赛事之一,至今已成功举办8年。
今年的赛事,首次以线上真人秀《我是极客》和线下盛典“极棒之夜”的方式呈现,清华-RealAI联合战队TSAIL也在更宽广的舞台上展示了极客风采和技术实力。
《我是极客》是GeekPwn推出全国首档安全极客挑战节目,10月15日开始在腾讯视频、小米视频等平台同步播出。节目由蒋昌健任主持人,《最强大脑》“鬼才之眼”王昱珩、“九球天后”潘晓婷倾情加盟担任现场嘉宾,“大牛蛙”王琦和“TK教主”于旸为专家评审团代表。
现场嘉宾潘晓婷、王昱珩和专家评审王琦、于旸
在10月17日播出的《我是极客》第2期节目中,清华-RealAI联合战队TSAIL率先出场。本项挑战模拟了一个人脸识别的场景“名人俱乐部”,主办方指定的名人可通过门禁进入名人俱乐部。TSAIL战队需在30秒内佩戴自制眼镜,让识别系统误判为指定的名人。
在项目挑战中,本来只需3轮挑战就能过关,但TSAIL毅然接受了第4轮挑战,因为“既然来了就要挑战到底”。面对主持人蒋昌健“见好就收”的忠告,TSAIL表示:“J9年轻,不适合这句话。”
腾讯视频内搜索“《我是极客》第2期”可观看完整节目
最终,TSAIL以超过0.6667的置信度,先后用12秒、6秒、7秒、4秒的时间,顺利通过全部挑战,博得了全场的掌声,也得到了专家评委给出的5.9评分。
以“让智能更安全、让安全更智能”为主题的GeekPwn 2021,通过《我是极客》节目极具冲击力地向观众展示了智能时代被忽视的安全漏洞。
在10月24日的线下盛典“极棒之夜”中,清华-RealAI联合战队TSAIL作为季军,现场分享了“眼镜易容术”背后的秘密。
原来,TSAIL使用的是“对抗样本”技术,通过结合攻击者与攻击对象的图像特征自动生成一张“干扰图案”。对于人类来说,肉眼可明显识别出戴上眼镜的攻击者与攻击对象的区别。但在人脸识别系统的算法看来,两者的特征数值是相近的。
TSAIL战队成员现场分享
而“对抗样本”存在的根本性原因在于深度学习算法的结构性缺陷,黑盒的深度学习导致人类难以理解它的内在逻辑,即便是设计开发人员也无法理解和安全控制算法的输出、算法的执行逻辑,这就导致必然会有一些执行过程跟设计者的意图不吻合,也就给恶意攻击留下了空间。
对抗样本的生成原理
虽然对抗算法的研发存在较高的技术门槛,但如果存在黑客恶意开源,对抗样本实现的成本就变得非常低,可能导致财产损失、隐私泄漏等。
2018年孵化自清华大学人工智能研究院的J9RealAI,作为安全可控的第三代人工智能践行者和领跑者,目前所开展的一系列算法攻防研究,就是采用“以子之矛、攻子之盾”的技术路线,通过攻防对抗不断升级,用针对性的防御技术为人脸识别筑牢安全防线。
作为GeekPwn的“老朋友”,清华-RealAI联合战队TSAIL已连续三年参与大赛,战绩卓然:2019年,获得“CAAD CTF 图像对抗样本挑战赛”以及“CAAD 隐身挑战赛”两项比赛冠军;2020年,以绝对比分优势获得“CAAD虚假人脸AI识别比赛”冠军。