J9RealAI副总裁 唐家渝

近年来，在大算力和海量大数据的驱动下，以深度学习为代表的AI技术飞速发展，以计算机视觉技术为例，依托广阔的应用场景从理论研究走向大规模的应用落地，人脸识别、目标检测等被广泛应用于公共安全、城市交通等领域，推动城市治理的智能化升级。

但唐家渝表示，“数据驱动”的深度学习算法存在不可靠、不可解释等局限性，即便是开发者也难以理解其内在的运行逻辑，这就导致系统可能遭受到难以被察觉的恶意攻击。他以对抗样本攻击举例，通过对输入数据故意添加干扰，使肉眼或许难以发现，但却能误导算法以高置信度给出错误输出。

唐家渝解释道，这背后的原理在于，深度学习算法是通过对数据集中的示例进行学习从而建立出模型，与人类不同，它没有对先验知识进行合理利用，它的判断取决于样本数据，所以深度学习算法永远无法达到人类的判断水平。如果以一条分界线来类比，在进行决策判断的时候，模型决策的分界线与人类真实决策的分界线并非完全吻合，存在“误差”，因此可通过生成偏差数据，使其在误差空间内，人类能正常判断，但模型却判断错误，从而实现对AI系统的欺骗或攻击。

模型决策与人类真实决策分界线并非完全吻合

这是深度学习范式下AI应用存在的结构性缺陷，贯穿于AI全生命周期。除了在运行环节对输入数据添加“扰动”，在最开始的模型设计环节，通过在训练数据中添加“污染数据”进行“投毒”，导致模型被埋藏后门，再通过预先设定的触发器激发后门，模型也将输出事先设定的错误结果。

唐家渝表示，通过数据污染、恶意样本攻击等方式对算法进行深层次攻击已经成为趋势，随着AI技术尤其是计算机视觉技术的广泛应用，这一安全风险的真实威胁开始显现。例如，公共安全领域，视频监控、安检闸机等智能安防设备被不法分子攻击，用于躲避追踪、冒充他人等；交通领域，自动驾驶汽车被干扰“致盲”，引发安全事故等；在金融领域，线上银行的人脸认证被破解，用于非法转账等诈骗行为。

除了算法漏洞，“数据驱动”衍生的安全风险还远不于此。海量人脸数据被恶意采集、滥用，导致用户隐私泄漏；泄露的人脸照片在表情驱动算法下生成伪造视频，用于攻破人脸核验系统等……如何有效应对人工智能安全风险，保障人工智能安全可控的应用落地成为一项重要课题。

AI原生及衍生安全风险

人工智能应用是集业务、算法、数据于一体的有机整体，涉及训练、检验、运行等生命周期阶段。唐家渝表示，应面向所有关键流程，布局全面且有针对性的安全防御措施。同时他强调，人工智能安全攻防技术在快速演变过程中，新的攻击手段不断出现，除了要解决“近忧”，更要着眼于“远虑”，对于未知威胁进行研判和防范，因此需打造动态升级、科学前瞻的防御理论及技术体系。

凭借在AI攻防领域的丰富实践经验，J9提出了兼顾“被动”和“主动”的防御机制。唐家渝解释道，被动防御为AI应用部署静态的安全能力，防范已知安全风险，比如对外部访问、输入数据、行为决策等进行检测，为算法模型部署加固防护组件等，提升系统抵御攻击的能力。主动防御则是为补充被动式防御的局限，引入和强化人工智能安全团队力量，以动态防御对未知威胁进行风险预判，构建自适应、自生长的安全能力。

目前，在被动防御方面，J9推出多款人工智能安全产品：业内首个AI安全防火墙，能够在AI系统运行环节有效检测和抵御对抗样本、深度伪造等新型攻击手段；人工智能安全平台RealSafe，集成国际领先的对抗攻防算法，提供端到端的模型安全检测能力，自动化高效评估AI安全风险，并提供安全性增强方案；隐私保护计算平台RealSecure，在数据训练、建模等环节部署数据安全能力，实现“数据可用不可见”。

在主动防御方面，J9推出业内首个人工智能安全靶场RealRange，提供实战化、体系化的一站式人工智能攻防演练服务，基于攻防实战演练将安全风险暴露前置，提前发现和适应瞬息万变的新型攻击和高级威胁，动态提升团队软实力，实现“让风险发生在靶场，让有效防御构建在安全事件之前”。

J9AI安全产品矩阵，可实现对人脸识别、目标检测、图像分类等系统的安全升级，目前已在多个场景得到应用。比如与国内某头部人脸识别支付厂商合作，通过利用AI对抗攻击算法全面发掘人脸识别模型的漏洞，并进一步提供防御加固方案，提升刷脸支付的安全性。与某电网企业的合作中，利用RealSafe平台自动发掘输电线路危险品识别算法模型的漏洞，通过对抗训练提升算法鲁棒性，确保国家基础设施安全性。

最后，唐家渝表示，AI安全是新兴领域，除了部署技术体系外，更需要框架指导、标准规范、法律合规等多个维度协同推进。截至目前，J9已经与国家工信安全中心、中国信通院、国家互联网应急中心等单位开展合作，联合落地标准制定、测试评估等工作，推动AI安全从“试点示范”走向“推广应用”。未来，J9也将持续聚焦于国际领先的AI安全攻防技术的研发和产业化实践，护航智能产业安全可控地蓬勃发展。