J9旗舰厅

沟通咨询
提交成功

RealAI解读丨深合管理规定正式实施 信息社会治理正迈入人工智能时代

2023.01.09
AI治理研究院  -   研究体系   -    立法研究  -  
深度合成
研究院观点
来源:J9

1月10日,由国家互联网信息办公室、工业和信息化部、公安部联合印发的《互联网信息服务深度合成管理规定》正式实施。这是我国首部专门针对人工智能特定技术制定的部门规章,旨在加强互联网信息服务深度合成的管理,具有示范效应,意义重大。J9AI治理研究院对《规定》进行了深度解读,供读者参考。


一、紧扣信息社会治理新特点,兼顾发展和安全双重需要


可以从三个视角理解《规定》的出台:


(一)深度合成技术滥用风险显现,立法规制及时、必要


近年来,深度合成技术被滥用现象逐步显现。以舆论影响为切口,其影响力逐步扩大到国家安全、社会安全、军事安全,以及公众名誉安全、财产安全等领域,引发各界关注。例如,深度伪造政治人物、军事将领音视频,引发政治风波、涣散军心民心;深度伪造专家学者音视频,造成公共卫生、金融财经等领域的社会恐慌;深度伪造个人不雅音视频实施敲诈勒索,或采用表情驱动方式破解活体验证盗取公众财物。


早在2019年,国家网信办就印发《网络信息内容生态治理规定》,提出相关主体“不得利用深度学习、虚拟现实等新技术新应用从事法律、行政法规禁止的活动”;并在与文旅部、广电总局联合印发的《网络音视频信息服务管理规定》中,针对音视频信息服务做出类似规定。两份法规提及的新技术、新应用,实际上就是指深度合成技术应用。随着该技术应用的影响力逐步扩大,此次专门制定法规予以规范,对维护国家安全和社会公共利益,保护公民、法人和其他组织合法权益都非常及时、必要。


(二)统筹发展和安全,兼顾产业发展与风险防范需要


作为最新发展的人工智能技术,深度合成具有广阔的正向应用空间。例如,大家现在喜闻乐见的文物“活化”,以及正在快速发展的虚拟数字人产业,都是深度合成技术的典型应用。此次《规定》,不仅考虑到了对深度合成滥用加以系统性规范,也考虑到了不能“一刀切”限制产业发展。强调“促进深度合成服务向上向善”,对于依托该技术的高商业价值或高社会效益应用产业,是非常重要的定调。


(三)以算法管理规定、深合管理规定为标志,信息社会治理迈入人工智能时代


人工智能技术进步推动了产业的蓬勃发展,也在推进信息社会治理模式与时俱进。与传统信息技术相比,人工智能技术呈现两个特点:一是难以人工评估、辨别。例如,开展算法安全评估,进行深伪内容鉴别,均无法仅凭人工完成,“眼见为实”成为过去。二是治理对象呈现不确定性。以数据驱动的第二代人工智能,其决策逻辑和链路天然具有不确定性,相比传统信息技术确定性的输入、输出,治理对象的不确定性使得治理难度陡增。2021年底,《互联网信息服务算法推荐管理规定》出台,开创性地形成了针对人工智能算法的治理模式。此次《规定》,可以理解为是算法规定中“生成合成类”算法治理的展开。上述两部法规的出台,标志着我国信息社会治理已迈入人工智能时代。


二、形成监管机制、技术治理两个闭环,管理举措科学务实


(一)监管机制闭环:压实服务提供者主体责任


《规定》对三种角色提出管理要求:深度合成服务提供者、技术支持者和服务使用者。其中,服务提供者承担主体责任。一是建章立制,要求建立健全服务前(如用户注册、科技伦理审查等)、服务中(如数据安全、个信保护等)、服务后(如应急处置、辟谣等)的全流程管理制度,并公开相关规则、公约。二是认证备案,要求做好使用者真实身份认证、违法和不良信息记录保存、依照算法管理规定开展算法备案。三是审查审核,要求开展科技伦理审查、输入数据和合成结果审核、信息发布审核等。四是辟谣举报,通过建立辟谣机制、提供举报入口,给深合技术滥用受害者提供救济通道。


(二)技术治理闭环:注重源头治理、过程管理、安全评估和用户感受


从技术视角看,《规定》一是注重源头治理,要求加强训练数据管理和个人信息保护。尤其是涉及人脸、人声等个人生物信息时,必须依法取得单独同意,这延续了上位法《个人信息保护法》的相关要求。二是注重过程管理,要求对算法机制机理进行审核,尤其要求开展定期审核、评估和验证,这符合人工智能技术持续演进、变化的客观规律。此外,还要求建立积累用于识别违法和不良信息的特征库。三是注重安全评估,凡涉及生物识别信息以及特殊物体、场景等非生物识别信息的,应当自行或委托专业机构开展安全评估。四是注重用户感受,强调因治理需要添加的标识应不影响用户使用。


三、细化机制规范、提升技术能力,共建共治推动深度合成应用向上向善


《规定》作为部门规章,一些治理条款具有原则性,属于定性要求。在具体落地过程中,需要进一步细化的机制规范,以及配套的技术保障能力。例如,针对文本生成、语音生成、视频生成、沉浸式拟真等深度合成应用场景,均要求进行显著标识,但需要标识位置合理、不影响用户使用。实践中,深度合成细分应用场景千差万别,如何做到既显著标识、又用户无感,需要做好深入调研,制定可行方案。又如,深度合成服务提供者和技术支持者应当自行或委托专业机构开展安全评估。深度合成是最新发展的前沿人工智能技术,目前,有能力开展安全评估的机构、企业为数不多。如何通过评估机制的构建和推动,发挥好这些专业机构、科技企业的作用,共建共治、向上向善,也是《规定》后续执行过程中需要重点考虑的事项。


撰稿人:张伟强 于慧敏