（一）人工智能安全挑战

人工智能“基础化”加速，基础设施面临安全挑战

2020 年 5 月，我国《政府工作报告》提出以 5G、人工智能等为代表的新型基础设施建设政策，此举按下了人工智能国家战略推进的快进键。随后，25 省市发布“新基建”政策方案，累计投资 30 余万亿人民币，加快推动人工智能算力、算法和数据基础设施建设。在新基建推动催化下，人工智能技术将加快转变为像水、电一样的基础设施，向社会全行业全领域赋能。

然而，人工智能基础设施却潜藏安全风险。以机器学习开源框架平台和预训练模型库为代表的算法基础设施因开发者蓄意破坏或代码实现不完善面临算法后门嵌入、代码安全漏洞等风险。2020 年 9 月，安全厂商 360 公开披露谷歌开源框架平台TensorFlow 存在 24 个安全漏洞。开源数据集以提供数据采集、清洗、标注等服务的人工智能基础数据设施面临训练数据不均衡、训练数据投毒、训练数据泄露等安全风险。2020 年，美国麻省理工学院的研究人员通过实验证实 CIFAR-100-LT、ImageNet-LT、SVHN-LT 等广泛应用的数据集存在严重不均衡问题。

人工智能”协同性“增强，设计研发安全风险突出

联邦学习、迁移学习等人工智能新技术的应用，促进跨机构间人工智能研发协作进一步增多。因遵循了不同目标和规范，使得人工智能设计研发阶段的安全风险更加复杂且难以检测发现。

一是人工智能算法自身存在技术脆弱性。当前，人工智能尚处于依托海量数据驱动知识学习的阶段，以深度神经网络为代表的人工智能算法仍存在弱鲁棒性、不可解释性、偏见歧视等尚未克服的技术局限。

二是人工智能新型安全攻击不断涌现。近年来，对抗样本攻击、算法后门攻击、模型窃取攻击、模型反馈误导、数据逆向还原、成员推理攻击等破坏人工智能算法和数据机密性、完整性、可用性的新型安全攻击快速涌现，人工智能安全性获得全球学术界和工业界广泛关注。三是算法设计实施有误产生非预期结果。人工智能算法的设计和实施有可能无法实现设计者的预设目标，导致产生偏离预期的不可控行为。

人工智能“内嵌化”加深，应用失控风险危害显著

产业智能转型升级的内在驱动，不断推动人工智能深度内嵌于各行业各环节中，真正实现物理世界变化实时映射数字世界，以及数字世界演进优化带动物理世界发展的双向融合。然而，人工智能各行业应用带来的数字和物理世界双向融合，将促使人工智能在数字世界中的安全风险向物理世界和人类社会蔓延。

威胁物理环境安全。

应用于农业、化工、核工业等领域的智能系统非正常运行或遭受攻击，可能破坏土壤、海洋、大气等环境安全。
威胁人身财产安全。

自动驾驶、无人机、医疗机器人、智慧金融等智能系统的非正常运行将可能直接危害人类身体健康和财产安全。
威胁国家社会安全。

不法分子恶意利用基于人工智能的换脸换声技术伪造政治领袖和公众人物的高逼真度新闻视频，可能引发民众骚乱甚至国内动乱，威胁国家安全。

（二）人工智能安全风险

初始阶段安全风险
初始阶段是指将想法转化为有形系统的过程。主要包括任务分析、需求定义、风险管理等过程。这个阶段的安全风险主要表现为对人工智能应用目标的设定有悖国家法律法规和社会伦理规范。
设计研发阶段安全风险
设计研发阶段是指完成可部署人工智能系统创建的过程。主要包括确定设计方法、定义系统框架、软件代码实现、风险管理等过程。这个阶段的安全风险主要表现为人工智能基础设施不完善、技术脆弱性以及设计研发有误等引发的安全风险。
检验验证阶段安全风险
检验验证阶段是指人工智能系统是否按照预期需求工作以及是否完全满足预定目标。这个阶段的安全风险主要表现为测试验证不充分，未及时发现和修复前序阶段的安全风险。
部署阶段安全风险
部署阶段是指在目标环境中安装和配置人工智能系统的过程。这个阶段的安全风险主要表现为系统部署的软硬件环境不可信，系统可能遭受非授权发访问和非授权使用。
运行监控阶段安全风险
运行监控阶段，人工智能系统处于运行和可使用状态，主要包括运行监控、维护升级等过程。这个阶段的安全风险主要表现为恶意攻击者对人工智能系统发起的对抗样本攻击、算法后门、模型窃取、模型反馈误导、数据逆向还原、成员推理、属性推理、代码漏洞利用等安全攻击，以及人工智能系统遭受滥用或恶意应用。
持续验证阶段安全风险
在持续验证阶段，对于开展持续学习的人工智能系统进行持续检验和验证。这个阶段的安全风险主要表现为测试验证数据更新不及时，未及时发现和修复因持续学习引入的模型反馈误导等安全风险。
重新评估阶段安全风险
当初是目标无法达到或者需要修改时，进入重新评估阶段。该阶段主要包括设计定义、需求定义、风险管理等过程。这个阶段主要设计需求调整和重新定义，因而其安全风险和初始阶段的安全风险类似，及人工智能应用目标的设定有悖国家法律法规和社会伦理规范。
废弃阶段安全风险
在废弃阶段，废弃销毁使用目的不复存在或者有更好解决办法替换的人工智能系统，主要包括数据、算法模型以及系统整体的废弃销毁过程。这个阶段的安全风险主要表现为销毁不彻底，泄漏个人隐私。