瑞莱智慧：AI时代，你以为的安全，未必是安全！安全新风险如何应对？

    【CPS中安网 cps.com.cn】 近年来，人工智能在安防等公共领域被广泛应用，而对抗样本、模型后门等专门针对人工智能系统的攻击方式，对个人、社会、国家会带来新型的安全风险。

那么，如何规避这些风险？有哪些有效的应对策略？瑞莱智慧凭借在人工智能安全领域国际领先的技术优势，及专家团队多年的深厚积累，提供多种应对产品和方案。

在第十八届CPSE安博会展会同期，由深圳市安全防范行业协会、CPSE安博会共同主办，CPS中安网承办，希捷科技冠名的第十六届中国安防论坛技术论坛在深圳会展中心举办。

瑞莱智慧RealAI副总裁唐家渝在现场带来了主题为《人工智能时代的安全新风险应对》精彩演讲，与大家一同探讨人工智能时代面临的新风险和应对方法。

▲瑞莱智慧RealAI副总裁唐家渝

1

AI时代的安全新风险

人工智能安全的话题最近常被提及，技术漏洞与风险性问题涉及到人工智能在应用过程中的方方面面，唐家渝介绍，“数据驱动”的AI存在多种衍生安全风险，瑞莱智慧致力于打造应对方案。

唐家渝在演讲一开始就举了个例子，比如上图中，左图是一张雪山的图片，通过在图片上添加一些肉眼难以察觉的“噪音”，计算机却以高置信度将其错误识别成“狗”的图片。

唐家渝介绍道，这是“对抗样本”技术，是当前以深度学习算法为代表的AI技术存在的结构性缺陷，直接影响到人工智能在实际应用中的安全性。

杀毒软件公司McAfee曾做了一个案例，他们攻击护照的人脸识别系统，左侧禁飞人员是不能乘飞机的，右边是正常的人员，融合这两张照片的特征生成第三张照片，通过提交第三张照片制作正常人员的护照，禁飞人员便可以拿着这本护照冒充正常人员顺利通过机场人脸识别通道的人脸验证，从而乘坐飞机。

同样的，其他使用人脸识别技术的系统也有同样的潜在漏洞出现。瑞莱智慧做了比较多的案例，2020年年底，瑞莱智慧跟国家工信安全中心测试了国内外多个的人脸识别系统，发现所有在线的人脸比对平台都有这样的安全隐患。

上面这个案例是在特朗普脸部加了一些噪声，人眼看起来没有任何问题，但Azure人脸识别开放平台就会把它识别为拜登的照片。

不仅是在数字世界，物理世界的人脸识别设备也有这样的风险。今年瑞莱智慧的一项研究引发了关注，通过一幅带有对抗样本图像的“眼镜”解锁多款设备的人脸识别系统，比如安防门禁、考勤系统和手机等。

不仅是人脸识别系统，安防领域常用的目标检测系统、视频结构化系统也有这样的问题。

左边是瑞莱智慧针对车辆识别系统的攻击演示，最左边的车辆上添加了一些无意义的噪声，识别系统仍然是可以正常识别的。中间的车辆上张贴了对抗样本图案，基于算法特定生成的，将干扰目标检测系统，使车辆在检测系统下“隐身”。

同样的，将这样的对抗样本图案印到衣服上，穿上后人可以检测系统下实现“隐身逃逸”，这一结构性漏洞是普遍存在的风险。

那么，这一漏洞是怎么发生的？背后是有规律的。唐家渝认为，深度学习算法是充分学习它所看到的数据，拟合出其中的特征，学习到如何做分类、如何识别一个人或是如何检测一个物体。

假设上图中是两类不同的数据，模型通过学习数据，会形成分界线，分界线左边是第一类，分界线右边是第二类，系统看到的数据有限，学习的方法是不太准确的，跟实际人类的分界线、真实的分界线是有偏差的。

算法漏洞的存在就是说，可以找到一个数据，无论是文本数据、语音数据，还是图像数据，做一些特定的修改后，修改后的数据将会落在偏差范围内，对模型来说是第二类，但人来判断仍然是第一类。

除了对抗样本的问题，还有错误学习数据特征的问题，举一个例子，假设我们识别一张花的图像时，所有花的图像左下角都有紫色的方块，机器学习可能把紫色的方块学习成花的重要类别特征。

下一次出现一张新的图像，左下角也有紫色方块，就会把它识别出错。这就是数据“投毒”的风险，人工智能的模型在训练环节被植入模型后门。

在自动驾驶路标的模型中，或是其他的视频结构化的模型中，都有这样的问题，通过有意污染数据来训练模型，使模型产生“后门”。

除了算法漏洞外，在大数据的驱动下要获得更好的深度学习算法需要用到更多的数据，这一过程可能涉及到数据的过量采集、滥用，导致隐私泄漏等。

比如315曝光的人脸识别数据被滥用问题，以及个人信息流入黑产被非法售卖等。这类数据安全风险也是当前人工智能应用面临的重要安全风险。

举例来看，比如上面左图中，通过拿到女生的照片，可以利用AI算法驱动它作出张嘴、眨眼的表情动作。右边是瑞莱智慧跟一家银行授信合作展示的，这样的表情驱动技术可以成功攻破他们APP的人脸识别身份核验，甚至可以进行后续的登录、转帐等操作，这是数据泄漏很直观的风险所在。

唐家渝认为，人工智能的安全风险还远不及此。从生命周期分析来看，从训练设计、检测检验、部署运行的不同阶段，每个环节都涉及安全问题，除了对抗样本攻击、数据投毒、隐私泄漏外，还包括模型窃取、成员推理攻击等问题，甚至于支撑系统运行的软硬件框架层面也存在漏洞等安全隐患。

人工智能的安全可控性问题，也正受到世界范围内的广泛关注，2016年清华大学张钹院士率先提出发展更加安全、可靠、可信和可扩展的第三代人工智能，2018年美国也发布AI Next计划，围绕提高AI系统的可靠性、安全性、可解释性等重点方向。今年欧盟人工智能法案也提到人工智能的合法、安全可依赖等问题。

国内也对人工智能安全越来越关注，今年11月政治局第一次把人工智能安全单独列出来，与网络安全、生物安全一起作为国家重点发力的安全防护领域。

无论是法律法规、政策标准、白皮书等都在强调人工智能的安全和人工智能的可控相关要求，包括人工智能领域的众多国际竞赛也在关注这一方向。

2

AI安全风险的应对

瑞莱智慧致力于打造安全可控的新一代人工智能，有效应对人工智能的新型安全风险。

安全可控的人工智能实践涉及多方目标，首先，系统本身是稳健可靠的，使用的数据或是系统产生的数据都是可控、可信的，决策逻辑具有可解释性，决策过程公平公正，一旦发生安全事件能够可追溯，以及人工智能的应用需要合法合规。

基于以上这些目标，当下瑞莱智慧主要布局三方面的工作：

01是让第三方AI系统更加安全。目前深度学习应用很广泛，但算法漏洞的存在导致安全威胁的边界不断扩散，瑞莱智慧针对当前的深度学习漏洞可提供安全性检测方案以及安全性提升的方案。

02是防止AI技术被滥用。针对被滥用的AI合成技术，瑞莱智慧研究相应的检测技术，有效遏制合成技术被滥用。针对数据泄漏等由于AI滥用导致的数据风险，瑞莱智慧推出隐私计算相关产品，保证隐私数据在流通和使用过程中的安全性。

03是提供更安全可靠的AI技术。瑞莱智慧积极布局第三代人工智能技术，在金融、工业等关键高价值场景中实现更安全、更可解释的AI应用，目前已在不同垂直领域落地特定的解决方案。

上图是瑞莱智慧针对公共安全领域提出的解决方案，底层开发了人工智能的安全框架，通过这个框架可以方便集成和调用各种各样的AI攻防算法。基于这个框架，瑞莱智慧布局了模型安全、数据安全、深度合成内容生成与检测等多方面的AI对抗技术能力，面向公共安全行业输出各类解决方案。

产品布局方面，瑞莱智慧推出了以下系列产品：

01企业级的人工智能安全平台RealSafe

这是业内首个业务级的人工智能安全平台，集成国际领先的对抗攻防算法，提供端到端的模型安全检测能力，可自动化高效评估AI系统安全风险，并提供安全性增强方案。

唐家渝介绍说，背后的逻辑是，通过搭载的攻击算法对系统进行模拟攻击，评估系统表现，综合给出安全性评分，指出安全漏洞在哪，用户再通过搭载的防御方案，针对性地进行加固提升，类似于人工智能时代的“杀毒软件”。

目前，这一平台支持对抗样本攻击、算法后门两类安全风险的检测，支持人脸识别、目标检测、图像分类等场景。值得一提的是，RealSafe的测评方式是完全黑盒的，即无需知道被测模型的内部结构、参数，充分保护了被测方的知识产权，并且支持数字世界与物理世界下的攻击测评。

02人脸AI安全防火墙

防火墙的概念早已有之，AI安全防火墙的产品逻辑与传统网络安全防护墙类似，在正常的业务系统中前置部署防火墙模块，检测和抵御针对系统的特定攻击行为，但网络安全防火墙保护的对象是网络系统，AI安全防火墙保护的是算法系统。

这是业内首个AI安全防火墙，可提供对抗样本攻击、深度伪造攻击等攻击方式的检测。该平台的部署中也非常简单，传统的人脸识别过程一般会有活体检测的模块，检测是否有照片、屏幕等非人体的攻击，与活体检测模块类似，AI安全防火墙可直接集成到当前的人脸识别系统中，用于检测有没有针对算法的新型攻击。

03隐私保护计算机平台RealSecure

是一款基于安全多方计算、联邦学习、可信执行环境等核心技术打造的数据安全共享基础设施，通过将计算移动到数据端，实现数据可用不可见，解决企业之间数据合作过程中的数据安全和隐私保护问题，同时，瑞莱智慧基于RealSecure提供“数据+平台+服务+场景”的一体化隐私计算解决方案，打通数据源方和业务方，为企业机构引入生态内的合规数据源、构建决策模型，提供端到端的解决方案。

04人工智能安全靶场RealRange

业内首个人工智能安全靶场RealRange，提供实战化、体系化的一站式人工智能攻防演练服务。类似于“演兵场”，实现主动防御，该平台基于攻防实战演练将人工智能安全风险暴露前置，提前发现和适应瞬息万变的新型攻击和高级威胁，动态提升团队软实力。

RealRange主要基于世界领先的白盒攻击、黑盒攻击的手段，同时基于清华大学和瑞莱智慧建立的AI对抗基准所推出，能够对AI攻防能力作出有效评价，同时为人脸识别、自动驾驶等多类场景提供攻防演练。

除了系列创新产品外，瑞莱智慧的AI安全能力也得到业界广泛认可，包括在多项AI安全竞赛囊括冠军，打造开源生态，建立对抗攻防评测平台和评测基准，与蚂蚁金服、华为、长安汽车、北京市公安局等多家机构开展合作，参与承担工信部、科技部、公安部等部委组织发起的国家级重点项目。

具体的应用案例方面，瑞莱智慧与某头部支付厂商合作开展对于人脸识别支付系统安全性升级的案例，通过利用AI对抗算法，全面挖掘现有的人脸识别算法中的安全性漏洞，同时提出解决漏洞的方案，提升刷脸支付场景的安全性。

与电网合作的案例中，电网企业已利用图像识别系统识别高压输电线周边是否存在危害品，如可触碰到高压线的吊车或会影响高压线安全的明火等，然而该系统同样存在算法漏洞，识别结果极易被误导，瑞莱智慧便通过人工智能安全平台，对该系统进行了自动化高效的算法漏洞检测，同时提供了防御加固。

AI安全是全新的领域，需要配合相关的标准制定，目前瑞莱智慧积极联合国家单位推动相关国家标准、行业标准以及国际标准的制定。

其中，瑞莱智慧作为核心起草单位参与起草了国内首个关于算法安全的国家标准《机器学习算法安全评估规范》，贡献了算法安全维度、算法评估方法等多项核心内容。

另外瑞莱智慧也牵头起草了《人脸识别应用防对抗样本攻击测试方法》，承担工信部揭榜挂帅测评工作，制定算法安全测试标准，推动人脸识别应用评优测评的相关工作。

瑞莱智慧是孵化自清华大学人工智能研究院的官方产学研机构，致力于打造安全、可靠、可控的新一代人工智能平台，除了打造隐私计算、AI攻防、深伪检测等AI基础设施平台外，瑞莱智慧推动相关解决方案在金融、工业、政府等领域的落地。

未来，瑞莱智慧将持续聚焦于国际领先的AI安全攻防技术研发和产业化实践，护航智能产业安全可控地蓬勃发展。

声明:

凡文章来源标注为"CPS中安网"的文章版权均为本站所有，如需转载请务必注明出处为"CPS中安网"，违反者本网将追究相关法律责任。非本网作品均来自互联网并标明了来源，如出现侵权行为，请立即与我们联系，待核实后，我们将立即删除，并向您致歉。