返回栏目
首页人工智能 • 正文

人工智能网络安全威胁图。

发布时间:  来源:河洛网

12月15日,欧盟网络信息安全局( ENISA )宣布“人工智能的网络安全课题:人工智能威胁图”( Artificialintelligencecybersecuritychallenges:Threatlandss )

人工智能网络安全威胁图。

ENISA发布了人工智能网络安全威胁图

1 .前言

人工智能持续影响着我们的生活,通过自动化的决策能力对数字化的变革起着重要的作用。 作为新兴技术,人工智能带来的好处很明显,但同时也带来了潜在的风险。 例如,人工智能技术在汽车自动驾驶和智能医疗等安全重要领域的应用,有可能给个人和企业带来新的、不可预测的风险,有可能带来新的攻击方法和技术,产生新的数据保护课题。

要确保人工智能本身的安全,就必须知道要确保什么。 开发理解相关数据治理模式的许多人参与的生态系统中综合管理威胁的特定控制方式以确保人工智能本身是安全的。

人工智能和网络安全具有多维关系,具有一系列相互依存性。

人工智能的网络安全问题。 人工智能模型和算法缺乏鲁棒性,存在模型的干扰和操作、对支持人工智能的空间物理系统的攻击、对人工智能系统中使用的数据的攻击等安全漏洞。 人工智能提高网络的安全性。 人工智能作为工具,通过开发更有效的安全工具,可以创造更强的网络安全能力。 利用人工智能支持执法机构等网络犯罪的应对,包括大规模数据分析调查取证、人工智能在犯罪活动中的应用等。 人工智能的恶意使用人工智能的恶意使用可以创建更复杂的攻击,如恶意软件生成、高级社会工程、DDoS攻击、深度生成模型生成虚假数据、密码解密等。 这种使用包括对现有人工智能系统的攻击和将人工智能应用于攻击活动。 2.AI生命周期

人工智能系统的生命周期包括几个相互依存的阶段:设计和开发(包括需求分析、数据收集、培训、测试、集成等子阶段)、安装、部署、运营、维护和处置。

1人工智能生命周期通用的参考模型

2.1数据

数据是人工智能中最有价值的资产之一,在人工智能的生命周期中不断转换。 图2是人工智能生命周期内不同阶段的数据转换过程:数据引入( Data Ingestion )、数据搜索( Data Exploration )、数据预处理( Data Pre-processing )、特征重要性( field ) 人工智能生命周期中的数据转换还包括参加者、计算资源、软件等其他几种类型的资产,以及过程、文化等非有形资产,参加者的经验和知识可能会带来意想不到的威胁

2人工智能生命周期开发阶段的数据转换过程

. 2人工智能生命周期的参加者

完整的人工智能生命周期有多种类型的参与者,包括人工智能设计者和人工智能应用程序开发者在人工智能系统的设计和创建工程中。 另外,也有开发人工智能系统中使用的软件和算法的人工智能开发者。 他们的经验和能力在安全的人工智能系统开发中起着非常重要的作用。

人工智能开发者和设计者的工作与数据科学家非常密切。

数据科学家的工作包括辅助设计和开发人工智能模型。 数据科学家还参与数据的收集和翻译,主要从数据中提取知识和观点。 数据工程师主要从不同的来源提取和收集数据,并进行转换、清理、标准化和保存。 数据工程师主要设计、管理和优化数据流。 人工智能生命周期的其他主要参与者还包括数据所有者。 数据所有者是用于训练或验证人工智能系统的数据集的所有者。 数据所有者可以是数据提供者或数据代理。

人工智能生命周期的参与者还包括提供培训或调整的模型的模型提供者。 有些模型提供者是云提供者,提供模型作为服务。 第三方提供商提供了第三方框架和库,用于向开发者训练人工智能系统。

最后,是利用人工智能系统的最终用户,即服务的消费者。

3. AI资产

威胁图中一个非常重要的因素是可能受到威胁的资产类型。 除了数据、软件、硬件、通信网络等ICT相关的通用资产外,人工智能还有模型、数据等特定资产,具体包括以下六类。 数据。 模型; 参加者; 过程; 环境/工具相关产品Artefacts。

. 1数据

数据资产包括原始数据、标记数据集、公共数据集、培训数据、测试数据集、验证数据集、评估数据、预处理数据集等。

. 2型号

模型资产包括算法、数据预处理算法、特征选择算法、模型、模型性能、训练参数、超级参数、训练后模型、微调模型等。

. 3与会者

参加者资产包括数据所有者、数据科学家、人工智能开发人员、数据工程师、最终用户、数据提供者/代理、云服务提供商、模型提供者、服务消费者/模型用户等。

. 4进程

流程资产包括数据部署、数据存储、数据检测/预处理、数据理解、数据标签、数据收集、特征选择、模型选择/构建、培训和测试、模型微调、模型适应-迁移学习/模型部署、模型备忘录

. 5环境/工具

环境/工具资产包括通信网络、通信协议、云、数据部署平台、数据检测平台、DBMS (数据库管理系统)、分布式文件系统、计算平台、集成开发环境

3.6相关产品Artefacts

相关资产包括访问控制列表、用例、数据管理、价值提案和业务模型、数据管理策略、描述统计参数、模型框架、软件、固件和硬件、高级测试用例、模型架构

4. AI的威胁

根据ENISA的威胁分类方法,人工智能的安全威胁主要分为以下几类。

恶意活动/滥用( NAA ) :针对ICT系统、基础架构和网络的故意行为,目的是通过恶意行为窃取、变更或破坏特定目标。 窃听/拦截/劫持( EIH ) :未经用户同意拦截、拦截或控制第三方通信行为。 物理攻击( PA ) :旨在破坏、暴露、更改、禁用、盗窃或获取对基础架构、硬件或互连物理资产的非法访问。 非故意损害( UD ) :造成财产或人员破坏、伤害或伤害,降低失效或效用的无意行为。 或故障( FM ) :部分或全部资产(如硬件和软件)的功能将被禁用。 停机( OUT ) :服务意外中断或质量下降到请求级别以下。 灾害:造成重大损害或生命损失的突发性事故或自然灾害。 法律( LEG ) :第三者根据法律采取的行动提起诉讼或赔偿损失。

4.1恶意活动/滥用( NAA )

非法访问数据集和数据迁移过程非法访问数据集和数据迁移过程的操作模型代码非法访问人工智能的结果侵入和限制人工智能干扰正确数据的机器学习干扰正确数据的数据中毒; 数据修正; 权限上升。 内部威胁; 基于优化算法操作的对抗样本的错误分类; 在模型里下毒。 对抗攻击转移的在线操作; 白盒,定向或非定向攻击; 标记数据操作; 对训练数据集的后门插入攻击; 入侵机器学习训练验证数据对抗样本; 降低数据精度机器学习模型的完整性操作dos攻击; 入侵机器学习预处理; 入侵模型框架; 数据索引破坏; 降低人工智能机器学习结果有效性的模型后门。 4.2窃听/拦截/劫持( EIH )

数据干扰; 窃取数据; 模型泄漏; 弱加密4.3物理攻击( PA )

因不可靠的数据基础架构引起的错误或限制模型破坏; 对基础设施系统的物理攻击通信网络攻击; 其他故意破坏。 4.4非故意损害( UD )

在入侵或限制人工智能结果的数据操作中破坏隐私的特征选择; 人工智能系统的操作构成或错误处理机器学习模型的性能下降在线操作; 数据未充分显示的统计数据错误处理; 降低数据精度的模型错误配置; 数据所有者引进的偏见个人信息泄露; 模型框架的破坏。 4.5故障( FM )

不可靠的数据基础架构错误:第三方供应商故障机器学习模型性能下降数据质量检查不足的弱需求分析; 资源计划不足。 破坏弱数据管理策略数据索引; 入侵机器学习预处理; 入侵模型框架。 4.6停机时间( OUT )

基本设定/系统停止:通信网络停止了。 4.7灾害

地震、洪水、火灾等自然灾害气候变化等4.8法律( LEG )

数据索引破坏; 供应商锁定:弱需求分析; 缺乏数据管理战略泄露个人信息。 五.结论

ENISA人工智能威胁图是今后发布的网络安全政策倡议和技术指导的基础,还介绍了与人工智能相关的课题。 其中特别重要的领域之一是与人工智能相关的供应链。 因此,他强调了包括人工智能供应链所有要素在内的欧盟生态系统对安全可靠的人工智能非常重要。 欧盟安全的人工智能生态系统要把网络安全和数据保护放在第一位,促进相关的创新、能力建设、提高认识和研发活动。

【编辑推荐】

    相关文章Related

    返回栏目>>

    河洛网首页

    Copyright © 2019 河洛网 版权所有 dahuimr@163.com