人工智能系统安全与隐私风险

作者：陈宇飞; 沈超; 王骞; 李琦; 王聪; 纪守领; 李康; 管晓宏

来源：计算机研究与发展, 2019, (10): 2135-2150.

• 智能系统安全
• 系统安全
• 数据处理
• 人工智能
• 深度学习

人类正在经历着由深度学习技术推动的人工智能浪潮,它为人类生产和生活带来了巨大的技术革新.在某些特定领域中,人工智能已经表现出达到甚至超越人类的工作能力.然而,以往的机器学习理论大多没有考虑开放甚至对抗的系统运行环境,人工智能系统的安全和隐私问题正逐渐暴露出来.通过回顾人工智能系统安全方面的相关研究工作,揭示人工智能系统中潜藏的安全与隐私风险.首先介绍了包含攻击面、攻击能力和攻击目标的安全威胁模型.从人工智能系统的4个关键环节——数据输入(传感器)、数据预处理、机器学习模型和输出,分析了相应的安全隐私风险及对策.讨论了未来在人工智能系统安全研究方面的发展趋势.

• 单位
  西安交通大学; 武汉大学; 香港城市大学; 浙江大学; 清华大学