分类人工智能下的文章

博客管理员 发布于 10月18, 2017

对深度学习的逃逸攻击 -- 探究人工智能系统中的安全盲区

ISC 2017中国互联网安全大会举办了人工智能安全论坛。 我们把论坛总结成为一系列文章,本文为系列中的第二篇。

作者: 肖奇学1, 许伟林2, 李康1 (1. 来自 360 Team Seri0us 团队, 2. 美国弗吉尼亚大学)

“逃逸攻击就是要把百分之零点零零一的误判率变成百分之百的攻击成功率”。

虽然深度学习系统经过训练可以对正常输入达到很低的误判率,但是当攻击者用系统化的方法能够生成误判样本的时候,攻击的效率就可以接近100%,从而实现稳定的逃逸攻击。

阅读全文 »

博客管理员 发布于 10月11, 2017

深度学习框架中的魔鬼 -- 探究人工智能系统中的安全问题

ISC 2017中国互联网安全大会举办了人工智能安全论坛。 我们把论坛总结成为一系列文章,本文为系列中的第一篇。

作者: 肖奇学, 李康(来自360 Team Seri0us 团队)

深度学习引领着新一轮的人工智能浪潮,受到工业界以及全社会的广泛关注。 虽然大家对人工智能有很多美好的憧憬,但是现实是残酷的 — 随着一批深度学习应用逐渐开始变成现实,安全问题也渐渐显现出来。

人工智能应用面临来自多个方面的威胁:包括深度学习框架中的软件实现漏洞、对抗机器学习的恶意样本生成、训练数据的污染等等。 这些威胁可能导致人工智能所驱动的识别系统出现混乱,形成漏判或者误判,甚至导致系统崩溃或被劫持,并可以使智能设备变成僵尸攻击工具。

在推进人工智能应用的同时,我们迫切需要关注并解决这些安全问题。本文作为人工智能与安全的系列文章之一,首先介绍我们在深度学习框架中发现的安全问题。

阅读全文 »