真正拆解黑箱我们还要走很远很远。但黑箱与解释黑箱的这场赛跑，正在带来沿途令人激动的美景。

可能大家都有过这种感觉：在迷茫的时候，我们会觉得自己面对的生活是个黑箱子。眼前一片混沌，既看不到未来，也搞不清楚此前都发生了什么。

这种感觉非常之讨厌，可能大部分人都有体会。但是试想一下，假如我们工作时用的系统，居然也是这德性：机器自己做了决定，还不告诉你为什么。那是不是很恐怖？

无奈的是，这种现象在今天并不少见。由于深度神经网络的自身复杂特性，导致输入数据和输出结果之间的过程难以解释，变成了一个黑箱。

这就是人工智能领域非常著名的黑箱问题。在很多领域，黑箱正制约着深度学习的应用与发展，尤其在安全领域，黑箱的存在不仅大大增强了AI模型防御难度，甚至让很多非常简单的攻击，可以产生致命的影响。而攻克和解释黑箱，往往能够带来意想不到的收获。

这个逻辑可能很多人都知道，但攻克黑箱与网络安全间到底是什么关系，可能大部分人都很难理清，更难的是找到案例，让我们进入AI安全背后的产业价值。

被称为黑客界的奥斯卡，世界黑客顶级会议DEFCON 2018上，刚刚举办了由GeekPwn（极棒）联合谷歌大脑AlexeyKurakin、IanGoodfellow 以及美国加州大学伯克利分校计算机系教授宋晓冬共同发起的全球首个聚焦AI安全的CAAD对抗样本攻防赛。会上京东安全战队分享了全球首创的AI黑箱解析技术。

脑极体有机会采访了这项技术的研发者京东安全硅谷研究院负责人Jimmy Su，以及京东安全硅谷研发中心研究员郭文博，与他们聊了聊黑箱解释与AI安全的一系列问题。

在他们的讲述中，从对抗样本攻击本身，到黑箱解释，再到京东的AI安全应用与行业影响，整个案例环环相扣，逻辑流畅，绝对称得上干货十足。

让我们从头开始对AI黑箱的探索。第一站要了解的，是著名的对抗样本问题——这可谓是一种致命的AI幻术。

一种高度危险的AI幻术

AI能够“看见”东西，这我们都知道。但要注意的是，AI理解所看见的东西，逻辑路径与人脑并不相同。人类会基于直觉和常识判断物体，但AI的视觉识别要基于图像细节来对见到的东西进行数据匹配。而这种模式其实是有显著隐患的。

2014年，大神Ian Goodfellow发表了一个发现；在一张图片中加入一些细微的像素干扰，AI模型就很可能分不清到底看见了什么。人眼可能看上去还是原先的东西，但AI已经被搞迷糊了。

这就像是说桌子上有个香蕉，但魔法师在桌子上再放一个茶杯，就不认识香蕉了。虽然这对人来说不太现实，但AI却很容易被迷惑。

这就是机器视觉领域著名的对抗样本问题：有针对性在图像中加入一些干扰信息，从而让深度学习模型快速失常。这似乎可以被理解为，一种专门针对AI的幻术。

这个幻术好像乍听上去没有什么，但如果换个场景，我们就会发现它有多么恐怖。在无人驾驶场景里，车辆中的AI要依靠“看”交通指示牌来进行主动行驶。那么只要在交通指示牌中加入一些对抗样本，无人车就很有可能无法判断指示牌的含义：可能把停车当成限速或者其他什么，从而发生交通危险。

这种攻击方式，已经被若干家无人驾驶公司测试为有效。而另外一种危险的可能，是在医疗影像领域。理论上来说，别有用心的人可以在患者的CT透视等医疗影像上略动手脚，让AI模型失去判断力。从而把恶性肿瘤看成没什么事，或者反之。

总之，对抗样本问题可以看做AI应用世界的一个高危漏洞，而问题是，这个漏洞非常难以填补。

让人无奈的是，

攻击始终比防御要轻松

从2014年开始，如何防御对抗样本攻击，让AI模型更聪明，始终都是一个热门话题。但令人无奈的是，攻防关系在今天并不算乐观。

今年早些时候，机器学习顶会ICLR 2018 接收的8 篇有关防御对抗样本的研究中，7 篇都被很快攻破，而攻破他们的技术甚至还是去年的。可见对抗样本这个问题上，攻击远远比防御容易的多。

核心原因之一，是对抗样本的防御系统要兼顾AI模型的正常使用情况。如果为了防御对抗样本攻击，导致AI模型什么都认不出来，那就是因噎废食了。

而对抗样本的攻击者这边，只需要寻找训练样例中的最薄弱环节，也就是找到深度学习模型的自身缺陷即可，相对轻松很多。

在这样的水桶难题里，如今虽然对抗样本防御技术有部分进展，但整体而言这必然成为一个长期问题。那么能不能换个思路完成对抗样本防御呢？京东安全团队想到了一个方案：拆解黑箱，让人可以监督机器是如何“看错”的，那么也就有了解决错误的方案。

京东安全的黑盒解释方案

一般的对抗样本防御，都是在深度模型上加入防御算法。这种方案的根本问题，是即使防御成功了，也难以知道到底是如何成功的。因为无论是错误还是正确，深度神经网络的工作始终处在黑箱状态下。

所以，问题的关键可能是破解黑箱。

日前，黑客界的奥斯卡DEFCON上，举办了全球首个聚焦AI安全的CAAD对抗样本攻防赛。来自京东安全的JD-Omega战队也参与其中。

在现场，京东安全公布了一套AI解释系统，可以对深度学习模型的决定进行分析，找到AI做出判断的依据。

比如说AI识别了一只猫，这套解释系统可以分析出AI是如何认识猫的。是因为猫耳朵、猫的身体，还是猫的颜色。假如是因为知道有白猫，于是把白狗也认成了猫，那么系统就会发现其中的错误，让监督者马上进行修复纠正。

回到对抗样本问题中，假如无人驾驶汽车是因为交通车牌上的白点，认为这应该是限速，而不是停车。那么显然就是受到了对抗样本的攻击。

这套解释系统，实际作用是提高了AI模型的识别精度。一般来说，深度学习模型都会有微小的错误率，但在很多应用场景里，比如无人驾驶、医疗，都是不可以容忍错误率存在的。所以通过解释错误为什么会发生，从而不断制定新的训练策略，可以不断让模型效率接近完美。甚至我们还可以借助这类策略，来观察“AI的智慧”，从中学到点什么也说不定。

事实上，对于对抗样本的防御，只能说是黑盒解释系统的一个边缘产品，在更广泛的AI+安全领域，它就像风暴中心煽动翅膀的那只蝴蝶。

在安全领域，

攻克黑盒像一枚深水炸弹

黑盒解释，是一个关乎于AI的问题。在这个领域探索出的每一步，都可能广泛深刻的影响着AI应用的未来。

在AI安防系统中施加可解释性系统，对攻击行为和模型本身进行解释，就像投入到深水中的一枚炸弹，可以将原本存在的产业隔膜冲击开。目前来看，类似技术至少可以在四个方面产生影响：

1、提供安全保障，让更多行业放心使用深度学习。今天很多企业选择不用深度学习来执行任务。虽然深度学习有这样那样的便利，但本身的不可知性，导致很难把握它的结果导向。面对不可知的风险，众多企业选择了根本不碰深度学习。如果AI可解释，那么用深度学习来提升行业效率，创造价值增长就有了基础保障。这对安全、医疗、fintech等领域具有广泛影响。

2、解决了关键问题，让更多人才和注意力集中到AI。在安全产业本身，今天主流注意力还是集中在软件安全、系统安全等领域，但事实上其中很多工作都可以被AI来代替。在破解AI黑箱难题后，更多人力物力可能会聚合在AI安全的方向下，为安全产业迭代提供可能。

3、可以适应新的保护体。随着AI应用的更迭，保护AI开始成为新的命题。那么这就需要对AI系统本身的行为作出解释。比如说在京东电商体系中，黑箱解释系统正在被用来分析AI对客户账号作出的行为判断。比如系统为什么会自动封禁某些账号，为什么会作出风控行为。这些可解释内容，能够让京东客服更好地向用户解释账号处理依据。

4、能够面对千变万化的攻击方式。今天，不只是企业本身在应用AI，甚至攻击者也在利用AI进行攻击，而这就需要对攻击行为作出解释。京东安全的解释系统，任务之一是打击黑产。很多黑产系统，是利用机器刷京东的验证码。由于这是在利用AI模拟真人，在很多电商平台类似问题非常难以防范。而利用可解释系统，就可以捕捉黑产的模拟方式，从而分析出哪些是黑产行为，从而进行针对性打击。

综上所述，能够使用陌生黑盒，并使用不同种类深度神经网络的可解释系统，是AI带给安全产业的一道新防线。AI正在带给信息安全产业更多目标，以及全新的防御机制，这一点在今天的京东展现非常充分。

AI安全，正在带给京东新的防线

AI+安全技术，一方面利用深度学习方式替代了大量安全中的人工行为，另一方面也为深度挖掘自身漏洞提供了可能。可以说有多方面的作用。根据两位专家介绍，除了上述黑盒解释应用之外，AI+安全今天已经输入到了京东的多个层面。比如：

1、账号安全风控。对注册登录等行为进行人机识别，从而完成黑产反制，提高电商系统中的风控规则，达到更加准确的判断能力。

2、在电商领域进行无监督学习。我们知道，电商智能推荐，依靠的是对商品和订单进行机器学习，这就需要这些数据具备足够的标签体系。但事实上很多订单是没有标签的。今天在京东，已经可以利用AI技术对订单进行分类验证，使用无监督学习方案给订单打标签。从而再输入到电商推荐体系中进行学习，最终达到智能推荐的目标。

3、AI安全系统发现场景异常，分析黄牛行为。很多黑产行为，是以短期高爆发的异常行为标志的，以人工的方式很难完全对此进行区分。而利用AI安全体系，可以主动识别异常行为，甚至可以分析黄牛的行为方案和目的，从而进行有针对性打击与主动防御。

4、挖掘安全漏洞。在IoT等新领域，以人工挖掘安全漏洞工作量非常大，并且场景复杂。使用AI主动进行漏洞挖掘可解决相当部分问题，这在京东应用场景非常广泛。

除此之外，京东还在酝酿安全大脑项目，可以用AI来提升报警响应效率，加强安全风控。可以看到，对抗样本领域的AI幻术识别，只是庞大AI安全的一角。通过复杂多样化的AI安全技术应用，京东正在泛电商体系中搭建新的防线。

或许我们在这个案例中可以发现这样的结论：AI黑箱的破解，往往会带来连锁反应。从解决对抗样本这样的实际威胁，再到产业应用带来真实价值增长。黑箱当然可怕，但解决黑箱却可能成为快速发展的契机。

当然，真正拆解黑箱我们还要走很远很远。但黑箱与解释黑箱的这场赛跑，正在带来沿途令人激动的美景。

-END-

本文由脑极体投稿一鸣网，本文仅代表作者个人观点，文章非经授权请勿转载，

向一鸣网投稿，请点击投稿按钮，详情请参阅《一鸣网投稿须知》。

互联网人都在关注的微信号

难道你还没有关注？