编者按：人工智能无处不在。但是在科学家信任人工智能之前，他们首先应该了解这些人工智能机器是如何运作的，这也就是文中所提到的“黑箱”问题。在控制论中，通常把所不知的区域或系统称为“黑箱”，研究者们通过观察输入和输出之间的联系，尝试对中间的未知领域进行探究。
本文出自 Nature，作者 Davide Castelvecchi，雷锋网(公众号：雷锋网)编译，未经许可不得转载。
Simon Prades
Dean Pomerleau 还记得自己第一次研究黑箱问题的情景。那是 1991 年，他当时正在做如何命令计算机驾驶的开创性研究，而如今，自动驾驶已经成为了一个非常常见的研究领域。
这就意味着，计算机要用悍马军用汽车专门改装的车轮组装汽车，然后开着这个车穿过马路。Pomerleau 说，他当时还是卡内基梅隆大学的机器人技术研究生。他在悍马里安装了一台编程过的计算机，可以通过摄像机记录的信息解读路况，并储存他对各种路况作出的反应。最后，Pomerleau 希望这台机器能够获得更多关联独立控制驾驶。
在每一次的实验中，Pomerleau 都会运行系统几分钟，然后让汽车自行驾驶，一切都很顺利，直到有一次这辆悍马靠近一座桥时突然向一边急转弯。Pomerleau 赶紧抓住方向盘才得以避免了这场车祸。
回到实验室，Pomerleau 使劲想到底哪出了问题，“我的课题的一部分就是打开黑箱，研究它是如何思考的，”他解释说，但是该怎么做呢？他把电脑编程得能像“神经网络”一样工作，“神经网络”是一种以大脑为模型的人工智能 （AI） ，比基本算法更善于处理复杂的真实世界情况。不幸的是，这样的神经网络和大脑一样也会出错，它们并不会将已经学到的内容存整齐地储在数字存储模块中，而是以一种极难解读的方式将信息散乱地存放着。经过大量测试软件对不同视觉刺激的反应后， Pomerleau 才发现问题所在：神经网络一直把长满草的路边当做向导，因此突然出现的大桥迷惑了它。
二十五年后，破解黑箱问题的难度急剧增加，也更为紧迫。这项技术本身的复杂性和应用也实现了爆发性的增长。现在正在卡内基梅隆大学兼职教授机器人学的 Pomerleau 将他原来的安装在小货车上的系统描述为安装在如今的机器上的大型神经网络的“穷人版本”。而基于大数据集上训练的神经网络的深层学习技术，也已经实现了各类商业应用，从自动驾驶汽车到推荐用户浏览历史网页，不一而足。
它也有望在科学界变得无处不在。深度学习可以帮助未来的无线电天文观测寻找有价值的信号，否则这么大量的数据将无法得到有效的管理；可以理解和消除引力波探测器的最微小的噪声源；也可以帮助出版商筛选和标记数百万的研究论文和书籍。一些研究者认为，配备深度学习的计算机将最终能够表现出想象力和创造力。“你只需要给这种机器输入数据，它就能反馈自然规律给你。”帕萨迪纳的加州理工学院的物理学家 Jean-Roch Vlimant 说。
但这样的进步将会使得黑箱问题变得更尖锐。比如说：机器到底是如何准确找到那些有价值的信号的？谁能确保它是对的？人类能在多大程度上相信深度学习？“我认为我们肯定会输给这些算法。”纽约哥伦比亚大学的机器人学家 Hod Lipson 说。他将这个情况比作是在遭遇某种外星生物的情形：它的眼睛的不仅能感受到红绿蓝这些基色，还能感受到第四种颜色。人类会很难理解这种外星人是如何看世界的，外星人也难以向我们解释清楚。计算机在向我们解释事物上会存在类似的困难，他说：“在某种程度上，这就像是向一只狗解释莎士比亚是谁。”
面对这样的挑战，人工智能研究者给出的回应和 Pomerleau 的回应一样——通过打开黑箱和类似神经科学内的做法来理解网络的内部。答案也可能不对，位于瑞士日内瓦附近的欧洲粒子物理学实验室 CERN 的一位物理学家 Vincenzo Innocente 说，他是人工智能这一领域应用的开拓者，“作为一位科学家，只是将猫和狗分开并不能让我满意。一位科学家应该能够说出区别到底在哪。”
| 探索之路
第一个人工神经网络诞生于 20 世纪 50 年代早期，那时候计算机才差不多刚刚能够执行算法。其背后的思想是模拟“神经元”这一小型计算单元，它们以层级的形式进行排布，通过大量数字“突触”进行连接。底层的每个单元都能接收外部数据（如图像中的像素），然后将其信息分配给下一层中的一些或所有单元。接下来，第二层中的每一个单元就通过一种简单的数学规则整合来自第一层的数据，并将结果传递给第三层、第四层。最后，顶层得出一个答案——比如说，将原始图像归类为“猫”或“狗”。
Design: Nik Spencer/Nature;
Photos: Keith McDuffee/flickr/CC BY; djhumster/flickr/CC BY-SA; Bernard Dupont; Linda Stanley; Phil Fiddyment/Flickr/CC BY
这种网络的力量来自于它们的学习能力。给定一个带有正确答案的训练数据集，它们可以通过调整每个连接的强度而逐渐优化它们的行为，直到它们的顶层输出是正确的。这个过程模拟了大脑通过强化或调整突触来进行学习的方式，最终形成一个能成功分类来自训练数据集之外的新数据的网络。
在 20 世纪 90 年代，CERN 的物理学家对学习能力很感兴趣，那个时候他们是第一批经常使用大规模神经网络进行科研的人：事实证明神经网络对于重建来自 CERN 的大型强子对撞机（Large Hadron Collider）中粒子对撞所产生的亚原子碎片的轨迹，能够带来巨大的帮助。
但这种学习的形式也是其网络中的信息如此散乱的原因：就像在大脑中一样，记忆被编码在多元连接的强度中，没有像常规的数据库一样存储在特定的位置。“你电话号码的第一个数字存储在你大脑的哪里？可能是在一堆突触中，也可能在离其它数字不远的位置。”加州大学欧文分校的机器学习研究者 Pierre Baldi 说。但一个编码了这些数字的明确定义的比特序列是不存在的。由此，正如拉勒米市的怀俄明大学的计算机科学家 Jeff Clune 说的那样：“即使我们做出了这些网络系统，我们也没有比人脑更能理解它们。”
对于需要在自身学科处理大数据的科学家而言，这个问题让他们在使用深度学习时非常谨慎。为什么呢？英国牛津大学的一位计算机科学家 Andrea Vedaldi 说：想象一下在不远的将来，人们使用旧的乳房 X 光片训练了一个深度学习神经网络，这些乳房 X 光片根据哪些女性患有乳腺癌而进行了标注。Vedaldi 说，在训练之后，一位明显健康的女性的组织在机器“看”来可能已经是癌变了的。他说：“这个神经网络可能已经学会了如何识别内在的标志——这些标志是我们不知道的特征，但那却可以预测癌症。”
但如果这个机器不能解释它是怎样知道的，Vedaldi 说，医生和病人都会面临严重的困境。因为她们有显著增加患癌风险的变异基因，但如果不知道风险因素是什么，做决定就会更难——即使机器的预测十分准确。
“问题在于知识是在网络之中形成的，而不是在我们之中，”在华盛顿州西雅图市谷歌的生物物理学家和程序员 Michael Tyka 说，“我们真正理解了任何东西吗？并没有——但是这种神经网络做到了。”
一些研究团队在 2012 年开始深入研究黑箱问题。加拿大多伦多大学的一位机器学习专家 Geoffrey Hinton 带领的一个团队参加了一场计算机视觉竞赛，并第一次证明了深度学习在 120 万张图像的数据库上的分类能力远超其它人工智能方法。
为了深入理解它的实现方式，Vedaldi 的团队使用了 Hinton 开发的算法从根本上反向运行神经网络，从而优化神经网络的训练。该团队没有教网络如何正确解读图像，而是开始提前训练的网络并尝试重建生成它们的图像。这帮助研究者确定了机器表征各种特征的方式——就像他们询问一个不确定的癌症识别网络：“这个乳房 X 光片的哪个部分让你确定其是癌症风险的标志？”
去年，Tyka 和 Google 的研究员根据类似的方法也得出了最终结论。他们把他们的算法称为 Deep Dream，从一个图形开始，好比说一朵花或者一个沙滩，通过修改它来提高特定的*神经元的反应。
例如，如果神经元想要标记一张鸟类的图片，那么修改后的图片就会在各处都显示鸟类。从渐变的鸟类的脸部到各种建筑等，生成的这些图片都会让你体验到嗑药般的致幻效果。
身为艺术家的 Tyka 说道：“我认为这更像是一个幻觉，而不是一个梦。”当他的团队看到其他人也有潜力通过这种算法创造新事物时，他们就让这种算法变成人人都能下载得到的资源。几天之内，Deep Dream 迅速开始在网上流行。
除了那些*神经元，使用技术可以将所有神经元的反应最大化。Clune 的团队在 2014 年发现黑箱问题可能比预期的更为糟糕：神经网络非常容易被人类理解上的误差所欺骗，比如随机噪声或是抽象的几何图案。例如，一个神经网络在看到扭动的线条时，它可能会误认为是海星；当它看到黑黄相间的线条时，它又会误以为这是辆校车。此外，在不同数据集里训练的模式会在神经网络里引发相同的反应。
研究人员已经提出了很多方法来解决这个所谓“欺骗”的问题，但到目前为止还没有通用的解决方案。而在现实生活中，这是很危险的。Clune 说，如果恶意的黑客们能够学会利用这些漏洞犯罪的话那将是十分可怕的。他们可以让一辆自动驾驶汽车把一块广告牌当成一条道路从而引发车祸，也可以让白宫的视网膜扫描仪误以为入侵者是奥巴马而让其通过。
“我们正在想办法让机器学习变得更强大更智能。”Clune 总结道。
由于这些问题的出现，一些计算机科学家们认为，深度学习神经网络不该是目前业界的唯一技术。一个名叫 Zoubin Ghahramani 的剑桥机器学习研究员认为，人工智能的存在是为了让人类更容易地理解问题，但是，“对于很多问题来言，深度学习并不是那个解决问题最终的答案。”
Lipson 和 一位计算机生物学家 Michael Schmidt 在 2009 年在纽约的康奈尔大学首次提出一个相对透明的科研方法。他们的算法被称作 Eureqa，它可以仅通过观察一个相对简单的机械对象（一个钟摆运动系统）来重新发现牛顿定律。
Eureqa 会遵循一套受达尔文进化论启发的试错法来调整，从一个随机的数学模块组合开始，例如加号、减号和正余弦，直到最终的结果能够最准确地描述数据表达公式。随后，Eureqa 还会提出测试模型的实验方法。Lipson 认为这种方法的优点之一就是简单，“Eureqa 生成的一个模型通常有 12 个参数，而一套神经网络却有数百万个。”
| 关于 autopilot
去年，Ghahramani 发表了一个可以自动化数据科学家工作的算法，从查看各种方式得到的原始数据到撰写论文。他这款被称为 Automatic Statistician 的软件，指出了数据集中的趋势和异常，并给出了它的结论，包括一个关于它推理的详细解释。Ghahramani 认为，透明度对于应用科学而言是至关重要的，但对于很多商业应用来说透明度也是同等重要的。例如，在很多国家，银行可以拒绝向你贷款并可以给出法律依据，而深度学习算法是做不到这样的。
来自大数据公司 Arundo Analytics 的数据科学带头人Ellie Dobson 认为，很多其他机构中也存在类似的担忧。如果有类似英国汇率设置错误的问题出现，英国央行并不能说“这是黑箱让我这么做的”。
尽管担忧存在，但计算机科学家们仍然认为，努力地开发透明的人工智能是对深度学习的补充，而不是替代。他们认为，虽然透明技术不善于感知从原始数据中提取事实的过程，但是它们可能会适用于解决既定的抽象事实问题。
最后，这些研究人员认为，机器学习的复杂答案是科学工具集中必不可少的一部分，因为现实世界是如此的复杂，例如天气和股票市场等现象，一个简单的、捏合的描述甚至都可能不存在。
“有些事情我们无法通过语言来表达。”一位名叫 Stéphane Malla 的巴黎理工学院应用数学家说道，“当你问医生为什么这样给他诊断的时候，他就要给出一些答案，但为什么需要花 20 年才能成为一个好医生呢？因为信息不仅仅只存在于书本上。”
对于 Baldi 而言，科学家应该接受深度学习没有完全和黑箱混为一谈的事实。毕竟，他们的脑中都有着这么一个黑箱。
“大脑一直在为你工作，你也一直信任它，但你却不知道大脑是如何工作的。”
via nature
推荐阅读：
本文作者：江小片
本文转自雷锋网禁止二次转载，原文链接