DeepMind找到了破解深度学习黑匣子的方法

因为对神经网络深层功能的理解，不仅有助于我们了解其决策机制，同时我们构建更为强大的人工智能系统也至关重要。

中，也解释了他们如何通过逐一删除单个神经元的方式去理解和判断神经网络的性能。他们认为，理解神经科学与深度学习神经网络之间关联性的重要方法之一，正是调查个体神经元的作用，特别是那些易于解释的神经元。

研究人员开发了专门的图像分类模型，然后逐一删除其中几个神经元，从而测量每个删除对模型结果的影响。

据DeepMind称，他们的发现产生了两个结果：

• 虽然以往的众多研究都集中于理解易于解释的单个神经元（例如'猫神经元'，或者深层网络内隐藏层中的神经元等等只会对猫的图像产生反应的单元），但结果显示，它们在重要性上并不比综合且难以解释的神经元更高；
• 能够对从未见过的图像进行正确分类的神经网络，在神经元缺失适应性方面要比只能够对已经见过的图像进行分类的网络强。有点拗口，我们换句话来说，也就是适应度更高的网络比单纯依靠记忆起效的网络更能摆脱对单一神经元的依赖。

"神经元可能较易解释，但其重要性尚不明确

研究人员广泛分析了只能对单一输入图像类别作出响应，且易于解释的神经元（即“选择性”神经元）。他们发现，在深度学习当中，此类神经元包括了"猫神经元"、情绪神经元以及概括神经元; 而在神经科学领域，此类神经元则包括Jennifer Aniston神经元等。然而，这些仅占少数比例的高选择性神经元在重要性上到底与其它低选择性、更令人费解且难以解释的神经元有何区别，目前还不得而知。

具有清晰响应模式的神经元（例如对猫的图像活跃，但对其它图像皆不敏感的神经元）比综合性的神经元（即能够对各类随机图像集发生反应的神经元）更易于解释

而为了评估神经元的重要性，研究人员在测试当中移除了部分神经元，从而观察网络的分类任务处理效能所发生的变化。如果其中某个神经元非常重要，那么将其移除就会产生极大的破坏性，并显著降低网络效能。相反，如果移除的神经元并不太重要，那么就不会造成什么影响。

神经元缺失对简单神经网络所造成影响的概念示意图。较深的神经元往往更为活跃。尝试点击隐藏层神经元并将其移除，观察输出神经元的活动所发生的改变。需要注意的是，移除一个或两个神经元对输出结果的影响很小，而移除大部分神经元则会产生显著的影响，并且其中一部分神经元确实比其它神经元更为重要！

这一发现与最近在神经科学方面的研究进展相互印证，目前科学家们已经证明那些作用不明的神经元实际上能够提供丰富的信息。这意味着我们必须迈过易解释神经元这道难关，才有可能真正搞清楚深层神经网络的运作机制。