前沿 | 英特尔新研究发现，人工智能在量子计算领域实现突破

深度学习和量子物理是两个看似联系很小的领域，但研究者还是找到了它们之间的关联之处。近日，耶路撒冷希伯来大学的几位研究者的一篇论文《Quantum Entanglement in Deep Learning Architectures》（深度学习架构的量子纠缠），称深度学习在模拟量子计算中显示了非常卓越能力。根据这些研究者的说法，最成功的两种神经网络类型（卷积神经网络CNN以及递归神经网络RNN）都利用了信息冗余，信息冗余在模拟量子计算时所涉及的计算中有着重大的影响。

我们仍然不知道为什么神经网络的深度学习可以在许多研究里取得巨大成功，这门学科缺乏一定的理论，经验上的成功不能得到理论上的解释。卷积神经网络之父Yann LeCun曾说过（https://youtu.be/gG5NCkMerHU），深度学习有点像蒸汽机，热力学基础理论的出现晚过蒸汽机许多年。

然而多年来，一些深度学习研究者在理论问题上一直停步不前。

上周，在美国国家科学院主办的华盛顿特区深度学习会议上，英特尔高级副总裁兼Mobileye主管Amnon Shashua公布了与希伯来大学同事共同完成的一项新研究，该研究既为深度学习能力提供了重要证据，也为计算量子物理中一些常见的棘手问题提供了一条前进的道路。（英特尔去年以 141 亿美元收购了自动驾驶技术公司Mobileye。）

该研究文章题为《Quantum Entanglement in Deep Learning Architectures》（深度学习架构的量子纠缠），上周发表在著名期刊《物理评论快报》（Physical Review Letters）上。「Shashua另一重身份是耶路撒冷希伯来大学计算机科学教授，此项研究文章由Shashua、耶路撒冷希伯来大学计算机科学与工程学院博士生Yoav Levine（主要作者）、耶路撒冷希伯来大学计算机科学博士生Or Sharir、以及新泽西州普林斯顿高等研究院的Nadav Cohen合著完成。 」

文章从理论上证明了深度学习擅长解决某些问题，同时还提出了促进量子计算领域广泛发展的方法。

图/Mobileye：Shashua及其同事的团队建造了 “CAC（convolutional arithmetic circuit）”（“卷积算术电路”），CAC可复制传统CNN里的信息重复使用，同时使它与物理学中常用的“张量网络”模型一起工作。

在量子计算领域，“理论与实践问题”某种程度上与深度学习相反：量子计算存在很多引人注目的理论，但迄今为止，真正的例子还很少。多年来，Shashua和他的同事，以及其他研究人员，一直在思考如何模拟量子计算的所谓的“多体问题（Many-Body Problem）”。

物理学家 Richard Mattuck 曾在《A Guide to Feynman Diagrams in the Many-Body Problem》一书中将多体问题定义为“多体系统里实体之间交互效应的研究”，多体指涉及到电子、原子、分子及各种其他实体。

Shashua及其团队发现并证实：卷积神经网络和递归神经网络优于诸如“受限玻尔兹曼机”的传统机器学习方法。受限玻尔兹曼机是 20 世纪 80 年代开发的神经网络方法，一直是物理研究的主流，特别在量子理论模拟领域。

论文作者提出，“以深度卷积及循环网络形式的深度学习架构，可以有效地表达高度纠缠的量子系统。”

这里所说的“纠缠”是指量子系统里物体相互作用时的相互关系。实际量子计算在计算纠缠时有着巨大优势，能够达到极高的效率。而通过传统的电子计算模拟的方法计算纠缠则可能非常困难，甚至难以着手。

“我们的工作量化了深度学习对于高度纠缠波函数表示的能力，”论文里写道，“这将促进理论上多体物理学研究向尖端深度学习体系结构的转移。”

图/Mobileye：研究人员通过修改递归神经网络，将数据重用添加到“递归运算电路”（RAC）里。

研究者利用卷积神经网络和递归神经网络，并将其应用到他们设计的“扩展”中来研究这个问题。他们将此称为“简单的‘技巧’”，这种做法涉及上文提到的冗余。据文章里介绍，事实证明，卷积神经网络和递归神经网络结构的本质涉及到信息 “重用”。

对于卷积神经网络，卷积“内核”的滑动窗口覆盖了整个图像，每个时刻都有重叠，因此图像的某些部分会被卷积神经网络多次接收使用；对于递归神经网络，每一层网络的信息的重复使用也是一种类似的重用，是对序列顺序数据点的重用。

在卷积神经网络和递归神经网络这两种情况下，“这种架构的特征是表达网络的能力呈指数级增长，尽管参数数量和计算成本方面仅呈线性增长” 。换句话说，由于冗余的优越性，用堆叠多层的方法实现的卷积神经网络和递归神经网络，在计算术语中对事物有更有效的“表达功能”。

例如，传统的“全连接”神经网络(作者称之为“经验丰富的”神经网络)需要计算的时间是所表示的物体数量的平方。文章写道，RBM（受限玻尔兹曼机）需要的计算时间少些，它的计算时间与物体的数量成线性关系。而卷积神经网络和递归神经网络需要的计算时间甚至可以更好，它们所需的计算时间按比例缩放为物体数量的平方根。

文章写道，“相对于基于传统完全连接神经网络的方法”，这些属性“表明，深度卷积网络在数量纠缠建模方面具有显着优势。实际上，重叠卷积网络...可以支持任何 2D 系统的纠缠，2D系统的最大规模可达100×100，这是其他方法所无法实现的。”

为了做到这一点，这些研究者们不得不使用他们提到的“技巧”，但传统表示量子计算的“张量网络”不支持信息重用。因此，这些研究者们创建了卷积神经网络和递归神经网络的改进版。第一个卷积神经网络和递归神经网络改进版名为“卷积运算电路”（CAC）——这是他们近年来在工作中发展起来的一种方法，在这里取得了更大的成果。“技巧”在于，在CAC里“输入数据本身的副本”，这有效地复制了卷积神经网络重叠部分的重用。文章作者还创建了对应递归神经网络的“递归运算电路”（RAC）， 递归运算电路用的则是复制输入信息。

文章写道，“由于深度RAC每一层的输出向量在每个时间步都被使用了两次（作为下一层的输入，也作为下一个时间步的隐藏向量），数据重用在网络计算过程中是内在的。因此，我们在重叠-卷积网络里复制了输入，从而获得了基于深度RAC的张量网络。”

所有这些的结果都具有双重意义：深度学习的证明以及量子模拟的发展方向。

补充材料里对CACs和RACs效率的形式化证明，相当于证明了深度学习方法可以更有效地处理量子纠缠。

作者最后满怀希望地指出，希望他们的发现“有助于将量子多体物理学和最先进的机器学习方法更紧密地结合在一起”。

量子计算和深度学习的理论研究可能再也不会和过去一个样了。

【注：英特尔、耶路撒冷希伯来大学方面关于“人工智能和量子计算”研究文章《Quantum Entanglement in Deep Learning Architectures》（深度学习架构的量子纠缠）获取方式：关注科技行者微信公众号（ID：itechwalker），回复关键字“量子计算”即可。」