科研进展 | 美国洛斯·阿拉莫斯国家实验室利用量子神经网络形成高斯过程

经典的人工神经网络由独立同分布的先验初始化，当每个隐藏层有大量神经元时，会收敛到高斯过程。这种对应关系在当前对神经网络功能的理解中起着重要作用。

5月21日，美国洛斯·阿拉莫斯国家实验室的研究团队在《Nature Physics》期刊发表题为“Quantum neural networks form Gaussian processes”（量子神经网络形成高斯过程）的研究论文。

洛斯·阿拉莫斯国家实验室（Los Alamos National Laboratory, LANL）是美国知名的国家实验室，世界第一颗原子弹和氢弹就是在这里诞生。

该研究证明了量子神经网络也存在类似结果。研究表明，某些基于Haar随机幺正或正交量子神经网络的模型的输出在大希尔伯特空间维度d的极限内收敛到高斯过程。由于输入状态所扮演的角色、测量可观察量以及幺正矩阵的条目不是独立的，这个结果的推导比经典情况更加微妙。研究还认为，使用高斯过程回归预测量子神经网络输出测量值的效率取决于测量的量子比特的数量。此外，定理表明，Haar随机量子神经网络中的测量集中现象比以前认为的更差。

研究背景

神经网络（NNs）彻底改变了机器学习（ML）和人工智能。他们在众多研究领域的广泛应用中取得的巨大成功无疑是令人惊讶的。关于NNs最有趣的结果之一是，当参数从独立且同分布（i.i.d.）先验初始化时，具有单个隐藏层的全连接模型在大量隐藏神经元的限制下收敛到高斯过程（GPs）。最近，研究表明，i.i.d.初始化、完全连接、多层NNs也会收敛到无限宽限制中的GPs。此外，其他架构，如CNNs、 transformers和递归神经网络RNNs，在某些假设下也是GPs。

图：主要成果示意图

NNs和GP之间的对应关系不仅仅是一种数学上的好奇现象，它还为使用宽NNs对回归和学习任务执行精确的贝叶斯推理提供了可能性。使用GPs训练宽NNs需要对训练集的协方差矩阵进行逆运算，这一过程的计算成本可能很高。最近的研究探索了使用量子线性代数技术来有效地执行这些矩阵求逆，可能在计算上相较于标准经典方法提供多项式级别的加速。

事实上，量子计算机的出现激发了人们对将量子计算与ML融合的巨大兴趣，从而推动了量子机器学习（QML）领域的蓬勃发展。该领域取得了快速进展，这主要是由于希望QML可能在短期内为一些实际相关的问题提供量子优势。尽管这种实际量子优势的前景仍不明朗，但已有一些有前景的分析结果。

理论方法

在经典神经网络中，当隐藏层神经元数量趋于无穷大时，网络的输出可以被描述为高斯过程。这一结论基于中心极限定理，因为网络输出是大量独立同分布随机变量的和。然而，在量子神经网络中，情况更为复杂。量子神经网络的输出是由输入量子态通过参数化的量子电路（即量子神经网络）演化后，测量某个可观测量的期望值得到的。

图：二维GP

这些输出不仅依赖于输入态，还受到测量可观测量的约束。此外，幺正矩阵的元素并非独立分布，这使得我们不能直接应用中心极限定理来证明量子神经网络的输出会收敛到高斯过程。

为了克服这一挑战，研究采用了一种基于矩计算的方法。首先考虑一个量子数据集，其中包含在d维希尔伯特空间上的量子态集合。这些量子态通过一个深度量子神经网络（QNN）演化，然后测量某个迹为零的厄米算符的期望值。团队定义了一个向量来收集这些期望值，并证明了在大d极限下，这个向量的分布会收敛到高斯过程。

为了证明这一点，研究中首先计算了这个向量的所有矩，并展示了它们在大d极限下与多元高斯分布的矩渐近匹配。具体来说，团队证明了以下几点：

期望值为零：对于任意输入态和测量算符，量子神经网络输出的期望值为零。

协方差结构：当测量相同的可观测量时，不同输入态的输出之间存在协方差。协方差的大小取决于输入态之间的重叠程度。如果输入态之间的重叠为正，则协方差为正；如果重叠为零，则协方差为零；如果重叠为负，则协方差为负。

矩的匹配：团队通过计算高阶矩证明了量子神经网络输出的矩在大d极限下与高斯分布的矩完全匹配。这一结果表明，量子神经网络的输出在大d极限下确实形成了高斯过程。

为了进一步支持这一结论，团队还进行了数值模拟。

图：哈尔随机QNN和Cj(ρi) 的概率密度函数和不同问题规模

团队考虑了一个具有18个量子比特的系统，并通过Haar随机幺正矩阵生成量子神经网络。用不同的输入态，测量特定的可观测量（如Pauli算符）。经模拟，研究观察到了量子神经网络输出的二维高斯分布，这与理论预测完全一致。

实验方案

在量子机器学习中，量子神经网络的训练和测试通常需要通过量子实验来实现。这项研究虽然主要关注理论分析，但他们也提出了一个可能的实验方案，用于验证量子神经网络输出的高斯过程特性。

实验的核心是构建一个量子神经网络，该网络由一系列量子门组成，这些量子门的参数可以通过训练进行调整。团队考虑一个具有n个量子比特的系统，并使用深度量子电路作为量子神经网络。输入态可以从一个量子态集合中选择，这些量子态可以是通过某种量子过程生成的，也可以是经典数据编码到量子态中得到的。

为了验证量子神经网络的输出是否形成高斯过程，团队测量多个输入态的输出，并计算这些输出之间的协方差。首先从量子态集合中选择多个不同的输入态。这些输入态可以是正交的，也可以是非正交的，具体取决于研究想要验证的高斯过程的类型（正相关、不相关或负相关）。对于每个输入态，通过量子神经网络后，测量某个固定的可观测量的期望值，这个可观测量可以是Pauli算符或其他迹为零的厄米算符。

图：量子GP回归

随后，收集所有输入态的测量结果，并计算这些结果之间的协方差矩阵。根据研究理论，协方差矩阵的结构应该与高斯过程的协方差矩阵一致。最后，通过多次重复实验，收集足够多的测量数据来验证输出是否服从高斯分布。

该实验在实际操作中面临各种挑战，如需要精确地制备所需量子态、构建深度量子电路需要高保真的量子门操作、测量可观测量的期望值需要高精度的量子测量技术，尤其是在处理低信噪比的情况下。由于量子测量的随机性，需要对大量数据进行统计分析，以验证输出的高斯过程特性。

研究成果

本研究的核心成果是证明了在大希尔伯特空间维度下，量子神经网络的输出会收敛到高斯过程。这一结果不仅为量子神经网络的理论研究提供了新的视角，还为量子机器学习的实际应用提供了新的可能性。

高斯过程的形成

研究者证明了在特定条件下，量子神经网络的输出在大希尔伯特空间维度下会形成高斯过程。具体来说，他们考虑了基于Haar随机幺正或正交群的量子神经网络，并展示了其输出的矩在大d极限下与高斯分布的矩完全匹配。这一结果表明，量子神经网络的输出在大d极限下确实形成了高斯过程。

预测能力

团队进一步探讨了量子神经网络输出的高斯过程在预测任务中的应用。通过贝叶斯推断，他们可以利用已有的训练数据来预测新的输入态的输出。他们发现，当量子神经网络作用于少量量子比特时（例如，与输入态的量子比特数量成对数关系），使用高斯过程进行预测是高效的。然而，当量子神经网络作用于所有量子比特时，预测需要指数级的测量次数。

浓度现象

团队进一步研究了量子神经网络输出的浓度现象。他们发现，量子神经网络的输出和梯度在大d极限下会以指数级的速度集中于其均值附近。这一现象被称为“荒芜高原”(barren plateau)，它表明在大希尔伯特空间维度下，量子神经网络的训练可能会变得非常困难。

t-设计的推广

团队将量子神经网络形成高斯过程的结果推广到了t-设计的情况。t-设计是一种更实际的量子神经网络模型，它在小深度下可以近似Haar随机幺正矩阵的性质。研究证明了在t-设计下，量子神经网络的输出仍然可以近似为高斯过程，这为实际应用提供了理论支持。

关于美国洛斯·阿拉莫斯国家实验室

洛斯·阿拉莫斯国家实验室(Los Alamos National Laboratory，LANL)成立于1943年，位于美国西南部的新墨西哥州，是美国最重要的科学和技术研发机构之一，特别是在核武器研发历史和国防技术方面占据重要地位。世界第一颗原子弹和氢弹就是在这里诞生。

来源：中国核技术网