统计力学研究快报
用 AI 跟踪日新月异的统计力学领域进展
SETOL: A Semi-pirical Theory of (Deep) Learning(深度学习)
我们提出了一个半经验学习理论(SETOL),解释了State-Of-The-Art(SOTA)神经网络(NNs)的显着表现。 我们正式解释了重尾自平化(HTSR)现象学理论中基本量的起源:重尾功率法层质量指标,阿尔法和阿尔法帽。 在之前的研究中,这些指标已被证明可以预测预训练的SOTA NN模型的测试精度的趋势,重要的是,无需访问测试或训练数据。 我们的SETOL使用来自统计力学的技术以及随机矩阵理论和量子化学的高级方法。 推导提出了理想的学习的新的数学先决条件,包括一个新的度量,ERG,它相当于应用威尔逊精确再规范化的小组的单个步骤。 我们在一个简单的3层多层感知器(MLP)上测试了SETOL的假设和预测,证明了与关键理论假设的良好一致性。 对于 SOTA NN 模型,我们展示了如何通过简单地计算层重量矩阵的经验光谱密度 (ESD) 并将这个 ESD 插入我们的 SETOL 公式来估计训练 NN 的单个层质量。 值得注意的是,我们研究了HTSR alpha和SETOL ERG层质量指标的性能,并发现它们在我们的MLP和SOTA NN上非常吻合。
贝叶斯符号回归:从物理学家的角度来看自动方程发现
符号回归自动化从数据中学习封闭式数学模型的过程。 符号回归的标准方法以及较新的深度学习方法依赖于英雄主义模型选择标准,英雄主义正则化和模型空间的人文主义探索。 在这里,我们讨论了符号回归的概率方法,这是这种与信息理论和统计物理学直接相关的后人主义方法的替代品。 我们展示了概率方法如何从基本考虑和明确的近似值中建立模型合理性,以及它如何提供经验方法缺乏的性能保证。 我们还讨论了概率方法如何迫使我们考虑模型集合,而不是单一模型。
吉布斯的元学习状态为许多身体汉密尔顿人与量子玻尔兹曼机器的应用程序
量子吉布斯状态的制备是量子计算的一个基本挑战,对于从模拟开放量子系统到量子机器学习等应用至关重要。 基于Cervera-Lierta等人提出的Meta-Variational Quantum Eigensolver框架和问题驱动的反卫星设计,我们引入了两种元学习算法:Meta-Variational Quantum Thermalizer(Meta-VQT)和Neural Network Meta-VQT(NN-Meta VQT),用于在Noisy中级量子(Imate-Dum)上对参数化Hamilians进行高效热态制备。 Meta-VQT采用完全量子的anatz,而NN Meta-VQT集成了量子经典混合架构。 两者都利用集体优化训练集,将Gibbs状态准备推广到看不见的参数。 我们在高达 8 量子位的横向场 ising 模型和 2 量子位海森堡模型上验证了我们的方法,并展示了超越训练数据的高效热态生成。 对于较大的系统,我们表明,当与适当设计的 ansatz 结合时,我们的元学习参数可以作为温暖的开始初始化,在优化任务中显著优于随机初始化。 此外,一个3量子位的Kitaev环示例展示了我们的算法在有限温度交叉机制中的有效性。 最后,我们应用我们的算法在2量子位海森堡模型上训练量子玻尔兹曼机器(QBM),具有所有字段,实现更高的训练效率,提高吉布斯状态精度,并且比现有技术(如基于可变量子假想时间(VarQITE)的QBM)的30倍运行时加速,突出了基于元算法的QBM的可扩展性和实用性。
相关分类
最新研究
SETOL: A Semi-pirical Theory of (Deep) Learning(深度学习)
我们提出了一个半经验学习理论(SETOL),解释了State-Of-The-Art(SOTA)神经网络(NNs)的显着表现。 我们正式解释了重尾自平化(HTSR)现象学理论中基本量的起源:重尾功率法层质量指标,阿尔法和阿尔法帽。 在之前的研究中,这些指标已被证明可以预测预训练的SOTA NN模型的测试精度的趋势,重要的是,无需访问测试或训练数据。 我们的SETOL使用来自统计力学的技术以及随机矩阵理论和量子化学的高级方法。 推导提出了理想的学习的新的数学先决条件,包括一个新的度量,ERG,它相当于应用威尔逊精确再规范化的小组的单个步骤。 我们在一个简单的3层多层感知器(MLP)上测试了SETOL的假设和预测,证明了与关键理论假设的良好一致性。 对于 SOTA NN 模型,我们展示了如何通过简单地计算层重量矩阵的经验光谱密度 (ESD) 并将这个 ESD 插入我们的 SETOL 公式来估计训练 NN 的单个层质量。 值得注意的是,我们研究了HTSR alpha和SETOL ERG层质量指标的性能,并发现它们在我们的MLP和SOTA NN上非常吻合。
贝叶斯符号回归:从物理学家的角度来看自动方程发现
符号回归自动化从数据中学习封闭式数学模型的过程。 符号回归的标准方法以及较新的深度学习方法依赖于英雄主义模型选择标准,英雄主义正则化和模型空间的人文主义探索。 在这里,我们讨论了符号回归的概率方法,这是这种与信息理论和统计物理学直接相关的后人主义方法的替代品。 我们展示了概率方法如何从基本考虑和明确的近似值中建立模型合理性,以及它如何提供经验方法缺乏的性能保证。 我们还讨论了概率方法如何迫使我们考虑模型集合,而不是单一模型。
吉布斯的元学习状态为许多身体汉密尔顿人与量子玻尔兹曼机器的应用程序
量子吉布斯状态的制备是量子计算的一个基本挑战,对于从模拟开放量子系统到量子机器学习等应用至关重要。 基于Cervera-Lierta等人提出的Meta-Variational Quantum Eigensolver框架和问题驱动的反卫星设计,我们引入了两种元学习算法:Meta-Variational Quantum Thermalizer(Meta-VQT)和Neural Network Meta-VQT(NN-Meta VQT),用于在Noisy中级量子(Imate-Dum)上对参数化Hamilians进行高效热态制备。 Meta-VQT采用完全量子的anatz,而NN Meta-VQT集成了量子经典混合架构。 两者都利用集体优化训练集,将Gibbs状态准备推广到看不见的参数。 我们在高达 8 量子位的横向场 ising 模型和 2 量子位海森堡模型上验证了我们的方法,并展示了超越训练数据的高效热态生成。 对于较大的系统,我们表明,当与适当设计的 ansatz 结合时,我们的元学习参数可以作为温暖的开始初始化,在优化任务中显著优于随机初始化。 此外,一个3量子位的Kitaev环示例展示了我们的算法在有限温度交叉机制中的有效性。 最后,我们应用我们的算法在2量子位海森堡模型上训练量子玻尔兹曼机器(QBM),具有所有字段,实现更高的训练效率,提高吉布斯状态精度,并且比现有技术(如基于可变量子假想时间(VarQITE)的QBM)的30倍运行时加速,突出了基于元算法的QBM的可扩展性和实用性。
用于密集关联记忆的更高订单Kuramoto振荡器网络
相位振荡器的网络可以作为密集的关联记忆,如果它们包含更高阶的耦合,超越经典的Kuramoto模型的成对相互作用。 在这里,我们引入了一个广义的Kuramoto模型,结合了第二谐波(配对)和第四谐波(四分法)耦合,灵感来自密集的Hopfield记忆理论。 使用均场理论及其动态近似值,我们获得了一个密集的关联记忆模型的相位图,该模型表现出一个三重临界点,在这个临界点上,记忆检索的连续开始被不连续的,歇斯底里的过渡所取代。 在夸特主导的制度中,该系统支持与存储内存模式对应的双表相锁状态,内存和不连贯状态之间存在相当大的能量屏障。 我们分析确定这个双表区域,并表明内存状态(由于噪声)的逃逸时间随着网络大小呈指数级增长,表明强大的存储。 将理论扩展到有限内存负载,我们表明高阶联轴器实现了具有系统大小的内存容量的超线性缩放,远远超过仅对向振荡器的极限。 振荡器网络的大规模模拟证实了我们的理论预测,证明了许多相位模式的快速检索和强大的存储。 这些结果将Kuramoto与现代Hopfield记忆的同步连接起来,指向振荡器系统中高容量,模拟关联记忆的实验实现。
通过深度神经网络调谐降低共聚物相容性预测的数据要求
合成序列控制的聚合物有望通过将合成聚合物的化学多功能性与生物蛋白质的精确序列介导功能相结合来改变聚合物科学。 然而,事实证明,这些材料的设计极具挑战性,因为它们缺乏密切相关的进化分子的大量数据集,这些分子加速了蛋白质的设计。 在这里,我们报告一项新的人工智能战略,以大幅减少加速这些材料设计所需的数据量。 我们专注于将相容分子的重复单元序列与其降低不同聚合物域之间的界面张力的能力联系起来的数据。 这些分子的最佳序列对于混合废物聚合物回收等应用至关重要,强烈依赖于聚合物的浓度和化学细节等变量。 对于当前的方法,这将需要一个完全不同的数据集来在每个条件下实现设计。 在这里,我们展示了一个在一组条件下对序列/界面张力关系低保真数据进行训练的深度神经网络可以快速调整,以便在一组不同的条件下进行更高保真度的预测,需要的数据要少得多。 这种启动和调整方法应该允许单个低保真父数据集大大加速整个相关系统中的预测和设计。 从长远来看,它还可能提供了一种从快速,粗糙的模拟中引导定量原子设计的方法。
学习Kinetic Monte Carlo随机动力学与深度生成对抗网络
我们表明,生成对抗网络(GAN)可能会有效地利用来学习随机动力学,在捕捉热波动的同时推测传统模型。 具体来说,我们将应用展示到二维,多粒子系统,重点关注表面步向波动和相关的时间依赖性粗糙度。 在构建基于Kinetic Monte Carlo模拟的数据集后,对条件GAN进行了训练,以及时传播系统的状态,从而能够以较低的计算成本生成新序列。 讨论了标准GAN的修改,这些修改有助于融合和提高准确性。 训练后的网络被证明可以定量地再现平衡和动力学特性,包括缩放定律,偏离确切值的几个百分点。 推断限制和未来前景进行了批判性的讨论。
时间相对坚希相在高维优化中的作用
梯度下降通常用于在粗糙的景观中找到最小值,特别是在最近的机器学习应用中。 然而,对为什么找到好的解决方案的理论理解仍然难以捉摸,特别是在强烈的非凸和高维设置中。 在这里,我们以阶段检索问题为典型例子,最近在理论机器学习中受到很多关注。 我们分析了梯度下降过程中的黑森,确定了其光谱特性中的动态过渡,并将其与在损失景观中逃离粗糙区域的能力联系起来。 当信噪比(SNR)足够大时,在下降开始时,即初始条件下的Hessian中存在一个信息负方向。 在下降时,光谱中的BBP过渡在有限的时间内发生:方向丢失,并且动力学被困在一个崎岖不平的区域,充满了略微稳定的坏极。 令人惊讶的是,对于有限的系统尺寸,这个负曲率的窗口允许系统在理论SNR找到无限大小之前很好地恢复信号,强调初始化和早期动力学的核心作用,以有效地导航粗糙的景观。
虚拟量子马尔可夫链
量子马尔可夫链将随机变量的古典马尔可夫链推广到量子领域,并表现出独特的固有特性,使其成为量子信息理论的重要特征。 在这项工作中,我们提出了虚拟量子马尔可夫链(VQMCs)的概念,重点关注子系统从测量统计中保留全球系统经典信息的场景。 作为量子马尔可夫链的概括,VQMCs表征了可以通过局部量子操作和测量从子系统中恢复任意全局阴影信息的状态。 我们提出了虚拟量子马尔可夫链的代数表征,并表明虚拟量子恢复是由其子系统上量子态的块矩阵完全决定的。 值得注意的是,我们发现两个类别的三方纠缠之间的区别,通过显示W状态是VQMC,而GHZ状态不是。 此外,我们引入了虚拟非马尔科维亚性来量化给定量子态的非马尔可维性,该状态还评估了几乎恢复这种状态的最佳采样开销。 我们的发现阐明了量子马尔可夫链和虚拟量子马尔可夫链之间的区别,将我们对量子恢复的理解扩展到了从测量统计中优先考虑经典信息的场景。
在 Nishimori 条件下的复制对称性的证据在图表上的流行病推断
在贝叶斯推理中,计算数据中的后验分布通常是一个非平凡的问题,通常需要近似值,如均场方法或数值方法,如蒙特卡洛马尔可夫链。 作为一组相关变量的高维分布,后验分布可以经历臭名昭着的复制对称断裂过渡。 当它发生时,几种平均字段方法和几乎每一个蒙特卡洛方案都无法为后人及其边缘人提供合理的近似。 据信,每当数据以已知的先前和可能性分布生成时,即所谓的Nishimori条件下,都会得到保证。 在本文中,我们打破了这一信念,提供了一个反例,表明在Nishimori条件下,出现了复制对称性断裂。 引入一个简单,几何模型,可以被认为是流行病高度传染性的“易感性”模型中的患者零检索问题,我们表明,在Nishimori条件下,有复制对称性断裂的证据。 我们通过计算复制对称空腔方法的不稳定性来实现这一结果,达到一步副本对称断裂相。 这种现象的起源 - 在Nishimori条件下的复制对称断裂 - 可能是由于流行病模型中出现的相关障碍。
抽样决定
在这份手稿中,我们介绍了一个新的决策流程(DF)框架,用于从目标分布中采样决策,同时包含来自先前采样器的额外指导。 DF可以被视为Markov决策过程(MDP)方法的AI驱动的算法转世,用于随机最佳控制。 它将[Behjoo, Chertkov 2025]的连续空间,连续时间路径集成扩散采样技术扩展到离散时间和空间,同时还将[Bengio, et al 2021]的生成流网络(GFN)框架进行了概括。 在其最基本的形式中,不需要神经网络(NN)的明确公式,DF利用底层MDP的线性可溶解性[Todorov,2007]来调整先前采样器的过渡概率。 由此产生的马尔可夫过程表示为与目标分布的先前采样的反向时间绿色函数的卷积。 我们通过 Ising 模型的采样示例来说明 DF 框架 – 将 DF 与 Metropolis-Hastings 进行比较,以量化其效率,讨论基于 NN 的潜在扩展,并概述 DF 如何在各种应用中增强引导采样。
与微生物组交换的相互作用主机:离散相互作用的Metacommunity理论的扩展
微生物群是环境中相互作用的微生物的集合,通常对它们占据的环境斑块或活体宿主产生实质性影响。 在微生物组模型中,重要的是要考虑环境中的局部动力学和环境之间的微生物组交换。 跨多个尺度整合这些和其他相互作用的一种方法是采用元社区理论。 元社区模型通常假设局部微生物组动力学发生的环境之间的连续微生物组分散。 在这个假设下,每对环境之间的单个参数控制这些环境之间的分散率。 这种元社区框架非常适合非生物环境补丁,但它未能捕捉到生活宿主微生物组的一个重要方面,这些微生物组通常不会持续相互作用。 相反,生活主机在离散的时间间隔中相互作用。 在本文中,我们开发了一个建模框架,该框架对此类离散相互作用进行编码,并使用两个参数分别控制主机之间的相互作用频率和每次相互作用过程中的微生物组交换量。 我们在三个参数方案中得出模型的分析近似值,并证明它们在这些机制中是准确的。 我们将这些近似值与说明模型的数值模拟进行比较。 我们证明,我们的建模框架中的这两个参数对于确定微生物组动力学是必要的。 动力学的关键特征,如宿主之间的微生物组融合,敏感地取决于相互作用频率和强度之间的相互作用。
来自统计力学和混沌映射的王平问题部分可判定性协议
我们通过构建不同大小的有限方块的平铺图,为王平打问题(这是组合学和统计物理学中不可判定问题的原型)引入部分可判定性协议。 这样的映射取决于王瓦(字母表)的初始家族,人们希望用它来平铺飞机。 这允许定义与字母表相关的有效熵和温度(连同相应的分区函数)。 我们通过观察给定字母表的熵和温度在热力学意义上表现良好,那么这种字母可以平铺无限二维平面来识别一个良好的字母的亚类。 我们的建议成功地测试了已知的良好字母表(产生周期性的瓷砖,周期性但自我相似的瓷砖以及既不周期性也不自我相似的瓷砖)。 我们的分析显示,Kendall Tau系数能够将具有良好热力学行为的字母与具有不良热力学行为的字母区分开来。 从良好行为到不可判定行为的转变与物流类型的离散动力学系统中从非混乱到混乱制度的过渡有关。
相互信息和应急表的编码
相互信息通常用作衡量给定对象一组相互竞争的标签之间的相似性,例如量化分类和社区检测任务的性能。 然而,正如最近所争论的那样,传统定义的相互信息可以返回有偏见的结果,因为它忽略了所谓的应急表的信息成本,这是相似性计算的一个关键组成部分。 原则上,可以通过减去适当的信息成本来纠正偏差,导致修改的度量被称为减少的相互信息,但在实践中,人们只能计算此信息成本的上限,而减少的相互信息的价值关键取决于如何建立约束。 在本文中,我们描述了一种改进的编码应急表的方法,该方法在典型用例中提供了更好的约束,并且在标签非常相似的常见情况下接近理想值,正如我们以广泛的数值结果证明的那样。
基于熵的模型,将现实世界的超图随机化
网络理论经常忽视多体关系,只关注成对的互动:然而,忽视它们可能导致复杂系统的误导性表示。 Hypergraphs 代表了一个合适的框架来描述多亚体相互作用。 在这里,我们利用基于发生率矩阵的超图表示,将基于熵的方法扩展到高阶结构:与指数随机图类比,我们引入了指数随机超图(ERH)。 在探索阈值泛化阈值的渐近行为后,我们将应用ERHs来研究真实世界的数据。 首先,我们将关键网络指标泛化为超图;然后,我们计算它们的预期值并将其与经验值进行比较,以检测随机行为的偏差。 我们的方法在分析上是可处理的,可扩展的,能够揭示现实世界超图的结构模式,这些模式与由于更简单的限制而出现的变化有很大不同。
神经网络的结构特性对机器学习性能的影响
近年来,基于图的机器学习技术,如强化学习和图形神经网络,已经引起了极大的关注。 虽然最近的一些研究已经开始探索神经网络的图形结构与其预测性能之间的关系,但它们通常将自己限制在狭窄的模型网络范围内,特别是缺乏社区等中尺度结构。 我们的工作通过进行更全面的调查来推进这一领域,纳入以异构度分布和社区结构为特征的现实网络结构,这是许多真实网络的典型特征。 这些社区结构为网络架构提供了细致入微的视角。 我们的分析采用随机和无尺度网络等模型网络,以及与生物神经网络及其子集的比较,以便进行更详细的分析。 我们研究这些结构属性对图像分类任务性能的影响。 我们的研究结果表明,结构特性在一定程度上会影响性能。 具体而言,具有连贯、紧密连接的社区的网络展示了增强的学习能力。 与生物神经网络的比较强调了我们的研究结果与现实世界结构的相关性,这表明一个有趣的联系值得进一步探索。 这项研究对网络科学和机器学习做出了有意义的贡献,提供了可以激发更多生物学信息神经网络设计的见解。
离散吸引神经网络中致密模式的动态稳定性
存储多个离散吸引器的神经网络是生物记忆的典型模型。 以前,这种网络的动态稳定性只能在高度限制的条件下得到保证。 在这里,我们得出了一个理论,即离散固定点在具有分级神经活动和存在噪声的广泛网络中的局部稳定性。 通过直接分析Jacobian光谱的体积和异常值,我们表明所有固定点都稳定在临界负载以下,该临界负载不同于经典临界容量,并且取决于固定点中神经活动的统计以及单神经元激活函数。 我们的分析强调了阈值线性激活和稀疏模式的计算优势。
指数随机图的定量中心极限定理
铁磁指数随机图模型(ERGMs)是Erdős-Rényi模型的非线性指数倾斜,根据该模型,可以强调三角形等某些子图的存在。 这些模型是可伸缩井的混合物,每个井在宏观上表现得像新的Erdős-Rényi模型本身,在整体边缘计数和所有子图计数中表现出相同的大数定律。 然而,这些数量的微观波动在一段时间内仍然难以捉摸。 在Fang,Liu,Shao和Zhao [FLSZ24]在Stein方法的推动下,我们证明了这些数量的定量中心极限定理(CLT)以及铁磁ERGM下的转移井中的更多。 我们结果的一个主要新颖之处在于,它们也适用于超临界(低温)参数机制,该参数以前相对未开发。 为了实现这一目标,我们开发了一种新颖的概率技术,该技术基于对ERGM Glauber动力学下相关数量演变的仔细分析。 我们的技术允许我们向[FLSZ24]开发的方法提供主要输入,这是子图计数的波动是由整体边缘计数的波动驱动的。 这首先由Sambale和Sinulis [SS20]在Dobrushin(非常高的温度)方案中通过功能分析方法显示。 我们觉得我们的技术澄清了潜在的机制,并且它还提供了Wasserstein和Kolmogorov手边的可观测物和限制高斯人之间的距离的改进边界,与[FLSZ24]在Dobrushin政权之外的亚临界(高温)制度中的结果相比。 此外,我们的技术足够灵活,也可以产生顶点度和局部子图计数的定量CLT,这些值以前没有出现在任何参数方案中。
优化学习的统计物理框架
学习是一个复杂的动态过程,由一系列相互关联的决策所塑造。 人为神经网络的超参数时间表的仔细设计或生物学习者有效分配认知资源可能会极大地影响性能。 然而,对最佳学习策略的理论理解仍然很少,特别是由于不断发展的元参数和非线性学习动力学之间的错综复杂的相互作用。 寻找最优协议进一步受到学习空间高维度的阻碍,通常导致主要是温馛,难以解释和计算要求很高的解决方案。 在这里,我们将统计物理学与控制理论结合在一个统一的理论框架中,以确定原型神经网络模型中的最佳协议。 在高维极限中,我们得出闭式普通微分方程,通过低维顺序参数跟踪在线随机梯度下降。 我们制定学习协议的设计,作为直接对顺序参数动态进行的最佳控制问题,目的是在训练结束时最小化概括误差。 这个框架包括各种学习场景、优化约束和控制预算。 我们将其应用于具有代表性的案例,包括最佳课程,自适应辍学规范化和取消编码器的噪声时间表。 我们发现非平凡但可解释的策略突出了最优协议如何调解关键的学习权衡,例如最大化与信息输入方向的对齐,同时最大限度地减少噪音拟合。 最后,我们将展示如何将我们的框架应用于真实的数据集。 我们的研究结果为理解和设计最佳学习协议奠定了原则性基础,并提出了一条以统计物理学为基础的元学习理论的道路。
比它们部分的总和:从统计到结构混合物
我们表明,由多组分系统组成的混合物通常比其部分的总和在结构上复杂得多;有时,更复杂。 我们将其与更熟悉的统计混合物概念进行了对比,展示了统计混合物如何错过新兴分层组织的关键方面。 这导致我们确定了多组分系统中固有的一种新的结构复杂性,并为系统错误性得出广泛的后果。
大规模组合优化,具有变异神经退火
投资组合优化是在全球金融机构进行的例行资产管理操作。 然而,在诸如周转限制和交易成本等现实世界的限制下,其配方成为一个混合整数非线性程序,当前的混合整数优化器经常难以解决。 我们建议将这个问题映射到经典的Ising-like Hamiltonian上,并通过使用自回归神经网络实现的经典公式来解决它。 我们证明,VNA可以为投资组合确定近乎最优的解决方案,包括2,000多项资产,并产生与Mosek等最先进的优化器相媲美的性能,同时在硬实例上表现出更快的收敛性。 最后,我们介绍了应用于S P 500、Russell 1000和Russell 3000指数的动态有限尺寸缩放分析,揭示了VNA算法在投资组合优化问题上的普遍行为和多项式退火时间缩放。