无序系统与神经网络研究快报
用 AI 跟踪日新月异的无序系统与神经网络领域进展
适应性神经量子状态:递归神经网络视角
神经网络量子态(NQS)是强大的神经网络类,它已成为通过变异原理透镜研究量子多体物理学的有前途的工具。 众所周知,这些架构可以通过增加参数的数量来系统地进行改进。 在这里,我们演示了一个自适应方案,通过循环神经网络(RNN)的例子来优化NQS,使用一小部分计算成本,同时减少训练波动,提高针对一空间和双空间维度原型模型地面状态的变异计算质量。 这种自适应技术通过训练小型RNN并重复使用它们来初始化更大的RNN来降低计算成本。 这项工作为优化部署在大规模 NQS 模拟中的图形处理单元 (GPU) 资源开辟了可能性。
零和无序系统的算法:均场自旋眼镜
旋转眼镜是统计物理学的核心,平均案例计算复杂性理论和现代高维统计推理的基本概率分布。 在均场设置中,我们设计了确定性的准多项式时间算法,用于估计分区函数在第二时刻机制中几乎所有逆温度的任意高精度。 特别是对于Sherrington-Kirkpatrick模型,我们的算法几乎在整个复制对称阶段都取得了成功。 为了达到这个目的,我们研究分区函数的零的位置。 值得注意的是,我们的方法在概念上很简单,并且同样适用于球形案例和Ising旋转的情况。
用于智能非晶合金设计的材料网络表示构建
高性能非晶合金的设计在各种应用中都存在迫切需求，但这一过程严重依赖经验法则和无限尝试。传统策略的高成本与低效特性阻碍了在巨大材料空间中的有效采样。本文提出材料网络方法来加速二元和三元非晶合金的发现。网络拓扑结构揭示了被传统表格数据表示所掩盖的潜在候选材料。通过分析不同年份合成的非晶合金，我们构建了动态材料网络来追踪合金发现的历史。研究发现，过去设计的一些创新材料已被编码在这些网络中，证明了它们在指导新合金设计方面的预测能力。这些材料网络与日常生活中的若干现实网络表现出物理相似性。我们的发现为智能材料设计（特别是复杂合金）开辟了新途径。
从磁力显微镜图像中人工自旋冰中磁力的深层生成学习
具有原子分辨率的越来越大型的微观图像数据集促进了机器学习方法的开发,以识别和分析嵌入在图像中的细微物理现象。 在这项工作中,蜂窝晶格自旋冰样品的微观图像作为数据集,我们从中自动计算净磁矩和自旋冰配置的方向。 在我们工作流程的第一阶段,机器学习模型经过训练,可以准确预测自旋冰结构中的磁矩和方向。 Variational Autoencoders(VAEs)是一种新兴的无监督深度学习技术,用于生成高质量的合成磁力显微镜(MFM)图像并提取潜在的特征表示,从而减少实验和分割错误。 提出的第二阶段方法能够精确识别和预测受挫的顶点和纳米磁段,有效地将微观图像的结构和功能方面联系起来。 这有利于设计优化的自旋冰配置,具有受控制的挫折模式,从而实现潜在的按需合成。
图形学习金属玻璃发现从维基百科
高效合成新材料在各个研究领域都很高要求。 然而,这个过程通常是缓慢而昂贵的,特别是对于金属眼镜,其形成强烈取决于多种元素的最佳组合来抵抗结晶。 自1960年以来,这一限制只能在广阔的物质空间中探索了数千名候选人。 最近,由先进的机器学习技术武装的数据驱动方法为智能材料设计提供了替代途径。 由于数据稀缺和不成熟的材料编码,传统的表格数据通常由统计学习算法挖掘,从而限制了模型的可预测性和可推广性。 在这里,我们提出从材料网络表示中学习复杂的数据。 节点元素由维基百科语言模型编码。 具有多功能架构的图形神经网络旨在作为推荐系统,以探索材料之间的隐藏关系。 通过采用不同语言的维基百科嵌入,我们评估自然语言在材料设计中的能力。 我们的研究提出了一种新的范式,以收获新的无定形材料以及人工智能。
相关分类
最新研究
适应性神经量子状态:递归神经网络视角
神经网络量子态(NQS)是强大的神经网络类,它已成为通过变异原理透镜研究量子多体物理学的有前途的工具。 众所周知,这些架构可以通过增加参数的数量来系统地进行改进。 在这里,我们演示了一个自适应方案,通过循环神经网络(RNN)的例子来优化NQS,使用一小部分计算成本,同时减少训练波动,提高针对一空间和双空间维度原型模型地面状态的变异计算质量。 这种自适应技术通过训练小型RNN并重复使用它们来初始化更大的RNN来降低计算成本。 这项工作为优化部署在大规模 NQS 模拟中的图形处理单元 (GPU) 资源开辟了可能性。
从磁力显微镜图像中人工自旋冰中磁力的深层生成学习
具有原子分辨率的越来越大型的微观图像数据集促进了机器学习方法的开发,以识别和分析嵌入在图像中的细微物理现象。 在这项工作中,蜂窝晶格自旋冰样品的微观图像作为数据集,我们从中自动计算净磁矩和自旋冰配置的方向。 在我们工作流程的第一阶段,机器学习模型经过训练,可以准确预测自旋冰结构中的磁矩和方向。 Variational Autoencoders(VAEs)是一种新兴的无监督深度学习技术,用于生成高质量的合成磁力显微镜(MFM)图像并提取潜在的特征表示,从而减少实验和分割错误。 提出的第二阶段方法能够精确识别和预测受挫的顶点和纳米磁段,有效地将微观图像的结构和功能方面联系起来。 这有利于设计优化的自旋冰配置,具有受控制的挫折模式,从而实现潜在的按需合成。
图形学习金属玻璃发现从维基百科
高效合成新材料在各个研究领域都很高要求。 然而,这个过程通常是缓慢而昂贵的,特别是对于金属眼镜,其形成强烈取决于多种元素的最佳组合来抵抗结晶。 自1960年以来,这一限制只能在广阔的物质空间中探索了数千名候选人。 最近,由先进的机器学习技术武装的数据驱动方法为智能材料设计提供了替代途径。 由于数据稀缺和不成熟的材料编码,传统的表格数据通常由统计学习算法挖掘,从而限制了模型的可预测性和可推广性。 在这里,我们提出从材料网络表示中学习复杂的数据。 节点元素由维基百科语言模型编码。 具有多功能架构的图形神经网络旨在作为推荐系统,以探索材料之间的隐藏关系。 通过采用不同语言的维基百科嵌入,我们评估自然语言在材料设计中的能力。 我们的研究提出了一种新的范式,以收获新的无定形材料以及人工智能。
预测准一维系统磁化的图形神经网络方法
我们提出了一个基于图形的深度学习框架,用于预测准一维Ising自旋系统的磁性。 晶格几何形状被编码为图形,并由图形神经网络(GNN)处理,然后由完全连接的层处理。 该模型在蒙特卡洛模拟数据上训练,并准确再现磁化曲线的关键特征,包括高原、临界过渡点和几何挫折的影响。 它捕获了局部主题和全球对称性,表明GNN可以直接从结构连接中推断出磁性行为。 拟议的方法可以有效地预测磁化,而无需额外的蒙特卡洛模拟。
在困离子和超导硬件上对可调量子神经网络进行基准测试
我们在困离子和IBM超导量子计算机上实现了神经网络的量子化,对MNIST图像进行分类,这是计算机视觉中的通用基准。 网络前馈涉及量子位旋转,其角度取决于上一层的测量结果。 网络是通过模拟训练的,但在量子硬件上通过实验进行推理。 经典到量子对应由插值参数a控制,在经典极限中为零。 增加量子不确定性引入测量,这已被证明可以提高插值参数的中等值的网络性能。 然后,我们专注于那些未能被经典神经网络分类但在量子网络中正确检测到的特定图像。 对于这样的边缘情况,我们观察到与模拟行为的强烈偏差。 我们将此归因于物理噪声,这导致输出在分类能量景观的附近最小值之间波动。 对于清晰的图像,对物理噪声的如此强烈的敏感性是缺失的。 我们通过在神经网络电路中插入额外的单量子位和双量子位门对来进一步基准测试物理噪声。 我们的工作为当前设备上更复杂的量子神经网络提供了一个跳板:虽然该方法植根于标准的经典机器学习,但扩展此类网络可能被证明是经典的非同化,并可能为近期的量子优势提供途径。
用于密集关联记忆的更高订单Kuramoto振荡器网络
相位振荡器的网络可以作为密集的关联记忆,如果它们包含更高阶的耦合,超越经典的Kuramoto模型的成对相互作用。 在这里,我们引入了一个广义的Kuramoto模型,结合了第二谐波(配对)和第四谐波(四分法)耦合,灵感来自密集的Hopfield记忆理论。 使用均场理论及其动态近似值,我们获得了一个密集的关联记忆模型的相位图,该模型表现出一个三重临界点,在这个临界点上,记忆检索的连续开始被不连续的,歇斯底里的过渡所取代。 在夸特主导的制度中,该系统支持与存储内存模式对应的双表相锁状态,内存和不连贯状态之间存在相当大的能量屏障。 我们分析确定这个双表区域,并表明内存状态(由于噪声)的逃逸时间随着网络大小呈指数级增长,表明强大的存储。 将理论扩展到有限内存负载,我们表明高阶联轴器实现了具有系统大小的内存容量的超线性缩放,远远超过仅对向振荡器的极限。 振荡器网络的大规模模拟证实了我们的理论预测,证明了许多相位模式的快速检索和强大的存储。 这些结果将Kuramoto与现代Hopfield记忆的同步连接起来,指向振荡器系统中高容量,模拟关联记忆的实验实现。
架构感知最小化(A^2M):如何在神经架构搜索中找到扁平的最小
神经架构搜索(NAS)已成为设计有效和高效神经网络的重要工具。 在本文中,我们研究了可区分的NAS方法中常用的神经架构空间的几何特性,特别是NAS-Bench-201和DARTS。 通过定义平面度指标,如街区和建筑空间路径上的损失障碍,我们揭示了类似于重量空间中神经网络损失景观的众所周知的属性的局部性和扁平性特征。 特别是,我们发现高度精确的架构聚集在平坦的区域,而次优架构仍然保持隔离,揭示了架构搜索景观的详细几何结构。 在这些见解的基础上,我们提出了架构-感知最小化(A^2M),这是一种新颖的分析派生算法框架,首次明确地将可微分的NAS方法梯度偏向于建筑空间中的平面最小值。 A^2M在NAS-Bench-201和DARTS搜索空间中,在包括CIFAR-10、CIFAR-100和ImageNet16-120在内的基准数据集上,不断改进对基于DARTS的先进算法的推广。 值得注意的是,A^2M能够在不同的可区分NAS方法中平均提高测试精度,在CIFAR-10上提高+3.60%,在CIFAR-100上提高+4.60%,在ImageNet16-120上提高+3.64%,这证明了其在实践中的卓越有效性。 A^2M可以轻松集成到现有的可区分NAS框架中,为未来的自动化机器学习研究和应用提供了多功能工具。 我们开源我们的代码https : / /github.com/AI-Tech-Research-Lab/AsquaredM。
kagome 格子上 Rydberg 原子阵列的递归神经网络波函数
Rydberg原子阵列实验已经证明了作为强大的量子模拟器的能力,准备了与强相关的物质阶段,这对于传统的计算机模拟研究具有挑战性。 一个关键的方向是在沮丧的几何形状上实施相互作用,以努力准备异国情调的多体状态,如自旋液体和眼镜。 在本文中,我们应用二维循环神经网络(RNN)波函数来研究kagome晶格上Rydberg原子阵列的地面状态。 我们实施退火方案,在可能出现异域相位图的区域找到RNN变异参数,对应于粗糙的优化景观。 对于Rydberg原子阵列Hamiltonians之前在kagome晶格上研究过,我们的RNN地面状态没有显示异国情调的自旋液体或紧急玻璃行为的证据。 在后一种情况下,我们认为非零爱德华兹 - 安德森顺序参数的存在是量子蒙特卡洛(QMC)模拟经历的长时间自动关联时间的产物,我们表明通过增加数值努力可以系统地减少自动相关性。 这一结果强调了自退学模型(如RNN)与QMC结合的效用,在沮丧的晶格及其他方面探索Rydberg原子阵列物理。
时间相对坚希相在高维优化中的作用
梯度下降通常用于在粗糙的景观中找到最小值,特别是在最近的机器学习应用中。 然而,对为什么找到好的解决方案的理论理解仍然难以捉摸,特别是在强烈的非凸和高维设置中。 在这里,我们以阶段检索问题为典型例子,最近在理论机器学习中受到很多关注。 我们分析了梯度下降过程中的黑森,确定了其光谱特性中的动态过渡,并将其与在损失景观中逃离粗糙区域的能力联系起来。 当信噪比(SNR)足够大时,在下降开始时,即初始条件下的Hessian中存在一个信息负方向。 在下降时,光谱中的BBP过渡在有限的时间内发生:方向丢失,并且动力学被困在一个崎岖不平的区域,充满了略微稳定的坏极。 令人惊讶的是,对于有限的系统尺寸,这个负曲率的窗口允许系统在理论SNR找到无限大小之前很好地恢复信号,强调初始化和早期动力学的核心作用,以有效地导航粗糙的景观。
用于非全息力学的拉格朗根神经网络
拉格朗日神经网络(LNN)是解决物理系统的强大工具,特别是那些受保护定律管辖的系统。 LNN可以参数化系统的拉格朗日,以预测具有几乎守恒能量的轨迹。 这些技术已被证明在不受约束的系统以及具有全息限制的系统中有效。 在这项工作中,我们将LNN技术适应具有非全息约束的机械系统。 我们测试了一些具有非全息约束的知名示例的方法,表明将这些限制纳入神经网络的学习不仅可以提高轨迹估计的准确性,还可以确保与不受约束的对应物相比,遵守约束并表现出更好的能量行为。
用概率计算机推动硬组合优化中的量子优势边界
最近关于专业基准的演示重新点燃了量子计算机的兴奋,但它们是否能够为实际的现实问题带来优势仍然是一个悬而未决的问题。 在这里,我们展示了概率计算机(p-computers)与硬件共同设计以实现强大的蒙特卡洛算法时,为解决硬性优化问题提供了一个引人注目的和可扩展的经典途径。 我们专注于应用于3D自旋眼镜的两个关键算法:离散时间模拟量子退火(DT-SQA)和自适应并行回火(APT)。 我们将这些方法与领先的量子退火机在相同问题实例上的性能进行基准测试。 对于DT-SQA,我们发现增加复制品的数量可以改善残余能量缩放,符合极端价值理论的预期。 然后,我们表明APT在非本地异能聚类移动的支持下,表现出更有利的扩展,最终优于DT-SQA。 我们证明这些算法在现代硬件中很容易实现,预测自定义现场可编程门阵列(FPGA)或专用芯片可以利用大规模并行性来加速这些算法的数量级,同时大大提高能源效率。 我们的结果建立了一个新的,严格的经典基线,澄清了评估实用量子优势的景观,并将p计算机作为现实世界优化挑战的可扩展平台。
在 Nishimori 条件下的复制对称性的证据在图表上的流行病推断
在贝叶斯推理中,计算数据中的后验分布通常是一个非平凡的问题,通常需要近似值,如均场方法或数值方法,如蒙特卡洛马尔可夫链。 作为一组相关变量的高维分布,后验分布可以经历臭名昭着的复制对称断裂过渡。 当它发生时,几种平均字段方法和几乎每一个蒙特卡洛方案都无法为后人及其边缘人提供合理的近似。 据信,每当数据以已知的先前和可能性分布生成时,即所谓的Nishimori条件下,都会得到保证。 在本文中,我们打破了这一信念,提供了一个反例,表明在Nishimori条件下,出现了复制对称性断裂。 引入一个简单,几何模型,可以被认为是流行病高度传染性的“易感性”模型中的患者零检索问题,我们表明,在Nishimori条件下,有复制对称性断裂的证据。 我们通过计算复制对称空腔方法的不稳定性来实现这一结果,达到一步副本对称断裂相。 这种现象的起源 - 在Nishimori条件下的复制对称断裂 - 可能是由于流行病模型中出现的相关障碍。
成长神经网络:通过梯度下降的动态进化
与传统的人工神经网络(结构静态)相反,我们在训练过程中提出了将小型网络进化成更大网络的方法。 第一种方法采用直接控制网络大小的辅助权重,而第二种方法使用控制器生成的掩码来调节神经元参与。 这两种方法都通过相同的梯度下降算法优化网络大小,该算法更新了网络的权重和偏差。 我们根据非线性回归和分类任务评估这些不断增长的网络,它们始终优于等效最终大小的静态网络。 然后,我们探索这些网络的超参数空间,以找到相对于其静态对应物的相关缩放关系。 我们的研究结果表明,从小开始和自然成长可能比简单地开始大类更可取,特别是随着神经网络在规模和能耗方面继续增长。
用于智能非晶合金设计的材料网络表示构建
高性能非晶合金的设计在各种应用中都存在迫切需求，但这一过程严重依赖经验法则和无限尝试。传统策略的高成本与低效特性阻碍了在巨大材料空间中的有效采样。本文提出材料网络方法来加速二元和三元非晶合金的发现。网络拓扑结构揭示了被传统表格数据表示所掩盖的潜在候选材料。通过分析不同年份合成的非晶合金，我们构建了动态材料网络来追踪合金发现的历史。研究发现，过去设计的一些创新材料已被编码在这些网络中，证明了它们在指导新合金设计方面的预测能力。这些材料网络与日常生活中的若干现实网络表现出物理相似性。我们的发现为智能材料设计（特别是复杂合金）开辟了新途径。
零和无序系统的算法:均场自旋眼镜
旋转眼镜是统计物理学的核心,平均案例计算复杂性理论和现代高维统计推理的基本概率分布。 在均场设置中,我们设计了确定性的准多项式时间算法,用于估计分区函数在第二时刻机制中几乎所有逆温度的任意高精度。 特别是对于Sherrington-Kirkpatrick模型,我们的算法几乎在整个复制对称阶段都取得了成功。 为了达到这个目的,我们研究分区函数的零的位置。 值得注意的是,我们的方法在概念上很简单,并且同样适用于球形案例和Ising旋转的情况。
线性分离边缘的Grokking
我们调查grokking的现象 - 延迟泛化伴随着非单声道测试损失行为 - 在一个简单的二进制逻辑分类任务中,可以严格定义“记忆”和“泛化”解决方案。 令人惊讶的是,我们发现,即使在这个问题的参数接近临界点时,在这个最小的模型中,Growkking也是自然产生的,并且提供了对其机制的经验和分析见解。 具体地说,通过吸引梯度下降的隐性偏倚,我们表明,当训练数据集与原点几乎线性可分离并且垂直方向存在强噪声时,逻辑回归可以表现出怪诞。 根本原因是,在临界点附近,“平坦”方向在损失景观中几乎为零梯度,导致训练动力学在接近准稳定解决方案之前任意长时间徘徊,最终达到全球最小值。 最后,我们强调了我们的发现与最近的文献之间的相似之处,加强了在接近插值阈值时通常发生的猜想,让人想起物理系统中经常观察到的关键现象。
暹罗神经网络在3D渗透模型中进行标签效率关键现象预测
渗透理论是研究相变和关键现象的基石,在统计物理学,材料科学和复杂网络中具有广泛的意义。 然而,大多数用于渗透分析的机器学习框架都集中在二维系统上,过度简化了现实世界三维材料的空间相关性和形态复杂性。 为了弥补这一差距,提高3D系统中的标签效率和可扩展性,我们提出了一个暹罗神经网络(SNN),利用最大集群的特征作为判制输入。 我们的方法在三维范围内实现了现场和键穿阈值和关键指数的高预测精度,具有亚-1
计量机器几何理论
我们为低温Ising机器设计的数学理论做出了贡献,这是一种实施Ising模型的实验概率计算设备。 在物理系统的地面状态下编码函数的输出允许高效和分布式计算,但能量函数的设计是一个困难的难题。 我们引入了一个图表设备,使我们能够可视化Ising电路的决策边界。 然后用于证明两个结果:(1) 正向电路是具有一定特殊结构的1-NN分类器的概括,(2)在能量景观中消除局部最小值可以表述为线性编程问题。
使用 MFCC 进行稳健网络入侵检测的光谱特征提取
物联网(IoT)网络的快速扩张导致安全漏洞激增,强调了对强大的异常检测和分类技术的迫切需要。 在这项工作中,我们提出了一种新的方法来识别物联网网络流量中的异常,利用Mel-frequency cepstral coefficients(MFCC)和ResNet-18,这是一种深度学习模型,以其在特征提取和基于图像的任务中的有效性而闻名。 可学习的 MFCC 可实现自适应光谱特征表示,比传统固定 MFCC 更有效地捕获网络流量中固有的时间模式。 我们证明,将原始信号转换为MFCC将数据映射到更高维度的空间,增强类可分离性,并实现更有效的多类分类。 我们的方法将 MFCC 的优势与 ResNet-18 的强大功能提取功能相结合,为异常检测提供了强大的框架。 拟议的模型在三个广泛使用的物联网入侵检测数据集上进行评估:CICIoT2023,NSL-KDD和IoTID20。 实验结果突出了将自适应信号处理技术与深度学习架构相结合的潜力,以实现异构物联网网络景观中稳健且可扩展的异常检测。
令人惊讶的电子结构数据中的高冗余
电子结构的机器学习(ML)模型依赖于通过昂贵的Kohn-Sham密度功能理论模拟生成的大型数据集。 这项研究揭示了各种材料系统中此类数据集的冗余水平惊人地高,包括分子,简单金属和复杂合金。 我们的研究结果挑战了普遍的假设,即大型的详尽数据集对于准确的ML预测电子结构是必要的。 我们证明,即使是随机修剪也可以大大减少数据集大小,在预测准确性方面损失最小,而基于最先进的基于覆盖的修剪策略保留了化学准确性和模型可推广性,使用多达100倍的数据,并将训练时间减少了三倍或更多。 相比之下,广泛使用的基于重要性的修剪方法,消除了看似冗余的数据,可能会在更高的修剪因素下灾难性地失败,这可能是由于数据覆盖范围的显着减少。 迄今为止,电子结构数据中尚未开发的高度冗余有可能确定每个材料类的最小,基本数据集代表。