在高维表面上定位第一顺序马鞍点的任务,将能量的变化描述为原子坐标的函数,是确定过渡状态理论谐波近似值中的热激活事件速率和估计热激活事件速率的重要一步。 当与电子结构计算直接结合时,收敛所需的能量和原子力评价的数量是一个主要问题。 在这里,我们描述了高斯过程回归(GPR)加速最小模式遵循方法的高效实现,其中二聚体用于估计黑森的最低特征模式。 代理能量表面在每次电子结构计算后构建和更新。 该方法应用于先前由Hermez及其同事 [J. 生成的500个分子反应的测试集。 化学。 理论计算。 18,6974(2022)]。 使用GPR与二聚体方法相比,使用GPR降低了达到马鞍点配置所需的电子结构计算数量。 尽管分子自由度的刚度范围很广,但计算是使用笛卡尔坐标进行的,并且发现需要类似数量的电子结构计算,作为Sella软件包中实现的精心设计的内部坐标方法。 目前在C++中实现GPR替代模型的效率足以使马鞍点搜索的墙壁时间在4个案例中的3个案例中减少,即使计算是在低Hartree-Fock级别进行的。
加速非线性偏微分方程(PDE)的解,同时保持粗时空分辨率的准确性仍然是科学计算的关键挑战。 物理信息机器学习(ML)方法,如物理信息神经网络(PINN)通过损失函数引入先验知识,以确保物理一致性,但它们的“软约束”通常不严格满足。 在这里,我们提出了LaPON,一个受拉格朗日均值定理启发的运算网,它将先验知识直接嵌入到神经网络架构中,而不是损失函数,使神经网络自然满足给定的约束。 这是一个混合框架,将神经运算符与传统数值方法相结合,其中神经运算符用于补偿在分辨率不足的模拟中分析尺度上离散化错误的影响。 根据Navier-Stokes方程(NSE)建模的湍流问题评估,LaPON的多次时间分量精度和稳定性超过了8倍粗度网格和8倍大时间步的直接数值模拟基线,同时实现了超过0.98的漩涡相关性与地面真理。 值得注意的是,该模型可以很好地推广到看不见的流动状态,例如具有不同强迫的湍流,而无需再训练。 此外,使用相同的训练数据,LaPON在域外测试集上的综合指标至少比两种流行的ML基线方法高出大约两倍。 通过将数值计算与机器学习相结合,LaPON为高保真流体动力学仿真提供了可扩展和可靠的解决方案,显示了在天气预报和工程设计等领域广泛应用的潜力。
城市是复杂的系统,需要综合方法,越来越关注邻里层面。 这项研究研究了西班牙加泰罗尼亚Granollers的Primer de Maig社区的专家地图与公民科学之间的相互作用 - 该地区以劣质的公共空间和长期存在的社会经济挑战为标志。 有72名居民被组织成19个小组,记录他们的行人流动,同时参与协议化的有趣的社会行动。 他们的GPS确定了有意义的公共空间激活的机会单元。 虽然观察到的56项行动发生在专家定义的单位内,但其余44个在其他地方。 对地理位置行动停止的聚类分析揭示了七个不同的集群,突出了具有重大社会潜力的被忽视区域。 这些发现强调了自上而下和自下而上的方法的互补性,展示了公民科学和社区科学方法如何通过在公共空间场所建设中整合主观的,基于社区的观点来丰富城市诊断,并为包容性,适应性的可持续城市转型战略提供信息。
最近开发的用于科学机器学习的时间序列基础模型展示了预测物理系统的紧急能力。 这些能力包括零速预测,其中模型预测系统的未来状态,仅给出一个短的轨迹作为上下文。 在这里,我们表明应用于物理系统的基础模型可以给出准确的预测,但它们未能开发对基础物理学有意义的表示。 相反,基础模型通常通过上下文鹦鹉预测,这是一种简单的零镜头预测策略,直接从上下文中复制。 因此,一个天真的直接上下文鹦鹉模型在预测各种动态系统方面得分高于最先进的时间序列基础模型,仅占计算成本的一小部分。 我们在上下文鹦鹉和感应头之间绘制了一个平行图,这解释了为什么在文本上训练的大型语言模型可以被重新用于时间序列预测。 我们的动力学系统视角还将预测精度和上下文长度之间的缩放与吸引子的分形维度联系起来,提供了对先前观察到的上下文内神经缩放定律的见解。 因此,上下文鹦鹉作为未来时间序列基础模型的简单但难以击败的基线,可以帮助确定超越鹦鹉的上下文内学习策略。
钳子产品功能(TPF)近似已被广泛用于解决高维问题,如偏微分方程和特征值问题,通过计算开销实现理想的准确性,该计算开销以问题维度线性扩展。 然而,最近的研究强调了TPF在量子多体问题上的极高计算成本,即使对于具有三个粒子的系统也是如此。 这些问题的一个关键区别是对未知函数的抗对称要求。 在目前的研究中,我们严格地确定,一类TPF完全非对称的最小涉及术语的数量随着问题维度的成倍增加而呈指数级增长。 该类既包括传统上离散的TPF,也包括最近由神经网络参数化的TPF。 我们的证明利用了该类中反对称TPF与相应的反对称张量之间的联系,并专注于后者的Canonical Polyadic等级。 因此,我们的发现揭示了高维环境中反对称和低等级TPF之间的基本不兼容,并为进一步发展提供了新的见解。
我们介绍了电子张量重建算法(ELECTRA) - 一种用于使用浮动轨道预测电子电荷密度的等变量模型。 浮轨是量子化学界的一个长期概念,它通过在太空中自由放置轨道来实现更紧凑和准确的表征,而不是将所有轨道集中在原子的位置。 然而,找到这些轨道的理想位置需要广泛的领域知识,到目前为止,这阻碍了广泛的采用。 我们通过训练笛卡尔张量网络来预测轨道位置以及轨道系数,以数据驱动的方式解决这个问题。 这是通过一个对称打破机制实现的,该机制用于学习比输入分子低对称性的位置位移,同时保持电荷密度本身的旋转等效。 受到高斯溺水在代表太空密度方面的最新成功的启发,我们正在使用高斯轨道并预测其权重和协方差矩阵。 我们的方法在计算效率和既定基准的预测准确性之间实现了最先进的平衡。
对抗性方法,通过生成困难的例子来有意挑战机器学习模型,越来越多地被采用来改善机器学习间原子潜力(MLIP)。 虽然已经提供了很大的实用价值,但对MLIP在对抗性结构上的实际预测错误以及这些错误是否可以控制知之甚少。 我们提出了校准的对抗几何优化(CAGO)算法,以发现具有用户分配错误的对抗性结构。 通过不确定性校准,MLIP的估计不确定性与实际错误统一。 通过为校准的不确定性执行几何优化,我们通过用户分配的目标MLIP预测误差达到对抗性结构。 与主动学习管道集成,我们测试了CAGO,展示了稳定的MLIP,这些MLIP在金属有机框架内系统地收敛了液态水和水吸附的结构,动力和热力学特性,在数百种训练结构中,以前通常需要数千种。
数据驱动的长期宏观动力学和具有粒子保真度的耗散系统的热力学的发现受到重大障碍的阻碍。 这些包括粒子模拟固有的强大的时间尺度限制,给定宏观动力学的热力学电位和运算符的不独特性,以及需要有效的不确定性量化。 本文介绍了统计-物理输入性流行扩散模型(SPIEDiff),这是一个机器学习框架,旨在通过利用统计物理,条件扩散模型和表观,在纯耗散系统的背景下克服这些限制。 我们评估了关于随机Arrhenius粒子过程的拟议框架,并证明SPIEDiff可以准确地发现热力学和动力学,同时仅使用短时间粒子模拟数据实现可靠的长期宏观预测。 SPIEDiff可以在几分钟内以量化的不确定性提供准确的预测,与直接粒子模拟相比,大大降低了计算需求,这在考虑的例子中需要几天或几年的时间。 总体而言,SPIEDiff为数据驱动的热力学模型发现提供了可靠和值得信赖的途径。
我们提出了一种用于地面状态能量(GSE)估计的混合量子-经典算法,该算法对高度嘈杂的数据保持稳健,并且对超参数调优表现出低灵敏度。 我们的方法 - 傅里叶去噪可观测动态模式分解(FDODMD) - 结合基于傅里叶的去噪阈值,以抑制假噪声模式与可观测的动态模式分解(ODMD),一种量子类信号子空间方法。 通过将ODMD应用于一系列取消时间域的轨迹,FDODMD可靠地估计了系统的特征频率。 我们还提供了 FDODMD 的错误分析。 分子系统的数字实验表明,FDODMD在有限的量子计算预算下实现了基线方法无法进入的高噪声机制的收敛,同时加速了中间噪声机制中的光谱估计。 重要的是,这种性能增益是完全经典的,不需要额外的量子开销,并显着降低整体量子资源需求。
这项研究批判性地研究了交通流量建模的物理信息机器学习(PIML)方法的性能,将PIML模型的失败定义为它低于其纯粹数据驱动和纯粹基于物理的对应物的情况。 我们通过沿 Hessian 矩阵的主要特征向量对训练模型进行扰动来分析损失情况,并评估相应的损失值。 我们的研究结果表明,PIML中的物理残留物本质上不会阻碍优化,这与通常假设的故障原因相反。 相反,成功的参数更新需要ML和物理梯度与准真梯度形成急性角,并位于圆锥形区域内。 鉴于物理模型和训练数据不准确,满足这种情况往往很困难。 实验表明,物理残差会降低基于LWR和ARZ的PIML模型的性能,特别是在高度物理驱动的环境中。 此外,稀疏的采样和使用时间平均的交通数据可能会产生误导性的小物理残留物,无法捕获实际的物理动力学,从而导致模型故障。 我们还将Courrant-Friedrichs-Lewy(CFL)条件确定为PIML数据集适用性的关键指标,其中成功的应用程序始终遵循这一标准。 最后,我们观察到,像ARZ这样的高阶模型往往比LWR等低阶模型具有更大的误差下限,这与现有研究的实验结果一致。
在高维表面上定位第一顺序马鞍点的任务,将能量的变化描述为原子坐标的函数,是确定过渡状态理论谐波近似值中的热激活事件速率和估计热激活事件速率的重要一步。 当与电子结构计算直接结合时,收敛所需的能量和原子力评价的数量是一个主要问题。 在这里,我们描述了高斯过程回归(GPR)加速最小模式遵循方法的高效实现,其中二聚体用于估计黑森的最低特征模式。 代理能量表面在每次电子结构计算后构建和更新。 该方法应用于先前由Hermez及其同事 [J. 生成的500个分子反应的测试集。 化学。 理论计算。 18,6974(2022)]。 使用GPR与二聚体方法相比,使用GPR降低了达到马鞍点配置所需的电子结构计算数量。 尽管分子自由度的刚度范围很广,但计算是使用笛卡尔坐标进行的,并且发现需要类似数量的电子结构计算,作为Sella软件包中实现的精心设计的内部坐标方法。 目前在C++中实现GPR替代模型的效率足以使马鞍点搜索的墙壁时间在4个案例中的3个案例中减少,即使计算是在低Hartree-Fock级别进行的。
部分差分方程(PDE)描述了从湍流和流行病到量子力学和金融市场等现象。 尽管计算科学最近取得了进展,但解决现实世界应用的PDE仍然非常昂贵,因为需要解决广泛的时空尺度。 反过来,从业者通常依赖于原始PDE的粗粒度近似,从而降低计算资源的准确性。 为了减轻这种近似所固有的细节损失,闭包模型用于表示未解决的时空相互作用。 我们提出了一个框架,用于开发PDE的闭包模型,使用通过制造解决方案方法获得的合成数据。 这些数据与强化学习一起使用,为粗粒度的PDE提供闭包。 我们使用一维和二维汉堡方程和二维前列方程来说明我们方法的功效。 此外,我们证明,为不均匀的PDE训练的闭合模型可以有效地推广到均匀的PDE。 结果表明,为数据稀缺的系统开发准确和计算高效的闭包模型的潜力。
需要部分微分方程求解器来解决流体流动的 Navier-Stokes 方程。 最近,人们提出了模拟量子计算机上的流体动力学的算法。 容错量子设备可能会在经典计算机上对算法进行指数级加速。 然而,当前和可预见的量子硬件将噪声引入计算,需要明智地利用量子资源的算法:较浅的电路深度和更少的量子比特。 在这些限制下,变异算法更合适和稳健。 这项工作为不可压缩的Navier-Stokes方程提供了一种混合量子-经典算法。 经典设备执行非线性计算,量子设备使用变法求解器进行压力Poisson方程。 盖子驱动的空腔问题基准方法。 我们通过无噪音模拟验证该算法,并在嘈杂的IBM超导量子硬件上进行测试。 结果表明,即使在当前的量子设备上,也可以通过这种方法实现高保真结果。 Poisson 问题的多网格预后有助于避免局部最小值,并减少量子设备的资源需求。 一种名为HTree的量子态读出技术首次用于物理问题。 Htree适用于实值问题,并在量子比特计数中实现线性复杂性,使Navier-Sokes在当前量子设备上可进一步处理。 我们比较了近期和容错求解器所需的量子资源,以确定流体模拟的量子硬件需求,并改进复杂性。
核量子效应(NQE)的核算可以在有限温度下显著改变材料特性。 使用路径整体分子动力学(PIMD)方法的原子建模可以充分解释这种效应,但需要计算高效和准确的原子间相互作用模型。 经验潜力很快,但可能缺乏足够的准确性,而量子力学计算是高度准确的,但计算成本昂贵。 机器学习的原子间电位为这一挑战提供了解决方案,与密度函数论(DFT)计算相比,提供了近乎量子力学的准确性,同时保持了高计算效率。 在这种情况下,开发了一个接口,将MLIP-2软件包的瞬间张量电位(MTP)集成到使用i-PI软件包的PIMD计算中。 然后,该接口应用于主动学习电位,并研究NQE对材料性能的影响,即晶格参数和热膨胀系数的温度依赖性,以及径向分布功能,用于氢化锂(LiH)和硅(Si)系统。 结果与实验数据、准谐波近似计算以及通用机器学习力场MatterSim的预测进行了比较。 这些比较证明了MTP-PIMD方法的高见性和有效性。
加速非线性偏微分方程(PDE)的解,同时保持粗时空分辨率的准确性仍然是科学计算的关键挑战。 物理信息机器学习(ML)方法,如物理信息神经网络(PINN)通过损失函数引入先验知识,以确保物理一致性,但它们的“软约束”通常不严格满足。 在这里,我们提出了LaPON,一个受拉格朗日均值定理启发的运算网,它将先验知识直接嵌入到神经网络架构中,而不是损失函数,使神经网络自然满足给定的约束。 这是一个混合框架,将神经运算符与传统数值方法相结合,其中神经运算符用于补偿在分辨率不足的模拟中分析尺度上离散化错误的影响。 根据Navier-Stokes方程(NSE)建模的湍流问题评估,LaPON的多次时间分量精度和稳定性超过了8倍粗度网格和8倍大时间步的直接数值模拟基线,同时实现了超过0.98的漩涡相关性与地面真理。 值得注意的是,该模型可以很好地推广到看不见的流动状态,例如具有不同强迫的湍流,而无需再训练。 此外,使用相同的训练数据,LaPON在域外测试集上的综合指标至少比两种流行的ML基线方法高出大约两倍。 通过将数值计算与机器学习相结合,LaPON为高保真流体动力学仿真提供了可扩展和可靠的解决方案,显示了在天气预报和工程设计等领域广泛应用的潜力。
长期以来,可扩展和可推广的物理学感知深度学习一直被认为是一个重大挑战,从机器人到分子动力学等各个领域都有各种应用。 几乎所有物理系统的核心都是共性形式,是支撑能量和动量等基本不变的几何主干。 在这项工作中,我们介绍了一个新的深度学习框架MetaSym。 特别是,MetaSym结合了从共体编码器获得的强烈共情感应偏差,以及具有元注意的自动回归解码器。 这种有原则的设计确保了核心物理不变性保持不变,同时允许灵活、数据高效地适应系统异质性。 我们用高度多样化和逼真的数据集对MetaSym进行基准测试,例如高维弹簧网系统(Otness et al.,2021),一个具有耗散和测量反作用的开放量子系统,以及机器人启发的四旋翼动力学。 我们的研究结果在微薄的适应下在建模动力学方面表现出色,优于使用更大模型的最先进的基线。
神经网络间原子潜力的最新进展已成为一个有前途的研究方向。 然而,流行的深度学习模型通常缺乏基于物理定律的辅助约束,这可能会加速训练并通过基于物理的正则化来提高保真度。 在这项工作中,我们引入了 $Phi$-Module,这是一个通用的插件模块,在消息传递框架内执行 Poisson 方程,以自我监督的方式学习静电交互。 具体来说,鼓励每个原子表示满足一个离散的Poisson方程,使得有可能获得一个潜在的$oldsymbol{phi}$和相应的电荷密度$oldsymbol{ ho}$链接到给定分子图的可学习的Laplacian特征基数系数。 然后,我们得出一个静电能量术语,对于改进总能量预测至关重要。 这种方法无缝集成到任何现有的神经电位与微不足道的计算开销。 对OE62和MD22基准测试的实验证实,与 $Phi$-Module 相结合的模型比基线对应物实现了强劲的改进。 对于OE62误差减少,从4.5%到17.8%不等,对于MD22,配备$Phi$-Module的基线在14例中有5例达到最佳效果。 我们的研究结果强调了在神经间原子电位中嵌入第一原则约束如何显着提高性能,同时在训练中保持超参数友好,内存高效和轻量级。 代码可在 href{https://github.com/dunnolab/phi-module}{dunnolab/phi-module}。
GPU是最新一代超级计算机的核心。 我们通过 NVIDIA 和 AMD Instinct GPU 上的 OpenACC 高效加速可压缩多相流量求解器。 优化是通过指定指令子句“gang vector”和“崩溃”来完成的。 通过将用户定义的类型打包成串化多维数组和手动内衬,通过元编程将用户定义的类型打包成合并的维多阵列,实现了6倍和10倍的进一步加速。 额外的优化在数组打包中产生七倍的加速,在Frontier上选择内核的30倍加速。 当在 V100 和 MI250X 硬件上缩放到 84 因子 8 和 16 的 50 效率时,可观察到 97 的弱缩放效率。 当 GPU 感知 MPI 用于通信时,AMD 的 MI250X 的强大扩展效率增加到 16 中的 92。
使用密集离散的空间域解决时间依赖性部分差分方程(PDE)是各种科学和工程学科的基本问题,包括建模气候现象和流体动力学。 然而,直接在物理空间中执行这些计算往往需要付出巨大的计算成本。 为了解决这个问题,已经开发了几个神经代理模型,这些模型在压缩的潜在空间中运行,以解决PDE。 虽然这些方法降低了计算复杂性,但它们通常使用基于Transformer的注意力机制来处理不规则采样域,从而导致内存消耗增加。 相比之下,卷积神经网络允许内存效率的编码和解码,但仅限于常规离散化。 受这些考虑的激励,我们提出了CALM-PDE,这是一个模型类,在压缩的潜在空间中有效地解决任意离散的PDE。 我们引入了一种新颖的基于卷积的编码器-解码器架构,该架构使用 epsilon-neighborhood-constrained 内核,并学习将卷积运算符应用于自适应和优化的查询点。 我们展示了CALM-PDE在具有定期和不规则采样空间域的多样化PDE上的有效性。 与基于Transformer的方法相比,CALM-PDE具有竞争力或优于现有基线方法,同时在内存和推理时间效率方面提供了显着的改进。
人工智能的最新进展已经建立了神经运算符作为强大的工具,可以预测偏微分方程的演变,例如Navier-Stokes方程。 一些复杂的问题依赖于复杂的算法来处理计算领域的强不连续性。 例如,液体蒸汽多相流在许多配置中是一个具有挑战性的问题,特别是那些涉及大密度梯度或相变的配置。 上述复杂性不允许对快速工业过程或应用进行精细控制,因为计算流体动力学(CFD)模型没有足够快的预测能力。 这项工作表明,基于神经运算的预测的时间尺度与多阶段应用的时间尺度相当,从而证明它们可用于控制需要快速响应的过程。 神经运算符可以使用实验数据、模拟或组合进行训练。 在以下中,神经运算符接受了流体模拟量的训练,由此产生的预测显示出非常高的准确性,特别是在预测液蒸气界面的演变方面,这是多相过程控制器中最关键的任务之一。
密度函数理论的准确性取决于非局部对交换相关性(XC)函数的贡献的近似。 迄今为止,机器学习和人类设计的近似值都缺乏准确性,可扩展性有限或依赖昂贵的参考数据。 为了解决这些问题,我们介绍了 Equivariant Graph Exchange Correlation (EG-XC),这是一种基于等变量图神经网络 (GNN) 的新型非本地 XC 函数。 在以前的作品依赖于半局部功能或密度的固定大小描述符时,我们将电子密度压缩成SO(3)等效核中心点云,以实现高效的非局部原子范围相互作用。 通过在点云上应用等变量GNN,我们以可扩展和准确的方式捕获分子范围相互作用。 为了训练EG-XC,我们通过一个只需要能量目标的自一致性场求解器来区分。 在我们的实证评估中,我们发现EG-XC在MD17上准确地重建“金标准”CCSD(T)能量。 在3BPA的分布外构象上,EG-XC将相对MAE减少了35,值得注意的是,EG-XC在QM9上的数据效率和分子大小外推方面表现出色,在5倍和更大的分子上训练的匹配力场。 在相同的训练集中,EG-XC平均产生51
神经网络(NN)是改进分子动力学准确性的有效模型,开辟了新的应用领域。 通常训练自下而上,原子化的NN电位模型可以达到第一原理精度,而粗粒状隐性溶剂NN电位超过经典连续溶剂模型。 然而,克服成本高昂的生成精确参考数据和共同自下而上培训数据效率低下的限制,需要有效地整合来自许多来源的数据。 本文介绍了框架化学训练,通过可定制的训练例程和高级训练算法学习复杂的NN潜在模型。 这些例程可以结合多个自上而下和自下而上的算法,例如,将实验和模拟数据或预训练潜力与成本较低的算法相结合。chemtrain提供了一个面向对象的高级界面,以简化自定义例程的创建。 在较低级别,chemtrain依靠JAX来计算梯度并扩展计算以使用可用资源。 我们展示了在将钛全原子模型和粗粒度二肽的隐性溶剂模型相参数化的例子中组合多种算法的简单性和重要性。