虽然在大型数据集上训练的神经网络已经成功地用于描述和预测许多物理现象,但科学家有一种感觉,与传统的科学模型不同,这种关系以简单的数学表达式形式包装,神经网络的发现不能整合到科学知识中。 对 ML 无法产生人类可以理解的关系的批评者已经融合了“可解释性”的概念,因为它与更传统的科学形式相去甚远。 正如对可解释性的兴趣日益浓厚所表明的那样,物理科学的研究人员不仅寻求预测模型,而且还寻求揭示支配兴趣系统的基本原则。 然而,文献中缺乏对可解释性的定义及其在科学中的确切作用的清晰度。 在这项工作中,我们认为方程发现和符号回归的研究人员倾向于将易感性的概念与可解释性混为一谈。 我们回顾了来自科学界外部的可解释ML的关键论文,并认为,尽管他们提出的定义和方法可以为SciML的解释性问题提供信息,但它们不足以实现这一新目的。 注意到这些缺陷,我们提出了物理科学可解释性的操作定义。 我们的可解释性概念强调对数学原理的理解。 虽然看起来是无害的,但这种对机制的强调表明,狭隘往往是不必要的。 它还质疑在缺乏先验知识时可解释的科学发现的可能性。 我们相信,对SciML可解释性的准确和哲学上知情的定义将有助于将研究工作集中在实现数据驱动的科学未来的最重大障碍上。
电池科学的跨学科合作是快速评估更好的成分和材料。 然而,不同的领域词汇和非兼容的实验结果减慢了合作。 我们批判性地评估当前最先进的技术,并开发结构化数据管理和解释系统,使数据策划可持续。 我们使用的技术包括本体技术,为知识提供结构,数据库系统符合FAIR原则,以及软件工程,将数据处理分解为可验证的步骤。 为了证明我们的方法,我们研究了Galva诺量静音滴定技术在各种电极上的适用性。 我们的工作是使自动化材料科学扩展到各个实验室以外的一个基石,以在全球范围内寻找更好的电池材料。
除了神经缩放定律之外,人们对大型语言模型(LLM)背后的定律知之甚少。 我们引入了神经热力学定律(NTL) - 这是一个新的框架,为LLM训练动力学提供了新的见解。 在理论方面,我们证明关键热力学量(例如,温度,熵,热容量,热传导)和经典热力学原理(例如,热力学三定律和装备定理)自然出现在河谷损失景观假设下。 从实践的角度来看,这种科学观点为设计学习率时间表提供了直观的指导方针。
分析复杂网络的概率模型的研究代表了一个蓬勃发展的研究领域。 在前者中,指数随机图(ERGs)多年来越来越受到关注。 到目前为止,只有线性ERG被广泛用于深入了解现实世界复杂网络的结构组织。 然而,没有一个人能够解释经验程度分布的差异。 为此,必须考虑非线性ERG。 在显示通常的均场近似力将二星模型的度校正版本退化后,我们定义了它的一个健身诱导的变体。 这种“软化”模型能够在纯规范的框架内再现样本方差,同时保留其线性对应物的解释能力。
时间网络 - 记录链接出现并动态消失的网络演变的快照集合 - 可以解释为图形空间中的轨迹。 为了通过时间序列分析和信号处理工具表征这些轨迹的复杂动力学,通过将其嵌入低维欧几里得空间来预处理轨迹是明智的。 在这里,我们认为,而不是每个网络快照的拓扑结构,在嵌入中需要保留的轨迹的主要属性是快照之间的相对图形距离。 这个想法自然导致维度减少方法,明确考虑相对距离,如多维缩放(MDS)或将距离矩阵识别为执行主成分分析(PCA)的特征矩阵。 本文提供了一个可理解的方法,说明了这种方法。 它应用于一套生成网络轨迹模型和经验数据,证明网络轨迹的非平凡动态属性已经保存在它们的标量嵌入中,从而能够在时间网络中执行时间序列分析。
我们提出了一种使用均衡传播训练由拉格朗日力学管理的动力学系统的方法。 我们的方法通过利用动作测量原理,将最初为基于能源的模型开发的均衡传播扩展到动态轨迹。 训练是通过对所需目标的轻推轨迹和测量变量与要训练的参数相应的方式来实现的。 这种方法特别适用于具有周期性边界条件或固定初始和最终状态的系统,可实现高效的参数更新,而无需通过时间进行明确的反向传播。 在周期性边界条件下,这种方法产生了量子均衡传播的半经典极限。 还对耗散系统的应用进行了讨论。
本文介绍了使用基于模拟的推理(SBI)的全波形地震源反转的新框架。 传统的概率方法通常依赖于简化关于数据错误的假设,我们显示这可能导致不准确的不确定性量化。 SBI通过使用机器学习模型(称为神经密度估算器)构建数据错误的经验概率模型来解决这一限制,然后该模型可以集成到贝叶斯推理框架中。 我们将SBI框架应用于点源时刻张量反转以及联合时刻张量和时间位置倒置。 我们构建了一系列合成示例,以探索SBI解决方案的质量,并将SBI结果与标准的基于高斯可能性的贝叶斯版本进行比较。 然后,我们证明,在真正的地震噪声下,处理全波形数据的共同高斯可能性假设会产生过于自信的后验分布,这些分布低估了瞬间张量成分的不确定性,高达3倍。 我们将其与SBI进行了对比,SBI产生了与真实地震源参数大致一致的典型校准后验,并且与标准蒙特卡洛技术相比,执行推理所需的模拟数量减少了。 最后,我们将我们的方法应用于北大西洋的一对中度地震。 我们利用最近的UPFLOW海底地震仪阵列以及亚速尔群岛区域陆地站记录的地震波形,比较SBI和高斯可能性方法之间的全时张力和源时间位置后点。 我们发现,我们对SBI的适应可以直接应用于真正的地震源,以有效地产生高质量的后验分布,从而显着改善高斯的可能性方法。
复杂性科学为量化不可预测性、结构和信息提供了广泛的措施。 然而,这些措施的系统性概念组织仍然缺失。 我们提出了一个统一的框架,该框架沿着三个轴(规律性,随机性和复杂性)定位统计,算法和动力学度量,并将它们定位在一个共同的概念空间中。 我们将统计、算法和动态度量映射到这个概念空间中,讨论它们的计算可访问性和可近似性。 该分类法揭示了不计算性带来的深刻挑战,并突出了现代数据驱动方法(包括自动编码器,潜在动态模型,符号回归和物理信息神经网络)的出现,作为经典复杂性理想的务实近似。 潜伏空间成为具有规律性提取、噪声管理和结构化压缩的可操作领域,通过高维系统中的实际建模来弥合理论基础。 最后,我们概述了复杂物理系统中对物理知识的人工智能和人工智能引导发现的影响,认为经典的复杂性问题仍然是下一代科学建模的核心。
从数据中估计物理参数是机器学习(ML)在物理科学中的关键应用。 然而,系统的不确定性,如探测器的错位,会导致数据分布失真,从而削弱统计精度。 在高能物理(HEP)和更广泛的ML上下文中,在这些域变化下实现不确定性感知参数估计仍然是一个悬而未决的问题。 在这项工作中,我们针对对 HEP 至关重要的广泛任务解决了不确定性感知参数估计这一挑战。 我们引入了一种基于对比规范化流(CNF)的新方法,该方法在HiggsML不确定性挑战数据集上实现最佳性能。 基于二进制分类器可以近似模型参数可能性比的洞察力,我们通过在学习的CNF映射中嵌入数据和参数来解决表达性的实际限制和模拟高维参数网格的高成本。 这种映射产生了可调的对比度分布,可以在移动的数据分布下实现稳健的分类。 通过理论分析和实证评估的结合,我们证明CNF与分类器和既定的复选集技术相结合,通过对数据分布失真的分类提供原理参数估计和不确定性量化。
声波或使用非语言音频传输数据是一种相对小众但不断增长的方法,用于在天文学,气候科学等多个专业领域提供数据。 STRAUSS Python包旨在提供这样一个工具,它建立在以前的方法的基础上,提供了一种强大的方法来探索表达数据的不同方式,并对输出音频及其格式进行精细控制。 STRAUSS是一个免费的开源(FOSS)软件包,旨在将灵活和有效的声化集成到数据工作流程中,与广泛使用的可视化软件包进行类比。 STRAUSS的职权范围很广;它旨在能够弥合用于对非常特殊的数据集进行声学的特设解决方案,以及未针对声化优化或可能具有陡峭学习曲线的高技术组合和声音设计工具之间的桥梁。 该代码为各种背景(如科学教育,科学传播,技术数据分析等)提供了一系列声化方法。 为此,STRAUSS 包含许多不同声学方法的示例,并预设配置以支持“低障碍、高天花板”方法。 STRAUSS已用于生产教育资源和分析工具。
当神经网络(NN)受到L2正则化时,将正则化强度提高到超过一定阈值的正则化强度将模型推向参数不足的化机制。 这种过渡表现为单层 NN 中的一阶相变和具有两个或多个隐藏层的 NN 中的二阶相变。 本文通过将损失景观的Ricci曲线与正则化器驱动的深度学习相结合,为这种过渡建立了一个统一的框架。 首先,我们表明,曲率变化点将学习开始时的模型精度机制分开,并且它与正则化驱动的相变的关键点相同。 其次,我们表明,对于更复杂的数据集,模型精度之间存在额外的相变,并且它们再次与错误环境中的曲率变化点相同。 第三,通过使用变量自动解码器研究MNIST数据集,我们证明曲率变化点可识别L2设置之外模型精度的相变。 我们的框架还提供了实用的见解,用于优化各种架构和数据集的模型性能。 通过将误差图景的几何特征与可观察的相变联系起来,我们的工作为更明智的正则化策略和潜在的新方法铺平了道路,以探测L2上下文之外神经网络的内在结构。
我们引入了SymbolFit,这是一个通过使用符号回归来自动参数化建模的框架,以执行适合数据的函数的机器搜索,同时在一次运行中提供不确定性估计。 传统上,构建参数模型以准确描述绑定数据一直是手动和迭代过程,需要在进行拟合之前确定适当的功能形式。 主要的挑战是在不能从第一原则中衍生出适当的功能形式时,特别是当没有为分布提供潜在的真正的封闭形式函数时。 在这项工作中,我们开发了一个框架,通过使用符号回归来自动化和简化过程,这是一种机器学习技术,可以探索大量候选函数,而无需预先定义的功能形式,因为功能形式本身被视为可训练的参数,使过程比传统回归方法更有效,更轻松。 我们在CERN大型强子对撞机(LHC)的高能物理实验中演示了框架,使用来自新物理搜索的五个真正的质子-质子碰撞数据集,包括用于高质量dijet,trijet,配对dijet,diphoton和二聚体事件的共振搜索的背景建模。 我们表明,我们的框架可以灵活有效地生成广泛的候选函数,这些函数使用简单的拟合配置很好地适合非平凡的分布,这种拟合配置仅因随机种子而异,并且相同的拟合配置(定义广阔的函数空间)也可以应用于不同形状的分布,而与传统方法的可比结果则需要广泛的手动工作。
我们提出了一种新的模块化去差处理技术,适用于任何离散随机源,解决了从固有的不完美的物理过程中可靠地提取高质量随机性的基本挑战。 该方法涉及从有偏见的来源总结多个独立试验的结果,并减少总模态可能结果的数量,m。 我们提供严格的理论框架,利用概率生成函数和统一的根源,证明这种简单的操作保证了输出分布的指数收敛到理想的均匀分布超过{0,1,...,m-1}。 一个关键的理论结果是该方法的显着稳健性:收敛被证明用于任何初始偏差(前提是所有结果具有非零概率),并且,至关重要的是,即使在非静止条件或时间依赖噪声下也能保持收敛,这在物理系统中很常见。 分析边界量化了这种指数级的收敛率,并通过数值模拟进行经验验证。 这种技术的简单性,强大的理论保证,稳健性和数据效率使其特别适合在量子环境中的实际实现,例如基于空间光子检测的量子随机数发生器(QRNG),提供了一种有效的方法来提取具有弹性实验缺陷的高质量随机性。 这项工作为量子信息科学领域提供了宝贵的工具。
Hypergraph被选为表征高阶网络的有力候选人,近年来受到越来越多的关注。 在本文中,我们研究了通过利用光谱理论在超图上重置的随机行走。 具体来说,我们得出一些基本但关键参数的确切表达式,包括职业概率,固定分布和平均第一通道时间,所有这些都以过渡矩阵的特征值和特征向量表示。 此外,我们提供了一个确定最佳重置概率的一般条件,并为其存在提供了充分条件。 此外,我们在随机行走之间建立了密切的关系,在超图和简单的随机行走上重置。 具体来说,前者的特征值和特征向量可以精确地由后者的特征值和特征向量表示。 更重要的是,在考虑随机行走时,我们放弃了将超图转换为图形的传统方法,并提出了一个研究框架,该框架保留了超图本身的内在结构,该框架基于为相邻节点分配适当的权重。 通过广泛的实验,我们表明新框架在节点排名中产生了比传统方法更独特,更可靠的结果。 最后,我们探讨重置机制对覆盖时间的影响,为优化搜索效率提供了潜在的解决方案。
结果表明,基于物理信息神经网络(PINN)的深度学习应用于玻尔兹曼方程描述的稀薄气体动力学问题的重量矩阵与物理问题的数学结构没有明显的联系。 相反,权重似乎接近高斯分布的随机矩阵。 虽然需要更多的工作来支持这方面的稳健评估,但这些结果表明,深度学习和玻尔兹曼方程的数值解代表了两个等价的,但在很大程度上是通往相同物理知识的不同路径。 如果是这样,可解释的人工智能可能是一个不切实际的目标,甚至可能是一个不明智的目标。
本文提出了基于概率主成分分析(PCA)的子空间概率模型。 给定嵌入空间中的向量样本 - 通常称为快照矩阵 - 该方法使用概率PCA中派生的数量来构建样本矩阵的分布以及主要子空间。 它适用于基于投影的降序建模方法,例如适当的正交分解和相关模型还原方法。 例如,构造的随机子空间可用于表征计算力学中的模型形式不确定性。 提出的方法具有多种可取的属性:(1)它自然是由概率PCA证明的,并且具有诱导随机矩阵模型的分析形式;(2)它满足线性约束,例如各种边界条件,默认情况下;(3)它只有一个超参数,这显着简化了训练;(4)其算法非常容易实现。 我们通过计算力学和结构动力学中的几个数值示例演示了拟议方法的性能。
近年来,时空图神经网络(GNN)在时间序列分析领域引起了相当大的兴趣,因为它们能够捕获变量之间和跨时间点之间的依赖关系。 因此,所展示的系统文献综述的目标是全面概述GNN的各种建模方法和应用领域,用于时间序列分类和预测。 进行了数据库搜索,并选择了150多篇期刊论文,详细研究该领域的最新状况。 该考试旨在为读者提供建议的模型,相关源代码的链接,可用数据集,基准模型和拟合结果的综合集合。 所有这些信息都有望帮助研究人员进行未来的研究。 据我们所知,这是首次系统文献综述,对不同领域的当前时空GNN模型的结果进行了详细比较。 此外,本综述在最后部分讨论了时空GNN应用方面的当前限制和挑战,例如可比性、可重复性、可解释性、信息容量差和可扩展性。
标准化流(NF)提供来自复杂分布的不相关样本,使其成为参数估计的有吸引力的工具。 然而,NF的实际效用仍然受限于它们倾向于崩溃为多式联运分布的单一模式。 在这项研究中,我们表明,根据有效的样本量(ESS)与自适应时间表退火可以减轻模式崩溃。 我们证明,与广泛使用的集成马尔可锣罗(MCMC)方法相比,我们的方法可以在10倍的计算时间中收敛适合时间序列数据的生化振荡器模型的边际可能性。 我们表明,ESS也可用于通过修剪样品来减少方差。 我们预计这些发展将普遍用于与NF进行采样,并讨论进一步改进的潜在机会。
虽然许多基于物理的闭包模型形式已被定位为大型涡流模拟(LES)的子过滤器量表(SFS),但来自直接数值模拟(DNS)的大量数据创造了利用数据驱动的建模技术的机会。 尽管数据驱动是灵活的,但数据驱动的模型仍然取决于数据集和所选模型的功能形式。 更多地采用这种模式需要数据知情和分配外制度中可靠的不确定性估计。 在这项工作中,我们使用贝叶斯神经网络(BNN)来捕捉反应流模型中的认识论和反应性不确定性。 特别是,我们模拟了过滤进度变量标量耗散率,该速度在湍流预混合火焰的动力学中起着关键作用。 我们证明 BNN 模型可以提供数据驱动闭包模型不确定性结构的独特见解。 我们还提出了将非分发信息纳入BNN的方法。 该模型的功效是通过对由各种火焰条件和燃料组成的数据集的先验评估来证明的。
下一代水库计算(NGRC)是一种低成本的机器学习方法,用于预测数据的混乱时间序列。 然而,在自主预测期间确保NGRC模型的动态稳定性仍然是一个挑战。 在这项工作中,我们揭示了NGRC特征矩阵的数值调节(由时间延迟坐标的多项式评估形成)与长期NGRC动力学之间的关键连接。 从数值线性代数和动态系统的人体理论中合并工具,我们系统地研究特征矩阵调理如何跨超参数变化。 我们证明NGRC特征矩阵在短时间滞后和高度多项式时往往条件不畅。 疾病调节放大了训练数据扰动的灵敏度,从而产生不稳定的NGRC动力学。 我们评估不同数值算法(Cholesky,SVD和LU)对解决正则化最小二乘问题的影响。