我们通过二阶动量(PG-SOM)开发策略梯度,这是一种用于强化学习策略的轻量级二阶优化方案。 PG-SOM通过两个指数加权统计数据增强了经典的REINFORCE更新:一阶梯度平均值和对角线的Hessian。 通过这种曲率估计来预置梯度,该方法自适应地重新缩放每个参数,产生更快,更稳定的预期返回。 我们提供简明的推导,确定对角线Hessian estimator在温和的规律性假设下是无偏和正定义的,并证明由此产生的更新是预期的下降方向。 标准控制基准上的数值实验显示,与一阶和费舍尔基数基线相比,样品效率提高了2.1倍,方差显着降低。 这些结果表明,即使是粗糙的二阶信息也能带来显着的实际收益,同时仅产生D内存开销的D参数策略。 所有代码和可重复性脚本都将公开提供。
高效的矩阵跟踪估计对于可扩展的log-determinants、矩阵规范和分布差异的计算至关重要。 在许多大规模应用中,所涉及的矩阵太大,无法完全存储或访问,甚至使单个矩阵向量(mat-vec)产品不可行。 相反,通常只能访问限制索引集上的矩阵或本地化矩阵向量产品的小子块。 Hutch++实现了最佳的收敛率,但依赖于随机SVD并假设完全的mat-vec访问,因此很难在这些受限设置中应用。 我们提出了Block-Orthonormal Stochastic Lanczos Quadrature(BOLT),它将Hutch++的准确性与基于正畸块探针和Lanczos迭代的更简单的实现相匹配。 BOLT建立在Stochastic Lanczos Quadrature(SLQ)框架的基础上,该框架将随机探测与Krylov子空间方法相结合,以有效地近似矩阵函数的痕迹,并且在近平谱机制中比Hutch++表现更好。 为了解决内存限制和部分访问限制,我们引入了Subblock SLQ,这是BOLT的一个变体,仅在小主基子矩阵上运行。 因此,该框架产生了代理KL发散估计器和计算高斯人之间的Wasserstein-2距离的有效方法 - 两者都与低内存和部分访问机制兼容。 我们提供理论保证,并在一系列高维设置中展示强大的经验性能。
伪光谱分析是矩阵计算和线性和非线性动态系统研究的强大工具。 在各种数值策略中,随机抽样,特别是第1级扰动的形式,提供了一种实用且计算效率的方法。 此外,由于在统一相似性下的不变性,任何复杂的矩阵都可以简化为其上三角形形式,从而简化分析。 在这项研究中,我们开发了一种定量浓度理论,用于在1级随机抽样扰动下的复杂矩阵的伪光谱,为光谱表征建立了一个严格的概率框架。 首先,对于正常的矩阵,我们得出一个正则的浓度不等式,并证明分离半径与维度缩放为 δ_d ∼ 1/√(d)。 接下来,对于零能约旦区块的等价类,我们利用经典的概率工具,特别是Hanson-Wright浓度不等式和Carbery-Wright反集中不等式,以获得奇异的浓度边界,并证明分离半径表现出相同的维度依赖缩放。 这产生了一个奇异的伪光谱浓度框架。 最后,观察到上三角形Toeplitz矩阵可以通过nilpotent Jordan块的符号多项式表示,我们使用理性函数的部分部分分解来扩展单个框架到上三角形Toeplitz矩阵的等价类。
我们提出了一种名为TESALOCS(Ttensor Sampling和LOCal Search)的新方法,用于多维优化,结合了无梯度离散方法和基于梯度的方法的优势。 我们方法中的离散优化基于低等级张量技术,由于其低参数表示,可以有效地优化高维问题。 对于第二部分,即本地搜索,可以使用任何有效的基于梯度的方法,无论是现有的(如准牛顿方法)还是将来开发的任何其他方法。 我们的方法解决了基于梯度的方法的局限性,例如被困在局部最优法中;离散方法的局限性,不能直接应用于连续函数;以及需要大量计算预算的无梯度方法的限制。 请注意,我们不仅限于用于离散优化的单一类型的低等级张量分解,但出于说明目的,我们考虑特定的高效低等级张量列车分解。 对于20个具有挑战性的100维函数,我们证明我们的方法可以显著优于使用基于梯度的方法获得的结果,如Conjugate Gradient,BFGS,SLSQP和其他方法,以相同的计算预算按数量级改进它们。
本文提出了一种新的近端凸差分(DC)算法,通过外推和积极的非莫诺酮线搜索来增强,以解决非凸优化问题。 我们引入了由计算高效的非莫诺酮线搜索确定的外推参数的自适应保守更新策略。 我们算法的核心是将外推参数的更新与非莫诺酮线搜索的步长交互式结合。 两种拟议算法的全球趋同是通过Kurdyka-Łojasiewicz属性建立的,确保了线性方程的先决条件框架内的收敛。 关于两个一般非凸问题的数字实验:SCAD惩罚的二进制分类和基于图形的Ginzburg-Landau图像分割模型,与现有的DC算法相比,在收敛率和解决方案准确性方面证明了该方法的高效率。
高效的矩阵跟踪估计对于可扩展的log-determinants、矩阵规范和分布差异的计算至关重要。 在许多大规模应用中,所涉及的矩阵太大,无法完全存储或访问,甚至使单个矩阵向量(mat-vec)产品不可行。 相反,通常只能访问限制索引集上的矩阵或本地化矩阵向量产品的小子块。 Hutch++实现了最佳的收敛率,但依赖于随机SVD并假设完全的mat-vec访问,因此很难在这些受限设置中应用。 我们提出了Block-Orthonormal Stochastic Lanczos Quadrature(BOLT),它将Hutch++的准确性与基于正畸块探针和Lanczos迭代的更简单的实现相匹配。 BOLT建立在Stochastic Lanczos Quadrature(SLQ)框架的基础上,该框架将随机探测与Krylov子空间方法相结合,以有效地近似矩阵函数的痕迹,并且在近平谱机制中比Hutch++表现更好。 为了解决内存限制和部分访问限制,我们引入了Subblock SLQ,这是BOLT的一个变体,仅在小主基子矩阵上运行。 因此,该框架产生了代理KL发散估计器和计算高斯人之间的Wasserstein-2距离的有效方法 - 两者都与低内存和部分访问机制兼容。 我们提供理论保证,并在一系列高维设置中展示强大的经验性能。
伪光谱分析是矩阵计算和线性和非线性动态系统研究的强大工具。 在各种数值策略中,随机抽样,特别是第1级扰动的形式,提供了一种实用且计算效率的方法。 此外,由于在统一相似性下的不变性,任何复杂的矩阵都可以简化为其上三角形形式,从而简化分析。 在这项研究中,我们开发了一种定量浓度理论,用于在1级随机抽样扰动下的复杂矩阵的伪光谱,为光谱表征建立了一个严格的概率框架。 首先,对于正常的矩阵,我们得出一个正则的浓度不等式,并证明分离半径与维度缩放为 δ_d ∼ 1/√(d)。 接下来,对于零能约旦区块的等价类,我们利用经典的概率工具,特别是Hanson-Wright浓度不等式和Carbery-Wright反集中不等式,以获得奇异的浓度边界,并证明分离半径表现出相同的维度依赖缩放。 这产生了一个奇异的伪光谱浓度框架。 最后,观察到上三角形Toeplitz矩阵可以通过nilpotent Jordan块的符号多项式表示,我们使用理性函数的部分部分分解来扩展单个框架到上三角形Toeplitz矩阵的等价类。
我们评估受大变形和磁场影响层层磁弹性半空间的表面稳定性条件。 在回顾了欧莱西亚和拉格朗日形式的磁静方程的基本度量和总结后,我们从依赖于变形梯度和拉格朗日磁感应的总能量函数中得出了构成关系。 能量原理产生平衡方程、磁场方程和边界条件。 能量功能的第二个变化为稳定性分析提供了增量方程和条件。 表面不稳定性是通过在磁场正常到表面的磁场下对有限变形状态的线性化增量和磁感应来研究的。 考虑四个说明性案例:(i) 分层不可磁化半空间,具有不同的刚度对比度;(二) 磁弹性半空间作为磁感应功能的关键拉伸;(iii) 磁敏层在不可磁基板上的表面稳定性;(iv) 双层磁弹性固体中的分叉条件,具有不同的刚度比。 图形结果贯穿始终。
内核插值是从分散的数据中近似函数的基本技术,在插入复制内核希尔伯特空间的元素时具有很好的趋同理论。 除了这种经典的设置之外,研究还关注两种机制:错误指定的插值,内核平滑度超过目标函数,以及超级融合,其中目标比希尔伯特空间更平滑。 这项工作解决了后者,其中更平滑的目标函数产生更高的收敛率,并通过表征一般希尔伯特空间的预测超级融合来扩展现有结果。 我们展示了位于某些运算符范围的功能,包括嵌入的相邻,表现出加速收敛,我们跨越这些范围和整个希尔伯特空间之间的插值尺度。 特别是,我们分析美世操作员并将相邻操作员的图像链接到美世电源空间。 详细讨论了Sobolev空间的应用,突出了超级融合如何关键地依赖于边界条件。 我们的研究结果概括和完善了以前的结果,为理解和利用超级融合提供了更广泛的框架。 结果由数值实验支持。
运算器分裂方法已经被广泛用于通过将方程拆分成更易于管理的部分来解决微分方程。 在这项工作中,我们解决了长期存在的问题——如何建立具有负权重的多产品扩展(MPE)拆分方法的稳定性。 之所以出现困难,是因为高阶MPE方法中的负重导致权重大于一个的绝对值之和,使得标准稳定性证明失败。 特别是,我们将半线性抛物线方程作为典型模型,并建立了具有正时间步骤但可能是负权重的任意高阶MPE分裂方法的稳定性。 随后从稳定性结果中获得严格的收敛分析。 广泛的数值实验验证了各种高阶MPE分裂方法的稳定性和准确性,突出了它们的效率和鲁棒性。
提出了一种高阶牛顿多网格方法,用于模拟具有常规和不规则几何形状的开放通道中的稳态浅水流。 该方法集成了两个组件:(1)有限体积离散化与三阶加权基本非振荡(WENO)重建为管辖浅水方程,(2)牛顿多网格方法与雅各布矩阵的高效近似为生成的离散系统。 在牛顿迭代中生成完整的Jacobian矩阵会导致巨大的计算成本。 为了解决这个问题,我们观察到矩阵中的大多数非零元素表现出微不足道的幅度。 通过消除这些元素,我们用更少的模板近似Jacobian矩阵,从而显着减少了计算时间。 数字结果表明,拟议的简化策略提高了计算效率,同时保持与整个Jacobian方法的收敛率相当。 此外,采用连续过度放松快速滑动平滑器的几何多网格方法,用于线性化系统优化性能。 进行了各种数值实验,包括一维平滑亚临界流,流过驼峰,以及二维液压跳跃过楔,以说明建议方法的三阶精度,效率和稳健性。
开发了一种新的有限元方法(FEM),使用不一定与接口对齐的网格,用于非均匀跳转条件的二维和三维各向异性椭圆接口问题。 提议方法的自由度与传统的不符合FEM的相同,而函数空间被修改以考虑解决方案的跳跃条件。 接口元素上的修改函数空间被证明是唯一存在的,独立于元素的形状和接口相交的方式。 该方法的最佳误差估计值以及刚度矩阵的条件数的通常绑定被证明,误差常数独立于接口相对于网格的位置。 为了解决由此产生的线性系统,提出了一个先决条件,其中使用具有界面校正的高斯-塞德尔平滑器,以确保对扩散矩阵中的大跳跃的稳健性。 提供数值实验以证明建议的方法的最佳收敛和预后器的效率。
我们从部分内部观察中考虑两个时间尺度的移动模动分数扩散模型中的逆源问题。 从理论上讲,我们将部分杜哈梅尔原理与弱消失的属性相结合,以确定这个反向问题的独特性。 从数字上讲,我们采用最佳控制方法来确定源项。 使用一阶最优性条件推导出方程的耦合向后系统。 最后,我们为源项的数值反转构建一个有限元共轭梯度算法。 提出了几个实验来展示该方法的实用性。
我们研究使用顺序2数字网用于准蒙特卡洛四分法的非周期性功能与边界混合第二导数在立方体上。 通过使用所谓的帐篷变换及其映射属性,我们继承了周期设置的错误边界。 我们的分析基于具有边界混合第二弱导数的函数的多变量Faber-Schauder系数的衰变特性。 正如Hinrichs,Markhasin,Oettershagen,T。 Ullrich (Numerische Mathematik 2016),订单 2 网在紧致(周期性) Faber splines 上效果特别好。 由此,我们在非周期性设置中获得帐篷变换顺序2网的二次衰变率。 这通过日志 N 的因子改进了以前已知的此类点集的最已知绑定。 我们用数值实验支持我们的发现,甚至表明订单2网的界限可以进一步提高。 这特别表明,较低复杂性的点集(与先前考虑的构造相比)可能已经为具有二阶混合平滑度的函数的二次(接近)最佳误差衰减率。
高温和结构变形会削弱机电一体化系统新组件的功能和可靠性。 因此,在设计过程中采用高保真模拟(HFS),因为它们能够详细分析系统的热和结构行为。 然而,这种模拟既昂贵又繁琐,特别是在迭代优化过程中。 如果模型能够准确地预测各种材料和几何特性的行为,那么建立参数化还原顺序模型(pROM)可以加速设计的优化。 然而,许多现有方法在应用于宽设计范围时表现出局限性。 在这项工作中,我们引入了参数化框还原(pBR)方法,这是一种矩阵插值技术,由于参数范围大,可以最大限度地减少训练点的非物理影响。 为此,我们定义了一个新的插值函数,该函数为每个设计变量计算一个局部权重,并将其集成到全局函数中。 此外,我们开发一种直观的聚类技术,为模型选择训练点,避免来自遥远点的数字工件。 此外,这两种策略不需要使参数空间正常化并平等处理每个属性。 pBR方法的有效性通过两个物理应用得到验证:悬臂Timoshenko光束的结构变形和功率转换器的电源模块的热传递。 结果表明,pBR方法可以在不牺牲计算效率的情况下,在大型参数范围内准确地捕获机电一体化组件的行为。
1-Lipschitz神经网络是生成建模,反向问题和健壮分类器的基础。 在本文中,我们专注于基于负梯度流的显式欧拉步骤的1-Lipschitz残余网络(ResNets),并研究它们的近似能力。 利用受限的Stone-Weierstrass定理,我们首先表明,当宽度和深度允许生长时,这些1-Lipschitz ResNets在任何紧凑域的标量1-Lipschitz功能中都很密集。 我们还表明,这些网络可以准确地表示标量计时1-Lipschitz函数。 然后,我们证明了一个更有力的声明:通过在残块之间插入规范约束的线性图,当隐藏宽度被固定时,相同的密度保持。 由于每一层都遵守简单的规范约束,因此可以使用现成的优化器对生成的模型进行训练。 本文为1-Lipschitz ResNets提供了第一个通用近似保证,为其实际使用奠定了严谨的基础。
本文通过向后Euler-Maruyama(BEM)方法在无限视界广义单调和Khasminskii型条件下,通过后向的Euler-Maruyama(BEM)方法研究随机延迟微分方程(SDDE)的近似。 首先,通过建立BEM方法的统一时刻边界和有限时间强收敛,我们证明对于足够小的步尺寸,数值近似值以1/2的速度在无限视界中强烈收敛到底层解决方案,这与最优的有限时间强收敛率相吻合。 接下来,我们将与BEM方法相关联的分段过程建立概率的统一边界和收敛。 该分析进一步表明,数值段过程的概率测量与SDDE的底层不变量度收并。 最后,提供了一个数值示例和模拟来说明理论结果。
随机生长-片段模型描述了结构化细胞群通过离散时间和连续状态马尔可夫链的时间进化。 这种随机过程及其不变测量的模拟是感兴趣的。 在本文中,我们提出了一个用于模拟过程和计算不变量度的数值方案,并表明在适当的假设下,数值链收敛到具有显式误差绑定的连续生长-片段链。 通过三角形不等式参数,我们还能够定量估计这两个马尔可夫链的不变度量之间的距离。
在这项工作中,我们通过光谱分析分析了欧文边界生长条件下随机准蒙特卡罗(RQMC)方法的收敛率[欧文,2006]。 具体来说,我们研究了两个通常研究序列的RQMC估算器方差:晶格规则和Sobol序列,分别应用傅里叶变换和Walsh-傅里叶变换进行这种分析。 假设某些规律性条件,我们的发现表明,RQMC 估算器方差的渐近收敛率与欧文对两种序列类型的边界生长条件中指定的指数紧密一致。 我们还为某些不连续的integrands提供分析。
我们考虑优化两段算法的参数的问题,用于近似解线性代数方程系统,具有稀疏的n× n-matrix,即其中非零元素的数量为m=O(n)。 双阶段算法在其阶段使用共轭梯度方法。 在第一阶段,对于零初始向量 ε_1 找到具有精确 ε_1 的近似解决方案。 在这个阶段使用的所有数值都表示为单个精度数字。 获得的解决方案用作近似解决方案的初始近似值,具有我们在第二阶段获得的给定精度 ε_2,其中使用双精度数字。 根据一些矩阵参数的值,在不超过O(m)的时间计算,我们需要确定值ε_1,它最小化了两个阶段的总计算时间。 在第一阶段使用单个精度数字进行计算是有利的,因为一次迭代的执行时间将是第二阶段迭代的一半。 但是使用具有一半咒语长度的机器数字可以加速第一阶段每次迭代的四舍五入误差的增长,这需要在第二阶段进行的迭代次数增加。 为了确定输入矩阵的ε_1,我们使用n,m,估计与矩阵相关的图的直径,估计矩阵的特征值的分布,并估计其最大特征值。 最优值或接近 ε_1 最优值,可以使用最近邻接回归的参数向量来确定矩阵。
离子模型,由硬型普通微分方程系统描述,是模拟计算神经科学和心脏病学中可兴奋细胞复杂动力学的基本工具。 使用人工神经网络近似这些模型由于其固有的刚度,多尺度非线性以及它们表现出的广泛动态行为(包括多个平衡点,极限周期和错综复杂的相互作用)而带来了重大挑战。 虽然在以前的研究中已经预测了跨膜电位的动力学,但在本研究中,我们通过研究傅里叶神经运算符是否可以有效地学习这些动力学系统中所有状态变量在更高维度中的演变来扩展这些结果。 我们通过准确学习三个成熟的离子模型的动力学来展示这种方法的有效性,这些模型具有越来越大的维度:双变量FitzHugh-Nagumo模型,四变量Hodgkin-Huxley模型和四十一个变量O'Hara-Rudy模型。 为了确保为傅里叶神经操作员选择近乎最优的配置,我们在两种情况下进行了自动超参数调优:无约束设置,其中可训练参数的数量不受限制,以及具有固定数量的可训练参数的受限情况。 受限和无约束的架构在所考虑的所有模型中都取得了可比的结果。 然而,无约束的架构需要大约一半的训练纪元才能达到类似的错误水平,训练期间记录的丢失函数值证明了这一点。 这些结果强调了傅里叶神经操作员能够准确捕获复杂的多尺度动力学的能力,即使在高维动力学系统中也是如此。
在本文中,我们得出了具有可变密度(NCVD)的时间依赖性自然对流模型的第一阶欧拉有限元离散化方案。 该模型由可变密度Navier-Stokes方程加上一个描述温度演化的抛物线偏微分方程。 L^2-norm中速度、压力、密度和温度的稳定性和误差估计值通过使用空间中的有限元近似值和时间上有限差异来证明。 最后,数值结果被显示为支持理论分析。
我们将 C^1-P_3 Fraeijs de Veubeke-Sander 有限元扩展到两个 C^1-P_k (k>3) 宏有限元在一般四边形网格上。 在每个四边形上,在由两个对角线从四边分除的四个三角形上定义四个P_k多项式。 有限元的 C^1-P_k 家族是宏网格上的全 C^1-P_k 空间。 因此,该元素可以应用于接口问题。 第二个有限元家族通过将它们移动到四个边缘来凝聚所有内部自由度 C^1-P_k 。 因此,第二个元素方法的未知数要少得多,但比第一个元素更准确。 我们证明了单偿付能力与最优顺序收敛。 提供数字测试和 C^1-P_k 与 Argyris 的比较。
钳子产品功能(TPF)近似已被广泛用于解决高维问题,如偏微分方程和特征值问题,通过计算开销实现理想的准确性,该计算开销以问题维度线性扩展。 然而,最近的研究强调了TPF在量子多体问题上的极高计算成本,即使对于具有三个粒子的系统也是如此。 这些问题的一个关键区别是对未知函数的抗对称要求。 在目前的研究中,我们严格地确定,一类TPF完全非对称的最小涉及术语的数量随着问题维度的成倍增加而呈指数级增长。 该类既包括传统上离散的TPF,也包括最近由神经网络参数化的TPF。 我们的证明利用了该类中反对称TPF与相应的反对称张量之间的联系,并专注于后者的Canonical Polyadic等级。 因此,我们的发现揭示了高维环境中反对称和低等级TPF之间的基本不兼容,并为进一步发展提供了新的见解。
解决Stefan问题,也称为相变的热传导问题,是解决对流相变问题的必要步骤。 在这篇文章中,我们有兴趣使用Lattice Boltzmann方法(LBM)使用规范化的总熵模型来解决Stefan问题。 液体分数被视为非线性源/下沉项,涉及溶液的时间衍生。 生成的非线性系统使用牛顿算法解决。 通过保护问题的局部性,这种方法具有高度可扩展性,同时保持高精度。 新开发的方案通过Chapman-Enskog扩展从理论上分析,并以1D和2D基准进行数值说明。