扩散模型是最先进的生成模型,关于数据模式,如图像,音频,蛋白质和材料。 这些模式在傅里叶域中共享指数衰减方差和幅度的属性。 在加法白噪声的标准去噪扩散概率模型(DDPM)向前过程下,该属性导致高频组件在其信噪比(SNR)上比低频组件更快,更早地损坏。 然后反向过程在高频细节之前生成低频信息。 在这项工作中,我们研究了傅里叶空间扩散模型向前过程的电感偏差。 我们理论上分析和经验证明,DDPM中高频组件的噪声加快导致反向过程中违反正常假设。 我们的实验表明,这导致高频组件的生成质量下降。 然后,我们研究了傅里叶空间中的另一个前进过程,该过程以相同的速率腐蚀所有频率,在生成过程中消除典型的频率层次结构,并在高频为主要数据集上展示显着的性能改进,同时在标准成像基准上与DDPM相当。
数据整合方法正日益被用于提高研究效率和泛化能力。然而，这些方法的关键局限性在于假设不同数据集的结果指标是相同的——这一假设在实践中往往不成立。考虑以下阿片类物质使用障碍 (OUD) 研究：XBOT 试验和 POAT 研究，两者均评估药物对 OUD 患者戒断症状严重程度的影响（并非两项试验的主要结果）。XBOT 使用主观阿片类物质戒断量表来衡量戒断症状严重程度，而 POAT 使用临床阿片类物质戒断量表。我们分析了这种现实但具有挑战性的情况，即不同研究的结果指标不同，并且两项研究均未记录两种类型的指标。本文研究了整合具有不同结果指标的研究是否以及何时能够带来效率提升。我们引入了三组假设——具有不同强度——来关联两种结果指标。我们的理论和实证结果提出了一个警示性案例：只有在关联结果指标的最强假设下，整合才能提高渐近效率。然而，对该假设的错误设定会导致偏差。相反，较温和的假设可能产生有限样本效率提升，但随着样本量的增加，这些收益会减少。我们通过整合 XBOT 和 POAT 数据集来估计两种药物对阿片类物质使用障碍患者戒断症状的比较效果，从而说明了这些权衡。通过系统地改变关联 SOW 和 COW 量表的假设，我们展示了潜在的效率提升和偏差风险。我们的研究结果强调了在融合具有不同结果指标的数据集时，仔细选择假设的必要性，并为研究人员提供了应对现代数据整合中这一常见挑战的指导。
最初由Bickel,Gotze和Zwet(1992)提出的m-out-n bootstrap通过重复绘制m子样本(比n小得多)来近似统计量的分布,而无需从原始样本n中替换。 它现在通常用于强推理与重尾数据,带宽选择和其他大样本应用程序。 尽管其在计量经济学,生物统计学和机器学习方面具有广泛的适用性,但在估计样品分位数时,对m-out-n bootstrap的健全性进行了严格的无参数保证。 本文通过分析从m-out-n重新采样大小为n的数据集中获得的样本分位数的估算器来建立这样的保证。 我们首先证明了一个中心极限定理,用于完全数据驱动的估算器版本,该版本在温和的时刻条件下保持,并且不涉及未知的滋扰参数。 然后,我们通过构建一个 CLT 失败的反示例来表明,当下假设本质上是紧绷的。 稍微加强假设,我们得出一个Edgeworth扩展,提供精确的收敛率,并且作为推论,Berry Esseen绑定在bootstrap近似错误上。 最后,我们通过为实用统计推导无参数渐近分布来说明我们的结果的范围,包括随机行走Metropolis-Hastings的分位数和ergodic Markov决策过程的回报,从而证明了我们理论在现代估计和学习任务中的有用性。
先前数据拟合网络(PFN)已成为表格数据集预测的有希望的基础模型,无需调整即可在小到中数据大小上实现最先进的性能。 虽然PFNs是由贝叶斯思想驱动的,但它们并没有为预测手段,分位数或类似数量提供任何不确定性量化。 我们提出了一个有原则和有效的抽样程序,以根据Martingale后验,为此类估计构建贝叶斯后验,并证明其趋同。 几个模拟和真实世界的数据示例展示了我们在推理应用中方法的不确定性量化。
我们通过分层贝叶斯的镜头提出贝叶斯分层不变性预测(BHIP)重新构建不变性因果预测(ICP)。 我们利用分层结构来明确测试异构数据下的因果机制的不变性,从而提高了与ICP相比,更多预测因子的计算可扩展性。 此外,鉴于其贝叶斯性质BHIP允许使用先前的信息。 在本文中,我们测试了两个稀疏诱导先验:马蹄铁和尖峰和板,两者都使我们能够更可靠地识别因果特征。 我们在合成和真实世界数据中测试BHIP,显示其作为ICP替代推理方法的潜力。
在两个多维时间序列之间找到最相似的子序列有许多应用:例如捕获股票市场的依赖性或发现狒狒的协调移动。 考虑到一个时间序列中发生的一种模式,我们可能会想知道同一模式是否发生在另一个时间序列中,并且具有一些可能具有不同长度的失真。 然而,据我们所知,目前还没有有效的框架来处理这个问题。 在这项工作中,我们提出了一个算法,该算法提供了在时间序列之间找到最相似的多维子序列的确切解决方案,其中时间序列和子序列之间的长度都有差异。 该算法建立在正确性和有效性的理论保证之上。 模拟数据集的结果表明,我们的方法不仅提供了正确的解决方案,而且还只使用了与基线方法相比的四分之一时间的运行时间。 在真实世界的数据集中,它以更快的速度提取最相似的子序列(与基线方法相比,速度高达20倍),并提供了关于股票市场情况的见解以及狒狒运动的多维时间序列关系。 我们的方法可用于任何时间序列。 这项工作的代码和数据集提供给公众使用。
从观察数据中估计个体化治疗效果是因果推断的核心挑战,主要是由于协变失衡和非随机治疗分配的混杂偏差。 虽然逆概率加权(IPW)是解决这个问题的既定解决方案,但它与现代深度学习框架的集成仍然有限。 在这项工作中,我们提出了重要性加权扩散蒸馏(IWDD),这是一种新颖的生成框架,将扩散模型的预训练与重要性加权分数蒸馏相结合,以实现准确和快速的因果估计 - 包括潜在的结果预测和处理效果估计。 我们演示了如何自然地将IPW纳入预训练扩散模型的蒸馏中,并进一步引入了基于随机化的调整,消除了明确计算IPW的需要,从而简化了计算,更重要的是,可以证明地减少了梯度估计的方差。 经验结果表明,IWDD实现了最先进的样本外预测性能,与其他基线相比,胜率最高,显着改善了因果估计并支持个体化治疗策略的发展。 我们将发布我们的 PyTorch 代码,用于可重复性和未来的研究。
在许多缺少数据问题的科学领域,张量完成至关重要。 传统的低水平张量模型,包括CP,Tucker和Tensor-Train,利用低维结构来恢复丢失的数据。 然而,这些方法通常对称地处理所有张量模式,未能捕获科学数据中固有的独特的时空模式,其中时间成分同时表现出低频稳定性和高频变化。 为了解决这个问题,我们提出了一个新颖的模型,傅里叶低阶和稀疏张力(FLoST),它使用傅里叶变换沿着时间维度分解张量。 这种方法捕获具有低水平矩阵和具有稀疏性的高频波动的低频组件,从而产生混合结构,有效地模拟平滑和局部变化。 与众所周知的输卵管级模型相比,该模型假设所有频率组件的低转速,FLoST需要更少的参数,使其计算效率更高,特别是在时间维度大的时候。 通过理论分析和实证实验,我们证明FLoST在准确性和计算效率方面优于现有的张量完成模型,为时空数据重建提供了更可解释的解决方案。
当面对明显偏离其训练分布的数据时,神经网络是脆弱的。 特别是对于基于模拟的推理方法,例如神经摊销的贝叶斯推理(ABI),其中在模拟数据上训练的模型部署在嘈杂的真实世界观测上。 最近强大的方法采用无监督域适应(UDA)来匹配模拟和观察数据的嵌入空间。 然而,不同领域缺乏全面的评估不匹配,引发了对高风险应用程序可靠性的担忧。 我们通过在矽和实践中对广泛的错误规格情景进行系统测试UDA方法来解决这一差距。 我们证明,在域之间对齐汇总空间可以有效地减轻未建模现象或噪声的影响。 然而,同样的对齐机制可能导致先前错误规格下的失败 - 这是一个具有实际后果的关键发现。 我们的研究结果强调了在使用UDA时仔细考虑错误特异性类型以提高ABI的稳健性的必要性。
独立测试是一个经典的统计问题,在收集数据之前修复样本大小时,在批次设置中进行了广泛的研究。 然而,从业者往往更喜欢适应手头问题复杂性的程序,而不是提前设定样本量。 理想情况下,此类程序应(a)在轻松任务(以及后来更困难的任务)上更早停止,从而更好地利用可用资源,以及(b)在收集新数据后持续监控数据并有效地整合统计证据,同时控制误报率。 经典批次测试不是针对流式数据量身定制的:数据窥视后的有效推理需要纠正导致低功耗的多项测试。 遵循投注测试的原则,我们设计顺序内核化的独立性测试,克服这些缺点。 我们使用内核化依赖性措施(例如 Hilbert-Schmidt 独立标准)启发的赌注来举例说明我们的广泛框架。 我们的测试在非 i.i.d., 时差设置下也有效。 我们在模拟和真实数据上展示了我们方法的力量。
我们研究使用大型语言模型(LLM)来模拟人类对调查问题的反应,并进行不确定性量化以获得可靠的见解。 我们的方法将不完美的LLM模拟响应转化为人类反应的人口参数的信心集,解决模拟和真实人群之间的分布变化。 一个关键的创新在于确定模拟响应的最佳数量:太多产生过于狭窄的置信集,覆盖不良,而太少产生过度松散的估计。 为了解决这个问题,我们的方法自适应地选择模拟样本大小,确保有效的平均案例覆盖率保证。 它广泛适用于任何LLM,无论其保真度如何,以及构建信任集的任何程序。 此外,选定的样本量量化了LLM与目标人群之间的错位程度。 我们在真实数据集和LLM上说明我们的方法。
密度回归模型允许通过建模完整的条件概率分布来全面了解数据。 虽然灵活的估计方法(如归化流(NF))在多个维度上工作得特别好,但由于深度学习模型的黑箱特性,解释此类模型的输入输出关系通常很困难。 相比之下,多变量结果(如多变量条件变换模型(MCTM))的现有统计方法在灵活性上受到限制,并且通常不足以表示复杂的多变量概率分布。 在本文中,我们将MCTM与最先进的自动回归NF相结合,利用MCTM的透明度来对第一步中的边缘分布的可解释特征效应进行建模,以及基于神经网络的NF技术的灵活性,以解释联合数据分布中复杂和非线性的关系。 我们在各种数值实验中展示了我们的方法的多功能性,并将其与MCTM和其他NF模型在模拟和真实世界数据上进行比较。
我们考虑从大型数据集中选择一小部分代表性变量的问题。 在计算机科学文献中,这种降维问题通常被正式化为列子集选择(CSS)。 同时,典型的统计形式化是找到一组信息最大化的主要变量。 本文表明,这两种方法是等价的,而且,这两种方法都可以被视为某种半参数模型中的最大可能性估计。 在这个模型中,我们建立了合适的条件,使CSS估计在高维中保持一致,特别是在比例渐近化方案中,样本大小的变量数量收敛到常数。 使用这些连接,我们展示了如何有效地(1)仅使用原始数据集的摘要统计数据执行CSS;(2)在缺少和/或审查数据的情况下执行CSS;(3)在假设测试框架中选择CSS的子集大小。
专家混合(MoE)模型构成了统计学和机器学习中广泛使用的集成学习方法,以其灵活性和计算效率而闻名。 它们已成为许多最先进的深度神经网络架构中不可或缺的组成部分,特别是用于分析不同领域的异构数据。 尽管它们取得了实际成功,但模型选择的理论理解,特别是关于混合物成分或专家的最佳数量,仍然有限,并带来了重大挑战。 这些挑战主要源于高斯门控函数和专家网络中的协变,它引入了由偏微分方程对其参数控制的内在相互作用。 在本文中,我们重新审视了混合测量的树突图概念,并引入了对高斯门高斯MoE模型的新扩展,该模型能够一致估计混合成分的真实数量,并在过拟合场景中实现参数估计的点最佳收敛率。 值得注意的是,这种方法规避了训练和比较一系列具有不同组件数量的模型的需求,从而减轻了计算负担,特别是在高维或深度神经网络设置中。 合成数据的实验结果表明,拟议方法在准确恢复专家人数方面的有效性。 它优于普通标准,如Akaike信息标准,贝叶斯信息标准以及集成完成的可能性,同时实现参数估计的最佳收敛率并准确近似回归函数。
可靠的因果推断对于在医药、经济和公共政策等高风险领域做出决策至关重要。 然而,目前还不清楚大型语言模型(LLM)是否可以处理严格和值得信赖的统计因果推理。 目前的基准通常涉及简化的任务。 例如,这些任务可能只要求LLM识别语义因果关系或直接从原始数据中得出结论。 因此,模型可能会忽略重要的统计陷阱,例如辛普森的悖论或选择偏差。 这种监督限制了LLM在现实世界中的适用性。 为了解决这些限制,我们提出了CausalPitfalls,这是一个全面的基准,旨在严格评估LLM在克服共同因果推断陷阱方面的能力。 我们的基准具有跨多个难度级别的结构化挑战,每个难度级别都与分级公式配对。 这种方法使我们能够定量地测量因果推理能力和LLM反应的可靠性。 我们使用两个协议评估模型:(1)直接提示,评估内在的因果推理,(2)代码辅助提示,其中模型生成可执行代码进行显式统计分析。 此外,我们通过将其评分与人类专家的评估进行比较来验证该法官的有效性。 我们的研究结果揭示了当前LLM在执行统计因果推断时存在重大局限性。 CausalPitfalls基准提供了必要的指导和定量指标,以推进值得信赖的因果推理系统的发展。
用于估计和校准的数据的分区严重影响了基于概率评分的估计值器的性能,如逆概率加权(IPW)和双/偏差机器学习(DML)框架。 我们扩展了倾向分数估计的校准技术的最新进展,提高了在有限重叠,小样本量或数据不平衡等具有挑战性的环境中倾向分数的稳健性。 我们的贡献是双重的:首先,我们提供DML背景下校准估计器特性的理论分析。 为此,我们完善了倾向评分模型的现有校准框架,特别强调了分选方案在确保有效因果推断方面的作用。 其次,通过广泛的模拟,我们表明校准减少了基于逆的倾向得分估计器的方差,同时也减轻了IPW中的偏差,即使在小样本机制中也是如此。 值得注意的是,校准提高了灵活学习者的稳定性(例如梯度提升),同时保持DML的双强健性能。 一个关键的见解是,即使方法在没有校准的情况下表现良好,纳入校准步骤也不会降低性能,前提是选择适当的样品分裂方法。
扩散模型是最先进的生成模型,关于数据模式,如图像,音频,蛋白质和材料。 这些模式在傅里叶域中共享指数衰减方差和幅度的属性。 在加法白噪声的标准去噪扩散概率模型(DDPM)向前过程下,该属性导致高频组件在其信噪比(SNR)上比低频组件更快,更早地损坏。 然后反向过程在高频细节之前生成低频信息。 在这项工作中,我们研究了傅里叶空间扩散模型向前过程的电感偏差。 我们理论上分析和经验证明,DDPM中高频组件的噪声加快导致反向过程中违反正常假设。 我们的实验表明,这导致高频组件的生成质量下降。 然后,我们研究了傅里叶空间中的另一个前进过程,该过程以相同的速率腐蚀所有频率,在生成过程中消除典型的频率层次结构,并在高频为主要数据集上展示显着的性能改进,同时在标准成像基准上与DDPM相当。
数据整合方法正日益被用于提高研究效率和泛化能力。然而，这些方法的关键局限性在于假设不同数据集的结果指标是相同的——这一假设在实践中往往不成立。考虑以下阿片类物质使用障碍 (OUD) 研究：XBOT 试验和 POAT 研究，两者均评估药物对 OUD 患者戒断症状严重程度的影响（并非两项试验的主要结果）。XBOT 使用主观阿片类物质戒断量表来衡量戒断症状严重程度，而 POAT 使用临床阿片类物质戒断量表。我们分析了这种现实但具有挑战性的情况，即不同研究的结果指标不同，并且两项研究均未记录两种类型的指标。本文研究了整合具有不同结果指标的研究是否以及何时能够带来效率提升。我们引入了三组假设——具有不同强度——来关联两种结果指标。我们的理论和实证结果提出了一个警示性案例：只有在关联结果指标的最强假设下，整合才能提高渐近效率。然而，对该假设的错误设定会导致偏差。相反，较温和的假设可能产生有限样本效率提升，但随着样本量的增加，这些收益会减少。我们通过整合 XBOT 和 POAT 数据集来估计两种药物对阿片类物质使用障碍患者戒断症状的比较效果，从而说明了这些权衡。通过系统地改变关联 SOW 和 COW 量表的假设，我们展示了潜在的效率提升和偏差风险。我们的研究结果强调了在融合具有不同结果指标的数据集时，仔细选择假设的必要性，并为研究人员提供了应对现代数据整合中这一常见挑战的指导。
先前数据拟合网络(PFN)已成为表格数据集预测的有希望的基础模型,无需调整即可在小到中数据大小上实现最先进的性能。 虽然PFNs是由贝叶斯思想驱动的,但它们并没有为预测手段,分位数或类似数量提供任何不确定性量化。 我们提出了一个有原则和有效的抽样程序,以根据Martingale后验,为此类估计构建贝叶斯后验,并证明其趋同。 几个模拟和真实世界的数据示例展示了我们在推理应用中方法的不确定性量化。
我们提出了新的图内核,其基础是通过热带代数几何学研究度量图。 与基于节点、边缘和子图等图形组合学的传统图内核相比,我们的图内核纯粹基于底层度量空间的几何和拓扑。 我们构造的一个关键特征属性是它在边缘分区下的不变性,使得内核本质上非常适合比较代表不同底层空间的图形。 我们开发用于计算这些内核的高效算法并分析其复杂性,表明它主要取决于输入图的属。 经验上,我们的内核在无标签设置方面优于现有方法,正如在合成和真实世界的基准数据集上所展示的那样。 我们通过城市道路网络分类任务进一步强调了其实用性。
正态预测为构建具有有限样本保证的预测区间提供了强大的框架,但其在分布变化下的稳健性仍然是一个重大挑战。 本文通过使用Levy-Prokhorov(LP)模棱两可集对分布变化进行建模来解决这一限制,这些设置捕获了本地和全球扰动。 我们提供LP模写集及其与Wasserstein和Total Variation等流行指标的联系的自包含概述。 我们表明,构象预测和LP模写集之间的联系是自然的:通过通过评分函数传播LP歧义设置,我们将复杂的高维分布变化减少到可管理的一维分布变化,从而精确量化最坏情况的分位数和覆盖范围。 基于此分析,我们构建了稳健的构象预测区间,这些区间在分布变化下仍然有效,明确将LP参数与区间宽度和置信水平联系起来。 现实世界数据集的实验结果表明了拟议方法的有效性。
本研究引入了一种新的推理框架,称为贝叶斯和逆贝叶斯(BIB)推理,该推理通过将对称偏差集成到贝叶斯推理中同时执行常规和逆贝叶斯更新。 通过顺序估计任务对模型的有效性进行了评估,该任务涉及从高斯分布中采样的观测结果,具有随机时间变化的平均值。 传统的贝叶斯推理需要在适应突然的环境变化和稳定间隔期间的估计准确性之间进行根本权衡。 BIB框架通过反向贝叶斯更新动态调节学习率来解决这一限制,从而增强了适应性灵活性。 BIB模型在突然的环境转换期间在学习率中产生自发爆发,短暂地进入高灵敏度状态以适应传入的数据。 这种间歇性爆发放松模式作为一种动态机制,平衡适应性和准确性。 对爆发间隔分布的进一步分析表明,BIB模型在不同条件下一致地产生功率法分布。 这种强大的缩放行为,在传统的贝叶斯推理中不存在,似乎来自由反向贝叶斯更新驱动的自我调节机制。 这些结果对自然系统中的无尺度现象提出了一种新的计算视角,并为设计非静止环境中的自适应推理系统提供了意义。
由于成本、道德问题或实际限制,进行估计总效果的实验可能具有挑战性。 作为替代方案,研究人员通常依靠因果图来确定是否可以从观测数据中识别这些效应。 在完全指定的因果图中识别总效应受到了相当大的关注,Pearl的前门标准允许在潜在混淆的情况下识别总效应,即使没有变量集足以进行调整。 然而,指定一个完整的因果图在许多领域都是具有挑战性的。 将这些可识别结果扩展到部分指定的图形至关重要,特别是在动态系统中,因果关系随着时间的推移而演变。 本文解决了使用动态系统中特定且众所周知的部分指定的图形(称为汇总因果图)识别总效应的挑战,该图没有指定因果关系之间的时间滞后,并且可能包含周期。 特别是,本文提出了足够的图形条件,用于识别观测数据的总效应,即使在存在周期和潜在混淆的情况下,并且没有变量集足以进行调整。
我们通过分层贝叶斯的镜头提出贝叶斯分层不变性预测(BHIP)重新构建不变性因果预测(ICP)。 我们利用分层结构来明确测试异构数据下的因果机制的不变性,从而提高了与ICP相比,更多预测因子的计算可扩展性。 此外,鉴于其贝叶斯性质BHIP允许使用先前的信息。 在本文中,我们测试了两个稀疏诱导先验:马蹄铁和尖峰和板,两者都使我们能够更可靠地识别因果特征。 我们在合成和真实世界数据中测试BHIP,显示其作为ICP替代推理方法的潜力。
自适应带宽的选择是非参数回归的一个基本挑战。 本文介绍了一种新的带宽选择程序,灵感来自l_0-惩罚回归的最优性标准。 虽然在精神上类似于莱普斯基的方法及其在选择满足可接受性标准的最大区间的变体,但我们的方法源于一种独特的哲学,利用基于l_2-规范的区间预测的标准,而不是明确的点和方差估计。 我们根据我们的带宽选择程序获得本地多项式回归方法的非渐近风险边界,该过程可在其域的所有点同时适应(近)底层回归函数的本地Hölder指数。 此外,我们表明,在上述局部适应性的每种情况下,全局调谐参数都有一个单一的理想选择。 我们方法的最佳风险来自具有独立兴趣的新“带宽选择方程”的解决方案属性。 我们认为,我们方法背后的原则为当地适应性非参数回归的经典但永远相关的问题提供了新的视角。