数据整合方法正日益被用于提高研究效率和泛化能力。然而，这些方法的关键局限性在于假设不同数据集的结果指标是相同的——这一假设在实践中往往不成立。考虑以下阿片类物质使用障碍 (OUD) 研究：XBOT 试验和 POAT 研究，两者均评估药物对 OUD 患者戒断症状严重程度的影响（并非两项试验的主要结果）。XBOT 使用主观阿片类物质戒断量表来衡量戒断症状严重程度，而 POAT 使用临床阿片类物质戒断量表。我们分析了这种现实但具有挑战性的情况，即不同研究的结果指标不同，并且两项研究均未记录两种类型的指标。本文研究了整合具有不同结果指标的研究是否以及何时能够带来效率提升。我们引入了三组假设——具有不同强度——来关联两种结果指标。我们的理论和实证结果提出了一个警示性案例：只有在关联结果指标的最强假设下，整合才能提高渐近效率。然而，对该假设的错误设定会导致偏差。相反，较温和的假设可能产生有限样本效率提升，但随着样本量的增加，这些收益会减少。我们通过整合 XBOT 和 POAT 数据集来估计两种药物对阿片类物质使用障碍患者戒断症状的比较效果，从而说明了这些权衡。通过系统地改变关联 SOW 和 COW 量表的假设，我们展示了潜在的效率提升和偏差风险。我们的研究结果强调了在融合具有不同结果指标的数据集时，仔细选择假设的必要性，并为研究人员提供了应对现代数据整合中这一常见挑战的指导。
准确的电力负荷预测对于电网稳定性、资源优化和可再生能源集成至关重要。 虽然像TimeGPT这样的基于变压器的深度学习模型在时间序列预测中获得了牵引力,但它们在长期电力负荷预测中的有效性仍然不确定。 这项研究使用ESD 2025竞赛的数据评估了从经典回归技术到高级深度学习架构的预测模型。 该数据集包括两年的历史电力负荷数据,以及五个站点的温度和全球水平辐照度(GHI),具有一天的预测视野。 由于实际测试集负载值仍未公开,因此利用预测值将累积错误,使其成为长期预测挑战。 我们使用(i)主成分分析(PCA)进行降维,(ii)将任务构建为回归问题,使用温度和GHI作为协变来预测每小时的负载,(iii)最终将24个模型堆叠以生成年度预测。 我们的结果表明,包括TimeGPT在内的深度学习模型由于训练数据和外源变量的可用性有限,未能持续超越简单的统计和机器学习方法。 相比之下,XGBoost具有最小的功能工程,在所有测试用例中提供最低的错误率,同时保持计算效率。 这凸显了深度学习在长期电力预测中的局限性,并强化了基于数据集特性而非复杂性的模型选择的重要性。 我们的研究提供了对实际预测应用的见解,并有助于正在进行的关于传统和现代预测方法之间权衡的讨论。
用于估计和校准的数据的分区严重影响了基于概率评分的估计值器的性能,如逆概率加权(IPW)和双/偏差机器学习(DML)框架。 我们扩展了倾向分数估计的校准技术的最新进展,提高了在有限重叠,小样本量或数据不平衡等具有挑战性的环境中倾向分数的稳健性。 我们的贡献是双重的:首先,我们提供DML背景下校准估计器特性的理论分析。 为此,我们完善了倾向评分模型的现有校准框架,特别强调了分选方案在确保有效因果推断方面的作用。 其次,通过广泛的模拟,我们表明校准减少了基于逆的倾向得分估计器的方差,同时也减轻了IPW中的偏差,即使在小样本机制中也是如此。 值得注意的是,校准提高了灵活学习者的稳定性(例如梯度提升),同时保持DML的双强健性能。 一个关键的见解是,即使方法在没有校准的情况下表现良好,纳入校准步骤也不会降低性能,前提是选择适当的样品分裂方法。
数据整合方法正日益被用于提高研究效率和泛化能力。然而，这些方法的关键局限性在于假设不同数据集的结果指标是相同的——这一假设在实践中往往不成立。考虑以下阿片类物质使用障碍 (OUD) 研究：XBOT 试验和 POAT 研究，两者均评估药物对 OUD 患者戒断症状严重程度的影响（并非两项试验的主要结果）。XBOT 使用主观阿片类物质戒断量表来衡量戒断症状严重程度，而 POAT 使用临床阿片类物质戒断量表。我们分析了这种现实但具有挑战性的情况，即不同研究的结果指标不同，并且两项研究均未记录两种类型的指标。本文研究了整合具有不同结果指标的研究是否以及何时能够带来效率提升。我们引入了三组假设——具有不同强度——来关联两种结果指标。我们的理论和实证结果提出了一个警示性案例：只有在关联结果指标的最强假设下，整合才能提高渐近效率。然而，对该假设的错误设定会导致偏差。相反，较温和的假设可能产生有限样本效率提升，但随着样本量的增加，这些收益会减少。我们通过整合 XBOT 和 POAT 数据集来估计两种药物对阿片类物质使用障碍患者戒断症状的比较效果，从而说明了这些权衡。通过系统地改变关联 SOW 和 COW 量表的假设，我们展示了潜在的效率提升和偏差风险。我们的研究结果强调了在融合具有不同结果指标的数据集时，仔细选择假设的必要性，并为研究人员提供了应对现代数据整合中这一常见挑战的指导。
机器学习(ML)主要发展到解决“预测问题”。 第二阶段最小二乘(2SLS)的第一阶段是一个预测问题,表明ML第一阶段援助的潜在收益。 然而,对于ML何时帮助2SLSx2014或何时受伤,几乎没有什么指导。 我们研究将ML插入2SLS的影响,将偏置分解为三个信息组件。 从机械上讲,ML-in-2SLS程序面临着预测和因果推断设置x2014及其相互作用的共同问题。 通过模拟,我们展示了线性ML方法(例如,后拉索)工作得很好,而非线性方法(例如,随机森林,神经网络)在第二阶段估计中产生实质性偏置x2014可能超过内源性OLS的偏置。
准确预测客户的购买意图对于业务战略的成功至关重要。 目前的研究主要集中在分析客户未来可能购买的特定类型的产品,很少关注客户是否会从事回购行为的关键要素。 预测客户是否会进行下一次购买是一项经典的时间序列预测任务。 然而,在现实世界中的购买行为中,客户群体通常会表现出不平衡 - 即有大量的偶尔买家和少数忠实客户。 这种头尾分布使传统的时序列预测方法在处理此类问题时面临一定的局限性。 为了应对上述挑战,本文提出了统一的聚类和注意力机制GRU模型(CAGRU),该模型利用多模态数据进行客户购买意向预测。 该框架首先对客户特征进行客户分析,并将客户集群化,以划定包含类似功能的不同客户集群。 然后,由GRU神经网络提取不同客户集群的时间序列特征,并引入注意力机制来捕捉序列位置的重要性。 此外,为了减轻客户细分的正面分布,我们为每个客户细分市场分别培训模型,以更准确地调整和捕捉不同客户细分市场之间行为特征的差异,以及同一客户细分市场中客户的相似特征。 我们构建了四个数据集,并进行了广泛的实验,以证明拟议的CAGRU方法的优越性。
反事实在因果推理(CI)和可解释的人工智能(XAI)这两个不同的数据科学领域起着关键作用。 虽然反事实背后的核心思想在这两个领域保持不变 - 检查在不同情况下会发生什么 - 在如何使用和解释它们方面存在关键差异。 我们引入了一个正式的定义,其中包括CI和XAI中反事实的多方面概念。 然后,我们讨论如何在 CI vs 中使用、评估、生成和操作反事实。 XAI,突出概念和实践上的差异。 通过比较和对比两者,我们希望确定跨CI和XAI交叉施肥的机会。
新兴经济体的金融市场容易受到极端和层层叠叠的信息溢出、激增、突然停止和逆转的影响。 考虑到这一点,我们开发了一种新的在线预警系统(EWS),以检测机器学习中所谓的“概念漂移”,作为经济学的“政权转变”和统计学中的“变化点”。 该系统探索了金融信息流中的非线性,并保持稳健到沉重的尾巴和极端的依赖。 关键组成部分是使用条件熵,它捕获信息传输各种渠道的变化,而不仅仅是条件均值或方差。 我们设计了一种基线方法,并通过使用随机森林和coplas来适应现代高维设置。 我们展示了每个系统组件与新兴市场分析的相关性。 新方法在常规方法失败时检测到重大转变。 我们使用模拟来探索何时发生这种情况,当方法产生有意义的警告时,我们提供两个插图。 及早发现变化的能力有助于提高新兴市场抵御冲击的能力,并为其运营提供新的经济和金融见解。
准确的电力负荷预测对于电网稳定性、资源优化和可再生能源集成至关重要。 虽然像TimeGPT这样的基于变压器的深度学习模型在时间序列预测中获得了牵引力,但它们在长期电力负荷预测中的有效性仍然不确定。 这项研究使用ESD 2025竞赛的数据评估了从经典回归技术到高级深度学习架构的预测模型。 该数据集包括两年的历史电力负荷数据,以及五个站点的温度和全球水平辐照度(GHI),具有一天的预测视野。 由于实际测试集负载值仍未公开,因此利用预测值将累积错误,使其成为长期预测挑战。 我们使用(i)主成分分析(PCA)进行降维,(ii)将任务构建为回归问题,使用温度和GHI作为协变来预测每小时的负载,(iii)最终将24个模型堆叠以生成年度预测。 我们的结果表明,包括TimeGPT在内的深度学习模型由于训练数据和外源变量的可用性有限,未能持续超越简单的统计和机器学习方法。 相比之下,XGBoost具有最小的功能工程,在所有测试用例中提供最低的错误率,同时保持计算效率。 这凸显了深度学习在长期电力预测中的局限性,并强化了基于数据集特性而非复杂性的模型选择的重要性。 我们的研究提供了对实际预测应用的见解,并有助于正在进行的关于传统和现代预测方法之间权衡的讨论。
我们探索变压器在上下文线性回归中解决内质性的能力。 我们的主要发现是,变压器本质上具有一种使用工具变量(IV)有效处理内生性的机制。 首先,我们证明变压器架构可以模拟基于梯度的双级优化过程,该过程以指数速率收敛到广泛使用的两级最小二乘()解决方案。 接下来,我们提出了一个上下文预训练方案,并提供理论保证,表明预训练损失的全球最小化者实现了小的超额损失。 我们广泛的实验验证了这些理论发现,表明经过训练的变压器在存在内质的情况下提供了比该方法更可靠和可靠的上下文内预测和系数估计。
广泛使用的Plackett-Luce排名模型假设个人通过从一系列项目中反复选择来对项目进行排名。 但在许多情况下,宇宙太大,人们无法合理考虑所有选择。 在选择文献中,这个问题已经得到解决,假设个人首先对一个小的考虑集进行抽样,然后在考虑的项目中进行选择。 然而,在这个“考虑然后选择”设置中推断未观察到的考虑集(或项目考虑概率)带来了重大挑战,因为即使是具有强烈独立性假设的简单考虑模型也无法识别,即使项目实用程序是已知的。 我们将考虑选择的框架应用于顶级排名,假设排名是在抽样后根据Plackett-Luce模型构建的。 虽然在此设置中,项目考虑概率仍然未确定,但我们证明我们可以推断考虑概率的相对值的界限。 此外,考虑到预期考虑集大小和已知项目实用程序的条件,我们在项目考虑概率上得出绝对上限和下限。 我们还提供算法,通过传播推断的约束来收紧考虑概率的界限。 因此,我们表明,尽管无法准确识别它们,但我们可以学习有关考虑概率的有用信息。 我们在心理学实验中通过两个不同的排名任务(一个具有固定考虑集,一个具有未知考虑集)在排名数据集上演示我们的方法。 这种数据组合使我们能够估计实用程序,然后使用我们的边界了解未知的考虑概率。
尖锐的,多维的变化点 - 回归表面的突然变化,其位置和大小在诸如基因表达分析,金融协方差断裂,气候政权检测和城市社会经济映射等各种环境中未知。 尽管存在普遍性,但目前没有一种方法共同估计以统计保证为一枪方法设定的不连续性的位置和大小。 因此,我们引入了自由不连续性回归(FDR),一种完全非参数估计器,同时(i)平滑回归表面,(ii)将其分割成毗连区域,以及(iii)可证明恢复其跳跃的精确位置和大小。 通过将Mumford-Shah功能向随机空间采样和相关噪声扩展的凸松弛,FDR克服了经典图像分段方法的固定网格和i.d.噪声假设,从而将其应用于任何维度的真实世界数据。 这为多变量跳转表面产生了第一个识别和均匀一致性结果:在温和的SBV规律性下,估计函数,其不连续性集,所有跳跃大小都收敛到其真正的人口对应。 使用Stein的无偏见风险估计值自动从数据中选择超参数,并且三维大规模模拟验证了理论结果并证明了良好的有限样本性能。 将罗斯福应用于印度的互联网关闭显示,围绕估计关闭边界的经济活动减少了25-35个 - 比以前的估计要大得多。 通过在一般统计环境中统一平滑,分割和效果大小恢复,FDR将自由不连续性的想法转变为实用工具,为现代多变量数据提供正式保证。
本文介绍了动态模型中福利分析的指标。 我们对这些参数进行估计和推断,即使在高维状态空间存在的情况下。 福利指标的例子包括平均福利,平均边际福利效应和福利分解为直接和间接效应,类似于瓦哈卡(1973)和布林德(1973)。 我们得出福利指标的双重和双重有力的表示,有助于偏离的推断。 对于平均福利,价值函数不必估计。 一般来说,去偏差可以应用于值函数的任何估计器,包括神经网络,随机森林,拉索,提升和其他高维方法。 特别是,我们得出了值函数和相关动态双重表示的拉索和神经网络估计器,并为这些函数建立了相关的均正方形收敛率。 欺骗是自动的,因为它只需要了解利益的福利指标,而不是偏见纠正的形式。 所提出的方法用于估计<cit.>中教师旷课和相关平均教师福利的动态行为模型。
我们重新审视了贝叶斯黑-利特曼(BL)投资组合模型,并消除了对主观投资者观点的依赖。 经典BL需要投资者的“观点”:预测向量q及其不确定性矩阵Ω,描述所选投资组合应该超过市场的程度。 我们的关键思想是将(q,Ω)视为潜在的变量,并从单个贝叶斯网络中的市场数据中学习。 因此,由此产生的后估计允许闭式表达式,从而实现快速推理和稳定的投资组合权重。 在这些基础上,我们提出了两种机制来捕捉特征如何与回报相互作用:共享潜在参数化和特征影响的观点;两者都恢复经典的BL和Markowitz投资组合作为特殊情况。 从经验上讲,在30年期道琼斯指数和20年期股票ETF数据上,我们将夏普比率提高了50个指数基线。 这项工作将 BL 变成一个完全数据驱动、无视图和连贯的贝叶斯框架,用于投资组合优化。
在本文中,我探讨了如何将一系列回归和机器学习技术应用于美国每月失业数据,以产生及时的预测。 我比较了七个模型:线性回归,SGDRgressor,随机森林,XGBoost,CatBoost,支持矢量回归和LSTM网络,在历史数据跨度上训练每个,然后在以后的暂停期进行评估。 投入特征包括宏观指标(GDP增长,CPI),劳动力市场衡量标准(职位空缺,初始索赔),金融变量(利率,股票指数)和消费者情绪。 我通过交叉验证调整模型超参数,并通过标准错误指标和评估性能,并预测正确的失业方向。 在整个过程中,基于树的集成(特别是CatBoost)比简单的线性方法提供了明显更好的预测,而LSTM比其他非线性方法更有效地捕获了潜在的时间模式。 SVR和SGDRegressor比标准回归略有收益,但与集成和深度学习模型的一致性不匹配。 解释性工具,特性重要性排名和SHAP值,指出职位空缺和消费者情绪是所有方法中最具影响力的预测因素。 通过直接比较同一数据集上的线性,集成和深度学习方法,我们的研究表明了现代机器学习技术如何增强实时失业预测,为经济学家和政策制定者提供了更丰富的劳动力市场趋势见解。 在模型的比较评估中,我使用了包含2020年1月至2024年12月期间的30个不同特征的数据集。
我们研究估计动态离散选择(DDC)模型的问题,也称为机器学习中离线最大熵调节逆向强化学习(离线MaxEnt-IRL)。 目标是从离线行为数据中恢复管理代理行为的奖励或 Q^* 功能。 在本文中,我们提出了一个基于全局收敛梯度的方法来解决这些问题,而无需线性参数化奖励的限制性假设。 我们方法的新颖之处在于引入了基于IRL / DDC的指数风险最小化(ERM)框架,该框架规避了贝尔曼方程中明确状态过渡概率估计的需要。 此外,我们的方法与非参数估计技术(如神经网络)兼容。 因此,提出的方法有可能被缩放到高维、无限状态空间。 我们方法背后的一个关键的理论见解是,Bellman残渣满足Polyak-Lojasiewicz(PL)条件 - 这种属性虽然弱于强凸度,但足以确保快速的全球收敛保证。 通过一系列合成实验,我们证明了我们的方法始终优于基准方法和最先进的替代品。
平均治疗效果估计是因果推断中最核心的问题,适用于许多学科。 虽然文献中提出了许多估计战略,但这些方法的统计最佳性仍然是一个悬而未决的调查领域,特别是在这些方法没有达到参数率的制度中。 在本文中,我们采用了最近引入的统计下限结构无关的框架,除了访问实现一些统计估计率的黑匣子估计器之外,该框架对讨厌函数没有任何结构属性。 这个框架特别有吸引力,因为人们只愿意考虑使用非参数回归和分类神谕作为黑箱子过程的估计策略。 在这个框架内,我们证明了在政策评估中出现的平均治疗效果(ATE)和平均治疗效果(ATT)以及前者的加权变体的著名和广泛使用的双稳健估计器的统计最优性。
我们提供局部渐近器下土匪实验的决策理论分析。 在扩散过程的框架内工作,我们定义了这些实验的无症状贝叶斯和最小最大风险的合适概念。 对于正常分布的奖励,贝叶斯风险的最低值可以被描述为二阶偏微分方程(PDE)的解。 使用实验方法的限制,我们表明这种PDE表征在奖励的参数和非参数分布下也无症状地保持。 该方法进一步描述了状态变量,它无症状地足以限制注意力,从而提出了减少维度的实用策略。 表征最小贝叶斯风险的PDE可以使用稀疏矩阵例程或蒙特卡洛方法有效地解决。 我们从他们的数字解决方案中获得最佳的贝叶斯和最小值政策。 这些最佳政策在很大程度上主导了诸如汤普森抽样等现有方法;后者的风险往往是两倍高。
我们考虑动态治疗制度(DTRs)与One Sided不合规,如数字推荐和适应性医学试验。 这些设置,决策者鼓励个人随着时间的推移接受治疗,但根据以前的鼓励,治疗,状态和结果来调整鼓励。 重要的是,个人可能不遵守基于未观察到的联合创始人的鼓励。 对于具有二进制处理和鼓励的设置,我们为动态局部平均治疗效果(LATE)提供非参数识别,估计和推断,这是多个时间段治疗效果的预期值,与相应的混合子人群形成对比。 在Imbens and Angrist(1994)中假设的One Sided不合规和顺序扩展下,我们表明可以识别与在单一时间步骤中相对应处理的动态LATE。 在交错的采用设置中,我们显示这些假设足以识别在多个时间段内治疗的动态LATE。 此外,这一结果延伸到任何设置,其中治疗的效果在一个期间与合规事件不相关。
预测误差最小且可以提供最佳和最高准确性的价格一直是最具挑战性的问题之一,也是资本市场活动家和研究人员最关心的问题之一。 因此,一个能够解决问题并高精度提供结果的模型是研究人员感兴趣的主题之一。 在这个项目中,使用时间序列预测模型(如ARIMA)来估计与技术分析相关的价格、变量和指标,显示了参与该模型心理因素的交易者的行为。 通过将所有这些变量与逐步回归联系起来,我们确定了影响变量预测的最佳变量。 最后,我们输入选定的变量作为人工神经网络的输入。 换句话说,我们要将整个预测过程称为“ARIMA_Stepwise Regression_Neural Network”模型,并尝试预测国际金融市场的黄金价格。 预计这种方法将能够用于预测当地和国际金融市场中使用的股票,商品,货币对,金融市场指标和其他项目的类型。 而且,还表达了这种方法的结果和时间序列方法的比较。 最后,根据结果可以看出,与时间序列方法、回归和逐步回归相比,由此产生的混合模型具有最高的精度。
我们探索结构计量经济学模型的预训练估计器。 估算器是“预训练的”,因为大部分计算成本和研究人员的努力发生在估算器的构建过程中。 估计器的后续应用于不同的数据集需要很少的计算成本或研究人员的努力。 该估计利用神经网络从数据模式中识别结构模型的参数。 作为初步试验,本文为已知难以估计的顺序搜索模型构建了预训练的估计器。 我们在 14 个真实数据集上评估预训练的估计值。 估计运行需要几秒钟,并显示高精度。 我们提供估计在pnnehome.github.io。 更一般地说,预训练的现成估计器可以使研究人员和从业者更容易获得结构模型。
本文提出了一个通用框架,用于对来自非结构化数据的参数进行高效和稳健的推断,这些参数包括文本、图像、音频和视频。 长期以来,经济学家将从文本和图像中提取的数据纳入其分析中,这种做法随着深度神经网络的进步而加速。 然而,神经网络并不泛泛地产生无偏见的预测,可能会向使用其输出的估计者传播偏见。 为了应对这一挑战,我们将非结构化数据的推理重新定义为缺失的结构化数据问题,其中结构化数据来自使用深度神经网络的非结构化输入。 这种观点使我们能够应用来自半参数推断的经典结果,基于非结构化数据产生有效、高效和稳健的估计值。 我们用MARS(Missing At Random Structured Data)将这种方法正式化,这是一个统一的框架,它集成并扩展了使用机器学习预测进行偏离推理的现有方法,将它们与各种较旧的,熟悉的问题(如因果推理)联系起来。 我们为描述性和因果估算器开发强大而高效的估算器,并解决诸如使用非结构化数据汇总和转换预测的推理等挑战。 重要的是,MARS适用于在现有文献中受到有限关注的常见经验设置。 最后,我们重新分析了使用非结构化数据的突出研究,证明了MARS的实用价值。