Jet Functors and Weil Algebras in Automatic Differentiation: A Geometric Analysis
Amandip Sangha
我们提出了基于喷气式函子和Weil代数的自动分化(AD)差分几何配方。 在这个框架中,前向和反向模式分化自然产生为推移和共通回调,而高阶分化对应于Weil代数中的评估。 这种结构提供了统一的、无坐标的衍生传播视图,并明确了AD背后的代数结构。 所有结果都在现代JAX代码中实现,其中Weil-mode公式在单个前向传递中计算所有混合衍生物,在代数尺寸中具有成本线性。 由此产生的实现实现了代数精确和数值稳定的差异化,具有可预测的缩放,表明几何抽象可以产生更高效和透明的计算差异化系统。 代码可查阅https://git.nilu.no/geometric-ad/jet-weil-ad。
We present a differential-geometric formulation of automatic differentiation (AD) based on jet functors and Weil algebras. In this framework, forward- and reverse-mode differentiation arise naturally as pushforward and cotangent pullback, while higher-order differentiation corresponds to evaluation in a Weil algebra. This construction provides a unified, coordinate-free view of derivative propagation and clarifies the algebraic structure underlying AD. All results are realized in modern JAX code...