A Neuroscience-Inspired Dual-Process Model of Compositional Generalization
Alex Noviello, Claas Beger, Jacob Groner, Kevin Ellis, Weinan Sun
系统组合化 - 构建和理解已知构建模块的新组合 - 仍然是人工智能系统的核心挑战。 人类认知通过海马体(HPC)和前额叶皮层(PFC)的相互作用来实现这种灵活性:海马体快速编码发作,前额叶皮层将它们合并为可重复使用的原理图进行推理。 借鉴这些见解,我们介绍了MIRAGE(Meta-Inference with Rules and Abstractions from Generalized Experience),这是一个实现组合任务的系统概括的框架。 MIRAGE有两个相互作用的模块,反映了大脑的深思熟虑的HPC-PFC循环和直观的新皮质模式识别。 (1)元训练的Transformer Neural Decomposer,并行新皮质“系统1”计算,在随机抽样组合语法的任务不可知论流上训练,并应用每个通法一个分解步骤,连续通过迭代地改进序列表示。 (2) Schema Engine,类似于HPC-PFC“系统2”循环,动态提取,排列和应用可重复使用的架构,在偶发存储器中存储变量绑定,并在需要时扩展它们。 通过明确地将MIRAGE的Transformer组件与主动管理的原理图结构,我们的模型通过显式模式应用程序和转换执行系统组成操作,在解决完全新颖的任务时仅依靠冻结权重。 这种方法在SCAN基准上展示了系统的组合概括,实现了> 99
Systematic compositional generalization - constructing and understanding novel combinations of known building blocks - remains a core challenge for AI systems. Human cognition achieves this flexibility via the interplay of the hippocampus (HPC) and prefrontal cortex (PFC): the hippocampus rapidly encodes episodes, and the prefrontal cortex consolidates them into reusable schemas for reasoning. Drawing on these insights, we present MIRAGE (Meta-Inference with Rules and Abstractions from Generaliz...