When Thinking Fails: The Pitfalls of Reasoning for Instruction-Following in LLMs
Xiaomin Li, Zhou Yu, Zhiwei Zhang, Xupeng Chen, Ziji Zhang, Yingying Zhuang, Narayanan Sadagopan, Anurag Beniwal
推理增强的大型语言模型(RLLMs),无论是为推理而明确训练,还是通过思维链(CoT)提示,在许多复杂的推理任务上都取得了最先进的性能。 然而,我们发现了一个令人惊讶和以前被忽视的现象:明确的CoT推理可以显着降低指令遵循的准确性。 在两个基准上评估15个模型:IFEval(具有简单的,可规则验证的约束)和ComplexBench(具有复杂的组合约束),当应用CoT提示时,我们始终如一地观察到性能下降。 通过大规模的案例研究和基于注意力的分析,我们确定了推理帮助(例如格式化或词汇精度)或伤害(例如,忽略简单约束或引入不必要的内容)的常见模式。 我们提出了一个度量,约束注意力,在生成过程中量化模型焦点,并表明CoT推理通常会转移注意力,远离与指令相关的令牌。 为了减轻这些影响,我们介绍并评估了四种策略:上下文学习、自我反思、自我选择性推理和分类器选择性推理。 我们的结果表明,选择性推理策略,特别是分类器选择性推理,可以大大恢复失去的性能。 据我们所知,这是首次系统地揭露教学遵循中的推理引起的失败并提供实际缓解策略的工作。
Reasoning-enhanced large language models (RLLMs), whether explicitly trained for reasoning or prompted via chain-of-thought (CoT), have achieved state-of-the-art performance on many complex reasoning tasks. However, we uncover a surprising and previously overlooked phenomenon: explicit CoT reasoning can significantly degrade instruction-following accuracy. Evaluating 15 models on two benchmarks: IFEval (with simple, rule-verifiable constraints) and ComplexBench (with complex, compositional const...