Humans expect rationality and cooperation from LLM opponents in strategic games
Darija Barak and Miguel Costa-Gomes
随着大型语言模型(LLM)融入我们的社会和经济互动,我们需要加深对人类如何在战略环境中应对LLM对手的理解。 我们介绍了第一个受控制的货币激励的实验室实验的结果,该实验在针对其他人类和LLM的多人p-beauty竞赛中观察人类行为的差异。 我们使用主题内设计来比较个人层面的行为。 我们表明,在这种环境中,人类受试者在对抗LLM时选择的数字明显低于人类,这主要是由于“零”纳什均衡选择的流行率增加。 这种转变主要是由具有高战略推理能力的主体推动的。 玩零纳什均衡选择的受试者通过吸引LLM的推理能力以及出乎意料的合作倾向来激励他们的策略。 我们的发现为同时选择游戏中的多人人与LLM交互提供了基础见解,揭示了两个主题在对抗LLM时的行为和信念的异质性,并提出了混合人LLM系统中机制设计的重要影响。
As Large Language Models (LLMs) integrate into our social and economic interactions, we need to deepen our understanding of how humans respond to LLMs opponents in strategic settings. We present the results of the first controlled monetarily-incentivised laboratory experiment looking at differences in human behaviour in a multi-player p-beauty contest against other humans and LLMs. We use a within-subject design in order to compare behaviour at the individual level. We show that, in this environ...