From Individual Learning to Market Equilibrium: Correcting Structural and Parametric Biases in RL Simulations of Economic Models
Zeqiang Zhang, Ruxin Chen
强化学习(RL)应用于经济建模揭示了均衡理论的假设与学习代理的新兴行为之间的根本冲突。 虽然规范经济模型假定原子化剂充当了总市场条件的“接受者”,但天真的单剂RL模拟激励该药剂成为其环境的“操纵者”。 本文首先在具有凹凸生产的搜索和匹配模型中展示了这种差异,表明标准的RL代理学习了非平衡,单音策略。 此外,我们确定了经济折扣与RL处理时间间成本之间的不匹配引起的参数偏差。 为了解决这两个问题,我们提出了一个校准的平均场加固学习框架,该框架将代表性代理嵌入到固定的宏观经济领域,并调整成本功能以反映经济机会成本。 我们的迭代算法收敛到自洽的固定点,其中代理的策略与竞争均衡一致。 这种方法为计算社会科学更广泛领域的经济系统中的建模学习代理提供了一种可处理和理论上合理的方法。
The application of Reinforcement Learning (RL) to economic modeling reveals a fundamental conflict between the assumptions of equilibrium theory and the emergent behavior of learning agents. While canonical economic models assume atomistic agents act as `takers' of aggregate market conditions, a naive single-agent RL simulation incentivizes the agent to become a `manipulator' of its environment. This paper first demonstrates this discrepancy within a search-and-matching model with concave produc...