Natural-gas storage modelling by deep reinforcement learning
Tiziano Balaconi, Aldo Glielmo, Marco Taboga
我们引入了GasRL,这是一个模拟器,将天然气市场的校准表示与经过深度强化学习(RL)训练的存储运营商策略模型相结合。 我们用它来分析最佳库存管理如何影响均衡价格以及需求和供应的动态。 我们测试了各种RL算法,发现Soft Actor Critic(SAC)在GasRL环境中表现出卓越的性能:存储运营商的多个目标 - 包括盈利能力,稳健的市场清算和价格稳定 - 都成功实现了。 此外,由SAC衍生的最佳政策引起的均衡价格动态具有与现实世界价格密切相关的特征,如波动性和季节性。 值得注意的是,这种对价格历史分布的坚持是在没有明确校准模型到价格数据的情况下获得的。 我们展示了模拟器如何用于评估欧盟规定的最低存储阈值的影响。 我们发现,这种阈值对市场抵御供应冲击分配意外变化具有积极影响。 例如,在异常大的冲击下,如果阈值到位,市场中断会更经常地避免。
We introduce GasRL, a simulator that couples a calibrated representation of the natural gas market with a model of storage-operator policies trained with deep reinforcement learning (RL). We use it to analyse how optimal stockpile management affects equilibrium prices and the dynamics of demand and supply. We test various RL algorithms and find that Soft Actor Critic (SAC) exhibits superior performance in the GasRL environment: multiple objectives of storage operators - including profitability, ...