Comparative Study of Q-Learning for State-Feedback LQG Control with an Unknown Model
Mingxiang Liu, Damián Marelli, Minyue Fu, Qianqian Cai
我们研究设计一个状态反馈线性二次高斯(LQG)控制器的问题,该系统中的系统矩阵以及过程噪声协方差是未知的。 我们在两个方法之间进行了严格的比较。 第一个是使用系统识别阶段来估计未知参数的经典阶段,然后用于状态反馈LQG(SF-LQG)控制器设计。 第二种方法是最近提出的一种使用称为Q-学习的强化学习范式的方法。 我们在生成控制器的复杂性和准确性方面进行比较。 我们展示了经典的渐近效率方法,在准确性方面几乎没有改进的余地。 我们还提出了一种新的基于Q-learning的方法,我们显示无症状地实现了最佳的控制器设计。 我们通过数字高效的算法实现来补充我们提出的方法,旨在使其在计算方面具有竞争力。 然而,我们的复杂性分析表明,经典方法在数值上仍然比这种基于Q学习的替代品更有效。 然后,我们得出结论,在未知参数的情况下,经典方法仍然是解决SF-LQG设计的最佳选择。
We study the problem of designing a state feedback linear quadratic Gaussian (LQG) controller for a system in which the system matrices as well as the process noise covariance are unknown. We do a rigorous comparison between two approaches. The first is the classic one in which a system identification stage is used to estimate the unknown parameters, which are then used in a state-feedback LQG (SF-LQG) controller design. The second approach is a recently proposed one using a reinforcement learni...