Belief Net: A Filter-Based Framework for Learning Hidden Markov Models from Observations
Reginald Zhiyan Chen, Heng-Sheng Chang, Prashant G. Mehta
隐藏的马尔可夫模型(HMM)是模拟顺序数据的基础,但从观察中学习其参数仍然具有挑战性。 像Baum-Welch(EM)算法这样的经典方法在计算上是密集的,并且容易发生局部最优,而现代光谱算法提供了可证明的保证,但可能会产生有效范围之外的概率输出。 这项工作引入了信念网,这是一个新颖的框架,通过将HMM的远期滤波器作为结构化神经网络来学习基于梯度的优化,通过梯度优化来学习HMM参数。 与黑盒 Transformer 模型不同,Belief Net 的可学习权重明确了初始分布、过渡矩阵和发射矩阵的日志,确保了完全可解释性。 该模型使用仅解码器架构处理观察序列,并通过标准的自回归次观测预测损失进行端到端训练。 在合成 HMM 数据上,与 Baum-Welch 相比,Belief Net 实现了卓越的收敛速度,在光谱方法失败的不完全和超全设置中成功恢复参数。 与基于Transformer的模型的比较也出现在现实世界的语言数据上。
Hidden Markov Models (HMMs) are fundamental for modeling sequential data, yet learning their parameters from observations remains challenging. Classical methods like the Baum-Welch (EM) algorithm are computationally intensive and prone to local optima, while modern spectral algorithms offer provable guarantees but may produce probability outputs outside valid ranges. This work introduces Belief Net, a novel framework that learns HMM parameters through gradient-based optimization by formulating t...
