Mutual Information Rate – Linear Noise Approximation and Exact Computation
Manuel Reinhardt and Age J. Tjalma and Anne-Lena Moor and Christoph Zechner and Pieter Rein ten Wolde
高效的信息处理对于生物体和工程系统都至关重要。 相互信息速率,即信息理论的核心概念,量化输入和输出信号轨迹之间共享的信息量,并使得动态系统中的信息流的量化成为可能。 估计相互信息速率的常见方法是高斯近似值,它假设输入和输出轨迹遵循高斯统计。 然而,这种方法仅限于线性系统,其在非线性或离散系统中的准确性仍然不清楚。 在这项工作中,我们通过利用路径重量采样(PWS)来评估高斯近似非高斯系统的准确性,PWS是一种精确计算相互信息速率的最近技术。 在两个案例研究中,我们研究了高斯近似值的局限性。 首先,我们专注于离散线性系统,并证明,即使系统的统计数据接近高斯,高斯近似值也无法准确估计相互信息速率。 其次,我们探索了一个具有非线性传递函数的连续扩散系统,揭示了高斯近似值和随着非线性增加的确切相互信息速率之间的显著偏差。 我们的结果提供了对高斯近似值在不同随机模型中的性能的定量评估,并在需要更计算密集型方法(如PWS)时突出显示。
Efficient information processing is crucial for both living organisms and engineered systems. The mutual information rate, a core concept of information theory, quantifies the amount of information shared between the trajectories of input and output signals, and enables the quantification of information flow in dynamic systems. A common approach for estimating the mutual information rate is the Gaussian approximation which assumes that the input and output trajectories follow Gaussian statistics...