The Generalized Spike Process, Sparsity, and Statistical Independence
Naoki Saito
随机过程的一组给定的实现可以最稀疏地表示(所谓的最佳稀疏基础(BSB))的基础,以及该集在统计上尽可能减少依赖性(所谓的最不依赖性的基础(LSDB))对于数据压缩很重要,并且在计算神经科学家和应用数学家之间产生了兴趣。 在这里,我们考虑这些基础对于一个称为“广义尖峰过程”的特别简单的随机过程,它将单个尖峰(其振幅从标准正态分布中采样)放在每个实现长度的零向量中的随机位置。 不像我们在上一篇论文中处理的“简单尖峰过程”,其振幅是恒定的,我们需要考虑kurtosis-maximizing基础(KMB)而不是LSDB,因为很难评估广义尖峰过程的差异熵和相互信息。 通过计算边际密度和时刻,我们证明:1)BSB和KMB选择标准基础,如果我们在R^n;2)中将基础搜索限制在所有可能的正态基数中,如果我们将基础搜索扩展到所有可能的音量保护的可逆线性变换,那么BSB就存在,并且再次是标准基础,而KMB不存在。 因此,KMB对所考虑的变换的正态性相当敏感,而BSB对此不敏感。 我们的结果再次支持BSB相对于LSDB/KMB对数据压缩应用的偏好,就像之前的工作一样。
A basis under which a given set of realizations of a stochastic process can be represented most sparsely (the so-called best sparsifying basis (BSB)) and the one under which such a set becomes as less statistically dependent as possible (the so-called least statistically-dependent basis (LSDB)) are important for data compression and have generated interests among computational neuroscientists as well as applied mathematicians. Here we consider these bases for a particularly simple stochastic pro...