Dataset-Free Weight-Initialization on Restricted Boltzmann Machine
Muneki Yasuda and Ryosuke Maeno and Chako Takahashi
在前馈神经网络中,已经开发了无数据集重初始化方法,如LeCun,Xavier(或Glorot)和He初始化。 这些方法根据特定分布(例如,高斯或均匀分布)随机确定重量参数的初始值,而无需使用训练数据集。 据作者所知,这种无数据集的权重初始化方法尚未开发用于受限制的玻尔兹曼机器(RBM),这是由两层组成的概率神经网络。 在这项研究中,我们根据统计机械分析为Bernoulli-Bernoulli RBMs导出了无数据集权重初始化方法。 在拟议的权重初始化方法中,权重参数来自高斯分布,零均值。 高斯分布的标准差是根据我们的假设优化的,即两层之间提供更大层相关性(LC)的标准差提高了学习效率。 LC的表达是基于统计力学分析得出的。 标准差的最佳值对应于 LC 的最大点。 提出的权重初始化方法在特定情况下与Xavier初始化相同(即当两个层的大小相同时,层的随机变量为{-1,1}-二进制,所有偏置参数为零)。 拟议的权重初始化方法的有效性在使用玩具和现实世界数据集的数值实验中得到证明。
In feed-forward neural networks, dataset-free weight-initialization methods such as LeCun, Xavier (or Glorot), and He initializations have been developed. These methods randomly determine the initial values of weight parameters based on specific distributions (e.g., Gaussian or uniform distributions) without using training datasets. To the best of the authors' knowledge, such a dataset-free weight-initialization method is yet to be developed for restricted Boltzmann machines (RBMs), which are pr...
