これらのキーワードがハイライトされています: 遺伝的アルゴリズム GA
\(\pm1\)の2状態をとる\(n\)変数確率変数の同時分布が
\[P(X)=\frac{1}{Z}\exp(\sum_{i<j} w_{ij} X_i X_j + \sum_i \theta_i X_i)\]
というBoltzmann分布で与えられるとき,これをBoltzmannマシンという.
最適化の文脈では,\(w_{ij},\theta_i\) が与えられたときに,MCMCによってMAP推定をするのが目的となる.
一方,学習の文脈では,与えられたデータからパラメータ \(w_{ij},\theta_i\) を学習するという話になり,隠れ素子がない場合は指数分布族だから比較的簡単だが,隠れ素子がある場合はEMアルゴリズムを用いる必要がある. また,最急降下法が,二つの対数尤度の差で表されるが,これを覚醒と睡眠というアナロジーで語られることもある.
--あかほ
関連項目†
リンク集†
関連文献†
- D.H.Ackley, G.E.Hinton, and T.J.Sejnowski "A learning algorithm for Boltzmann Machines" Cognitive Science: A Multidisciplinary Journal, vol.9, pp.147-169 (1985)
GoogleScholarAll:A learning algorithm for Boltzmann Machines
- S.Amari, K.Kurata, and H.Nagaoka "Information Geometry of Boltzmann Machines" IEEE trans. on Neural Networks, vol.3, pp.260-271 (1992)
GoogleScholarAll:Information Geometry of Boltzmann Machines
- Book/Information Theory, Inference, and Learning Algorithms 43章
- Book/Pattern Classification 7.3節