* Boltzmannマシン (Boltzmann machine) [#ab322ae9]

//ここには %項目の説明を書いてください.よろしければ署名しておいてください.

\(\pm1\)の2状態をとる\(n\)変数確率変数の同時分布が
\[P(X)=\frac{1}{Z}\exp(\sum_{i<j} w_{ij} X_i X_j + \sum_i \theta_i X_i)\]
というBoltzmann分布で与えられるとき,これをBoltzmannマシンという.

最適化の文脈では,\(w_{ij},\theta_i\) が与えられたときに,[[MCMC]]によってMAP推定をするのが目的となる.

一方,学習の文脈では,与えられたデータからパラメータ \(w_{ij},\theta_i\) を学習するという話になり,隠れ素子がない場合は指数分布族だから比較的簡単だが,隠れ素子がある場合はEMアルゴリズムを用いる必要がある. また,最急降下法が,二つの対数尤度の差で表されるが,これを覚醒と睡眠というアナロジーで語られることもある. 

> --あかほ

**関連項目 [#pe8fddc5]

//英語や同義語のあとに,#brで区切って関連する項目をリストしてください.

-[[Boltzmann machine]]
#br
-[[Boltzmann分布]]
-[[ニューラルネット]]
-[[MCMC]]
#br
-[[検索:Boltzmannマシン ボルツマンマシン]]

**リンク集 [#la81a184]

-[[ニューラルネットワーク入門>http://mars.elcom.nitech.ac.jp/java-cai/neuro/menu.html]] @ 岩田 彰
#br
-[[Scholarpedia:Boltzmann_machine]]
-[[Wikipedia:Boltzmann_machine]]

**関連文献 [#xea38cdd]

//この%項目%に関連する書籍や論文を紹介してください.

-D.H.Ackley, G.E.Hinton, and T.J.Sejnowski "A learning algorithm for Boltzmann Machines" Cognitive Science: A Multidisciplinary Journal, vol.9, pp.147-169 (1985)~
[[GoogleScholarAll:A learning algorithm for Boltzmann Machines]]
-S.Amari, K.Kurata, and H.Nagaoka "Information Geometry of Boltzmann Machines" IEEE trans. on Neural Networks, vol.3, pp.260-271 (1992)~
[[GoogleScholarAll:Information Geometry of Boltzmann Machines]]
-[[Book/Information Theory, Inference, and Learning Algorithms]] 43章
-[[Book/Pattern Classification]] 7.3節

トップ   編集 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS