ベイズ推定の変更点

追加された行はこの色です。
削除された行はこの色です。
ベイズ推定へ行く。
*ベイズ推定 (Bayesian inference) [#je436e22]

データ \(X\) が与えられたときのパラメータの事後確率
\[\Pr[\theta|X]=\frac{\Pr[X|\theta]\Pr[\theta]}{\int\Pr[X|\theta]\Pr[\theta]d\theta}\]
を考える点ではMAP推定と似ている．
新たなデータ \(x\) が生じる予測分布 \(\Pr[x|X]\) は，MAP推定では，事後確率を最大にするパラメータ値 \(\hat{\theta}\) を求め，\(\Pr[x|X]=\Pr[x|\hat{\theta}]\) とする．
しかし，Bayes推定では，次のように予測分布の形で推定をする．
\[\Pr[x|X]=\int\Pr[x|\theta]\Pr[\theta|X]d\theta\]
パラメータの推定値は分布の形で扱われるが，一つに定めたいときには次の期待値を使うのが一般的．
\[\hat{\theta}=\int\theta\Pr[\theta|X]d\theta\]

最大値を使うMAP推定では少数のはずれ値に大きく影響されることがあるが，ベイズ推定は予測分布や期待値なので頑健な推定ができる．しかし，予測分布や期待値を求める積分は高次になることが多くその計算は困難である．最近は[[MCMC]]や[[変分ベイズ]]などの近似手法の発展により，によりこの積分もできるようになってきたので，ベイズ推定の研究が活発になっている．

>-- しましま

**関連項目 [#d8641574]
-[[Bayesian inference]]
#br
-[[ベイズの定理]]
-[[事前分布]]
-[[事後分布]]
-[[MAP推定]]
-[[正則化]]
-[[グラフィカルモデル]]
-[[確率伝播]]
-[[ベイジアンネット]]
-[[単純ベイズ]]
-[[MCMC]]
-[[変分ベイズ]]
-[[平均場近似]]
-[[Laplace近似]]
-[[経験ベイズ]]
-[[階層ベイズ]]
#br
-[[検索: Bayes推定 ベイズ推定]]

**リンク集 [#v7fb596c]
-[[Bayes 法（ベイズ法）の原理>http://www2.tba.t-com.ne.jp/nakada/takashi/bayes/idea.html]] @ 仲田崇志
-[[始めよう！ベイズ推定によるデータ解析のページ>http://tombo.sub.jp/bayes.html]]
-[[ベイズ統計入門＆モンテカルロ法と逆問題>http://www.ism.ac.jp/~iba/kougi_2006_ism/cyuo.html]] @ 伊庭幸人
-[[生態学のデータ解析 - ベイズ統計 & MCMC>http://hosho.ees.hokudai.ac.jp/~kubo/ce/BayesianMcmc.html]] @ 久保拓弥
-[[Bayesian inference in dynamic models -- an overview>http://research.microsoft.com/~minka/papers/dynamic.html]] @ Tom Minka
-[[The 13th Machine Learning Summer School>videolec:mlss09uk_cambridge/]]：ベイズ系の学習の有名人が勢揃い
#br
-[[Scholarpedia:Bayesian_statistics]]
-[[Wikipedia:Bayesian_inference]]

*** Freeware [#rec1bb88]

[[グラフィカルモデル]]の項目を参照

** 関連文献 [#s6850500]

-上田 修功「ベイズ学習」, 電子情報通信学会誌, vol.85, no.4,6,7,8 (2002) 全4回
-[[Book/The Elements of Statistical Learning]]：8.3節
-[[Book/Pattern Recognition and Machine Learning]]：1.2.3節
-[[Book/人工知能学事典]]：14-10節
-A.Gelman, J.B.Carlin, H.S.Stern, and D.B.Rubin "Bayesian Data Analysis" 2nd edition, Chapman&Hall/CRC (2004)~
[[GoogleScholarAll:Bayesian Data Analysis]]~
Amazon.co.jpへのリンク：&amazon(158488388X);
ベイズ推定 の変更点
