#author("2019-03-11T08:13:55+00:00","default:ibis","ibis")
* 経験ベイズ (empirical Bayes) [#e9ba6b94]

//ここには %項目の説明を書いてください.よろしければ署名しておいてください.

ベイズモデルでは事後確率は次式
\[\Pr[\theta|x]\propto\Pr[x|\theta]\Pr[\theta]\]
本来は,事前確率 \(\Pr[\theta]\) はデータとは関係なく「事前に」与えられる.

それに対して,データから事前確率を「経験的に」与えるのが経験ベイズ.
事前確率はパラメータ \(\eta\) によって表される \(\Pr[\theta;\eta]\).ここで,階層ベイズとは違い超パラメータ \(\eta\) は確率変数ではない.そして,この超パラメータは,パラメータを周辺化した次の周辺尤度を最大にするように選ぶ
\[\hat{\eta}=\arg\max_\eta \Pr[x;\eta]=\arg\max_\eta \int\Pr[x|\theta]\Pr[\theta;\eta]d\theta\]
本来の階層ベイズでは \(\eta\) についても事前分布を決めて適宜周辺化するが,
経験ベイズでは,このように事前分布のデータから経験的に決めて近似的な計算をする.
階層ベイズにおいて,超事前分布を周辺尤度最大化超パラメータの上のデルタ分布にした特別な場合と考えることができる.

エビデンス \(\Pr[x]\) を近似的に求めるのでエビデンス近似(evidence approximation),パラメータではなく超パラメータを最大化するので第2種の最尤推定(type 2 maximum likelihood)とも呼ばれる.

> -- しましま,こびと

** 関連項目 [#af673fcf]

//英語や同義語のあとに,#brで区切って関連する項目をリストしてください.
-[[empirical Bayes]]
-[[エビデンス近似]]
-[[evidence approximation]]
-[[第2種の最尤推定]]
-[[type 2 maximum likelihood]]
#br
-[[ベイズ推定]]
-[[階層ベイズ]]
-[[最尤推定]]
#br
-[[検索:経験ベイズ 経験Bayes エビデンス近似 第2種の最尤推定]]

** リンク集 [#e2a07449]

//関連するWWW資源があればリンクしてください.
-[[Wikipedia:Empirical_Bayes_method]]

** 関連文献 [#s874263e]

//この%項目%に関連する書籍や論文を紹介してください.
-[[Book/Pattern Recognition and Machine Learning]] 3.5節
-[[Book/Neural Networks for Pattern Recognition]] 10.4節

トップ   編集 差分 履歴 添付 複製 名前変更 リロード   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS