経験ベイズ (empirical Bayes)

ベイズモデルでは事後確率は次式 \[\Pr[\theta|x]\propto\Pr[x|\theta]\Pr[\theta]\] 本来は,事前確率 \(\Pr[\theta]\) はデータとは関係なく「事前に」与えられる.

それに対して,データから事前確率を「経験的に」与えるのが経験ベイズ事前確率はパラメータ \(\eta\) によって表される \(\Pr[\theta;\eta]\).ここで,階層ベイズとは違い超パラメータ \(\eta\) は確率変数ではない.そして,この超パラメータは,パラメータを周辺化した次の周辺尤度を最大にするように選ぶ \[\hat{\eta}=\arg\max_\eta \Pr[x;\eta]=\arg\max_\eta \int\Pr[x|\theta]\Pr[\theta;\eta]d\theta\] 本来の階層ベイズでは \(\eta\) についても事前分布を決めて適宜周辺化するが, 経験ベイズでは,このように事前分布のデータから経験的に決めて近似的な計算をする.

エビデンス \(\Pr[x]\) を近似的に求めるのでエビデンス近似(evidence approximation),パラメータではなく超パラメータを最大化するので第2種の最尤推定(type 2 maximum likelihood)とも呼ばれる.

-- しましま

関連項目

リンク集

関連文献


トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2010-02-11 (木) 16:13:09 (2494d)