ベイズ因子 (Bayes factor) / モデルエビデンス (model evidence)

ベイズモデル比較

モデルの集合 \(\mathcal{M}=\{M_1,\ldots,M_i,\ldots,M_K\}\) からベイズの考え方でモデル選択をする.訓練データ \(D\) が与えられたとき,モデル事後分布 \[\Pr[M_i|D]\propto\Pr[D|M_i]\Pr[M_i]\] を考える.ここで,全てのモデルでそれが選ばれる事前確率 \(\Pr[M_i]\) が離散均一分布であるとすると,どのモデルが選ばれるかは \(\Pr[D|M_i]\) で決まる.このモデル \(M_i\) のパラメータを \(\theta_i\) とすると,\(\Pr[D|M_i]=\int \Pr[D|\theta_i,M_i]\Pr[\theta_i|M_i] d\theta\) は,モデル \(M_i\) の下でのエビデンスとみなせるため,モデルエビデンス (model evidence) と呼ばれる.これは,このモデルの下で訓練データ \(D\) がどれくらいよく説明されるかを表していると解釈できる.

ベイズ因子

二つのモデル \(M_i\) と \(M_j\) があるとき,これらを比較するため,モデルエビデンスの比 \[\frac{\Pr[D|M_i]}{\Pr[D|M_j]}=\frac{\int \Pr[D|\theta_i,M_i]\Pr[\theta_i|M_i]d\theta_i}{\int \Pr[D|\theta_j,M_j]\Pr[\theta_j|M_j]d\theta_j}\] を求める.これをベイズ因子 (Bayes factor)と呼び,1よりおおきければモデル \(M_i\) が,小さければ \(M_j\) が選択される.

-- しましま

関連項目

リンク集

関連文献


トップ   編集 凍結 差分 履歴 添付 複製 名前変更 リロード   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2010-02-11 (木) 16:12:28