![[PukiWiki]](image/ibisforest.png "[PukiWiki]")
モデルの集合 \(\mathcal{M}=\{M_1,\ldots,M_i,\ldots,M_K\}\) からベイズの考え方でモデル選択をする．訓練データ \(D\) が与えられたとき，モデルの事後分布 \[\Pr[M_i|D]\propto\Pr[D|M_i]\Pr[M_i]\] を考える．ここで，全てのモデルでそれが選ばれる事前確率 \(\Pr[M_i]\) が離散均一分布であるとすると，どのモデルが選ばれるかは \(\Pr[D|M_i]\) で決まる．このモデル \(M_i\) のパラメータを \(\theta_i\) とすると，\(\Pr[D|M_i]=\int \Pr[D|\theta_i,M_i]\Pr[\theta_i|M_i] d\theta\) は，モデル \(M_i\) の下でのエビデンスとみなせるため，モデルエビデンス (model evidence) と呼ばれる．これは，このモデルの下で訓練データ \(D\) がどれくらいよく説明されるかを表していると解釈できる．
二つのモデル \(M_i\) と \(M_j\) があるとき，これらを比較するため，モデルエビデンスの比 \[\frac{\Pr[D|M_i]}{\Pr[D|M_j]}=\frac{\int \Pr[D|\theta_i,M_i]\Pr[\theta_i|M_i]d\theta_i}{\int \Pr[D|\theta_j,M_j]\Pr[\theta_j|M_j]d\theta_j}\] を求める．これをベイズ因子 (Bayes factor)と呼び，1よりおおきければモデル \(M_i\) が，小さければ \(M_j\) が選択される．
-- しましま
