モデルの集合 \(\mathcal{M}=\{M_1,\ldots,M_i,\ldots,M_K\}\) からベイズの考え方でモデル選択をする.訓練データ \(D\) が与えられたとき,モデルの事後分布 \[\Pr[M_i|D]\propto\Pr[D|M_i]\Pr[M_i]\] を考える.ここで,全てのモデルでそれが選ばれる事前確率 \(\Pr[M_i]\) が離散均一分布であるとすると,どのモデルが選ばれるかは \(\Pr[D|M_i]\) で決まる.このモデル \(M_i\) のパラメータを \(\theta_i\) とすると,\(\Pr[D|M_i]=\int \Pr[D|\theta_i,M_i]\Pr[\theta_i|M_i] d\theta\) は,モデル \(M_i\) の下でのエビデンスとみなせるため,モデルエビデンス (model evidence) と呼ばれる.これは,このモデルの下で訓練データ \(D\) がどれくらいよく説明されるかを表していると解釈できる.
二つのモデル \(M_i\) と \(M_j\) があるとき,これらを比較するため,モデルエビデンスの比 \[\frac{\Pr[D|M_i]}{\Pr[D|M_j]}=\frac{\int \Pr[D|\theta_i,M_i]\Pr[\theta_i|M_i]d\theta_i}{\int \Pr[D|\theta_j,M_j]\Pr[\theta_j|M_j]d\theta_j}\] を求める.これをベイズ因子 (Bayes factor)と呼び,1よりおおきければモデル \(M_i\) が,小さければ \(M_j\) が選択される.
-- しましま