条件付き確率の条件部分と確率の部分を交換する定理 \[\Pr[\theta|D]=\frac{\Pr[D|\theta]\Pr[\theta]}{\Pr[D]}=\frac{\Pr[D|\theta]\Pr[\theta]}{\int \Pr[D|\theta]\Pr[\theta] d\theta}\]
\(\Pr[\theta]\) を事前分布,\(\Pr[\theta|D]\) を事後分布という.\(\Pr[D|\theta]\) は尤度と呼ばれるが,最尤推定での尤度とは違い \(\theta\) は普通の変数ではなく,この場合確率変数.
\(\Pr[D]=\int \Pr[D|\theta]\Pr[\theta] d\theta\) は,このモデルの下でデータ \(D\) が説明されている度合いと解釈できるので,エビデンス (evidence) という.
学習理論や機械学習と関わると,この定理を見ない日はない (かも )
-- しましま
注意;この事後確率を導出する場合、xが与えられたときのyの条件付確率 \(\Pr[D|\theta]\) が,すべてが既知でないと使えない。
-- nadja