クラス \(c_1,c_2,\ldots,c_M\) のいずれかに,事例 \(\mathbf{x}\) を分類する場合を考える.\(\mathbf{x}\) が \(K\)個の特徴 \((x_1,\ldots,x_K)\) で記述され,この事例の特徴の値は \(v_{1l_1},\ldots,v_{Kl_K}\) になっているとしよう. このとき,次式によって事例 \(x_i\) をクラスに分類する方法を単純ベイズ分類器 (naïve Bayes classifier) や 単純ベイズ法 と呼ぶ. \[\arg\max_{c_k} \Pr[C=c_k] \prod_{j=1}^K \Pr[x_{j}=v_{jl_j}|C=c_k]\]
このモデルではクラスが与えられたときの,各特徴量の条件付独立が仮定されている. \[\Pr[x_i|c_k]=\prod_{j=1}^K \Pr[x_{ij}|c_k]\] 学習は,訓練事例集合 \(X=\{\mathbf{x}_1,\mathbf{x}_2,\ldots,\mathbf{x}_N\}\) に対して,\(\Pr[C=c_k]\) と \(\Pr[x_{ij}=v_{jl_{ij}}|C=c_k]\) をそれぞれ最尤推定するなどすればよい.
特徴量間の依存性を全く考慮出来ないが,パラメータ数は少ないので,比較的少数の訓練事例で学習が可能.
-- しましま