単純ベイズの変更点

追加された行はこの色です。
削除された行はこの色です。
単純ベイズへ行く。
* 単純ベイズ (naive Bayes) [#c364bce9]

//ここには %項目の説明を書いてください．よろしければ署名しておいてください．

クラス \(c_1,c_2,\ldots,c_M\) のいずれかに，事例 \(\mathbf{x}\) を分類する場合を考える．\(\mathbf{x}\) が \(K\)個の特徴 \((x_1,\ldots,x_K)\) で記述され，この事例の特徴の値は \(v_{1l_1},\ldots,v_{Kl_K}\) になっているとしよう．
このとき，次式によって事例 \(x_i\) をクラスに分類する方法を''単純ベイズ分類器'' (naïve Bayes classifier) や ''単純ベイズ法'' と呼ぶ．
\[\arg\max_{c_k} \Pr[C=c_k] \prod_{j=1}^K \Pr[x_{j}=v_{jl_j}|C=c_k]\]

このモデルではクラスが与えられたときの，各特徴量の条件付独立が仮定されている．
\[\Pr[x_i|c_k]=\prod_{j=1}^K \Pr[x_{ij}|c_k]\]
学習は，訓練事例集合 \(X=\{\mathbf{x}_1,\mathbf{x}_2,\ldots,\mathbf{x}_N\}\) に対して，\(\Pr[C=c_k]\) と \(\Pr[x_{ij}=v_{jl_{ij}}|C=c_k]\) をそれぞれ最尤推定するなどすればよい．

特徴量間の依存性を全く考慮出来ないが，パラメータ数は少ないので，比較的少数の訓練事例で学習が可能．

>-- しましま

**関連項目 [#ibdbb38f]

//英語や同義語のあとに，#brで区切って関連する項目をリストしてください．

-[[ナイーブベイズ]]
-[[naive Bayes]]
-[[simple Bayes]]
#br
-[[クラス分類]]
-[[complement naive Bayes]]
-[[ベイズの定理]]
-[[グラフィカルモデル]]
-[[条件付独立]]
-[[生成モデル]]
#br
-[[検索:単純ベイズ ナイーブベイズ 単純Bayes ナイーブBayes]]

**リンク集 [#k3aa27e3]

//関連するWWW資源があればリンクしてください．

-[[Wikipedia:Naive_Bayes_classifier]]

*** Freeware [#b1786c84]

-[[mloss:naive-bayes]]
-[[AI-Categorizer@CPAN>http://search.cpan.org/~kwilliams/AI-Categorizer/]]：perlのモジュール

** 関連文献 [#waf33fc1]

//この%項目%に関連する書籍や論文を紹介してください．
-[[Book/Machine Learning]] 6.9章~
[[出版予定の第2版のドラフト>http://www.cs.cmu.edu/%7Etom/NewChapters.html]] に詳しい説明
-[[Book/The Elements of Statistical Learning]] 6.6.3章
-[[P.Domingos and M.Pazzani, "On The Optimality of The Simple Bayesian Classifier under Zero-One Loss", Machine Learning, vol.29, pp.103-130 (1997)>Paper/MachineLearning-29-p103]]~
P.Domingos and M.Pazzani, "Beyond Independence: Conditions for The Optimality o The Simple Bayesian Classifier", Proc. of The 13th Int'l Conf. on Machine Learning, pp.105-112 (1996)~
上記の条件付独立が成立せず，クラスが生じる確率の推定に誤差があっても，判別されるクラスまで誤る確率はずっと低いことを示した．
このため，その単純さにもかかわらず，単純ベイズはかなり広範囲の問題に対して良い予測性能を示す．~
[[GoogleScholarAll:On The Optimality of The Simple Bayesian Classifier under Zero-One Loss]]
-[[Book/Pattern Recognition and Machine Learning]] 8.2.2節
-[[Book/データマイニングの基礎]] 2.3節
単純ベイズ の変更点
