* 単純ベイズ (naive Bayes) [#c364bce9]

//ここには %項目の説明を書いてください.よろしければ署名しておいてください.

クラス \(c_1,c_2,\ldots,c_M\) のいずれかに,事例 \(\mathbf{x}\) を分類する場合を考える.\(\mathbf{x}\) が \(K\)個の特徴 \((x_1,\ldots,x_K)\) で記述され,この事例の特徴の値は \(v_{1l_1},\ldots,v_{Kl_K}\) になっているとしよう.
このとき,次式によって事例 \(x_i\) をクラスに分類する方法を''単純ベイズ分類器'' (naïve Bayes classifier) や ''単純ベイズ法'' と呼ぶ.
\[\arg\max_{c_k} \Pr[C=c_k] \prod_{j=1}^K \Pr[x_{j}=v_{jl_j}|C=c_k]\]

このモデルではクラスが与えられたときの,各特徴量の条件付独立が仮定されている.
\[\Pr[x_i|c_k]=\prod_{j=1}^K \Pr[x_{ij}|c_k]\]
学習は,訓練事例集合 \(X=\{\mathbf{x}_1,\mathbf{x}_2,\ldots,\mathbf{x}_N\}\) に対して,\(\Pr[C=c_k]\) と \(\Pr[x_{ij}=v_{jl_{ij}}|C=c_k]\) をそれぞれ最尤推定するなどすればよい.

特徴量間の依存性を全く考慮出来ないが,パラメータ数は少ないので,比較的少数の訓練事例で学習が可能.

>-- しましま

**関連項目 [#ibdbb38f]

//英語や同義語のあとに,#brで区切って関連する項目をリストしてください.

-[[ナイーブベイズ]]
-[[naive Bayes]]
-[[simple Bayes]]
#br
-[[クラス分類]]
-[[complement naive Bayes]]
-[[ベイズの定理]]
-[[グラフィカルモデル]]
-[[条件付独立]]
-[[生成モデル]]
#br
-[[検索:単純ベイズ ナイーブベイズ 単純Bayes ナイーブBayes]]

**リンク集 [#k3aa27e3]

//関連するWWW資源があればリンクしてください.

-[[Wikipedia:Naive_Bayes_classifier]]

*** Freeware [#b1786c84]

-[[mloss:naive-bayes]]
-[[AI-Categorizer@CPAN>http://search.cpan.org/~kwilliams/AI-Categorizer/]]:perlのモジュール

** 関連文献 [#waf33fc1]

//この%項目%に関連する書籍や論文を紹介してください.
-[[Book/Machine Learning]] 6.9章~
[[出版予定の第2版のドラフト>http://www.cs.cmu.edu/%7Etom/NewChapters.html]] に詳しい説明
-[[Book/The Elements of Statistical Learning]] 6.6.3章
-[[P.Domingos and M.Pazzani, "On The Optimality of The Simple Bayesian Classifier under Zero-One Loss", Machine Learning, vol.29, pp.103-130 (1997)>Paper/MachineLearning-29-p103]]~
P.Domingos and M.Pazzani, "Beyond Independence: Conditions for The Optimality o The Simple Bayesian Classifier", Proc. of The 13th Int'l Conf. on Machine Learning, pp.105-112 (1996)~
上記の条件付独立が成立せず,クラスが生じる確率の推定に誤差があっても,判別されるクラスまで誤る確率はずっと低いことを示した.
このため,その単純さにもかかわらず,単純ベイズはかなり広範囲の問題に対して良い予測性能を示す.~
[[GoogleScholarAll:On The Optimality of The Simple Bayesian Classifier under Zero-One Loss]]
-[[Book/Pattern Recognition and Machine Learning]] 8.2.2節
-[[Book/データマイニングの基礎]] 2.3節

トップ   編集 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS