VCエントロピー の変更点

• 追加された行はこの色です。
• 削除された行はこの色です。
• VCエントロピー へ行く。

* VCエントロピー (Vapnik-Chervonenkis entropy) [#d279f7f4]

//ここには %項目の説明を書いてください．よろしければ署名しておいてください．

二値分類問題で，仮説空間 \(\Theta\) 中の識別器 \(\theta\) を考える．

\(\theta\) を選ぶと，\(N\) 個のデータ \(D=\{(y_1,x_1),\ldots,(y_N,x_N)\}\) 中の各データが正しく分類されるかどうかのパターンが決まる．

\(\Theta\) 中の全ての分類器でデータを分類したときの，このパターンの数が\(\mathcal{N}(D)\)．
例えば，常にクラス1を選ぶ分類器1個しか \(\Theta\)に含まれていなければ，\(\mathcal{N}(D)=1\) となる．

このとき，VCエントロピーは次式：
\[H(l)=\mathrm{E}_D[\ln\mathcal{N}(D)]\]
ただし，期待値は全ての可能な \(N\) 個のデータのサンプル \(D\) についてとる．

この期待値と対数を入れ替えたものがannealed VCエントロピー：
\[H_{\mathrm{ann}}(l)=\ln\mathrm{E}_D[\mathcal{N}(D)]\]

> -- しましま

** 関連項目 [#ifdf86d5]

//英語や同義語のあとに，#brで区切って関連する項目をリストしてください．
-[[VC entropy]]
#br
-[[annealed VCエントロピー]]
#br
-[[VC次元]]
-[[経験損失最小化]]
-[[構造的損失最小化]]
-[[エントロピー]]
#br
-[[検索:VCエントロピー Vapnik-Chervonenkisエントロピー]]

** リンク集 [#v40390e4]

//関連するWWW資源があればリンクしてください．

** 関連文献 [#m28ef369]

//この%項目%に関連する書籍や論文を紹介してください．

-[[Book/パターン認識と学習の統計学(統計科学のフロンティア6)]] 6.3節