* VCエントロピー (Vapnik-Chervonenkis entropy) [#d279f7f4]

//ここには %項目の説明を書いてください.よろしければ署名しておいてください.

二値分類問題で,仮説空間 \(\Theta\) 中の識別器 \(\theta\) を考える.

\(\theta\) を選ぶと,\(N\) 個のデータ \(D=\{(y_1,x_1),\ldots,(y_N,x_N)\}\) 中の各データが正しく分類されるかどうかのパターンが決まる.

\(\Theta\) 中の全ての分類器でデータを分類したときの,このパターンの数が\(\mathcal{N}(D)\).
例えば,常にクラス1を選ぶ分類器1個しか \(\Theta\)に含まれていなければ,\(\mathcal{N}(D)=1\) となる.

このとき,VCエントロピーは次式:
\[H(l)=\mathrm{E}_D[\ln\mathcal{N}(D)]\]
ただし,期待値は全ての可能な \(N\) 個のデータのサンプル \(D\) についてとる.

この期待値と対数を入れ替えたものがannealed VCエントロピー:
\[H_{\mathrm{ann}}(l)=\ln\mathrm{E}_D[\mathcal{N}(D)]\]

> -- しましま

** 関連項目 [#ifdf86d5]

//英語や同義語のあとに,#brで区切って関連する項目をリストしてください.
-[[VC entropy]]
#br
-[[annealed VCエントロピー]]
#br
-[[VC次元]]
-[[経験損失最小化]]
-[[構造的損失最小化]]
-[[エントロピー]]
#br
-[[検索:VCエントロピー Vapnik-Chervonenkisエントロピー]]

** リンク集 [#v40390e4]

//関連するWWW資源があればリンクしてください.

** 関連文献 [#m28ef369]

//この%項目%に関連する書籍や論文を紹介してください.

-[[Book/パターン認識と学習の統計学(統計科学のフロンティア6)]] 6.3節

トップ   編集 差分 履歴 添付 複製 名前変更 リロード   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS