inductive decision tree (ID3)

J.R.Quinlan が考案した代表的な決定木アルゴリズム.改良版のC4.5が現在は主に利用される.

サンプル集合 S を,名義属性 \(A_k\) のとる値によって分割したサンプル集合を \(S_{A_k{=}v_{kl}}\) とする.このとき,サンプルのクラス C の分布についての情報ゲイン (information gain) を最大にする属性をノードを分割する属性として選択. \[H_S(C) - \sum_{v_{kl}\in A_k} \frac{|S_{A_k{=}v_{kl}}|}{|S|} H_{S_{A_k{=}v_{kl}}}(C)\] ただし,\(H_S(C)\) はサンプル集合 S でのクラス C のエントロピー. 属性がきまれば,その属性のノードを生成し,サンプル集合も分割.新たに生成された葉ノードで同じことを再帰的に繰り返す一種の分割統治アルゴリズム

-- しましま

関連項目

リンク集

関連文献


トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2010-02-11 (木) 16:11:03 (2490d)