* Kullback-Leiblerダイバージェンス (Kullback-Leibler divergence) [#kd17123a]

分布 \(f(x)\) を基準に,分布 \(g(x)\) がどれくらい違っているかを測る尺度.非対称であることに注意.
\[D_{KL}(f(x)||g(x)) = \int f(x)\log\frac{f(x)}{g(x)}dx\]
詳細は[[情報量]]の項を参照

>--しましま

**関連項目 [#c29dd009]

//英語や同義語のあとに,#brで区切って関連する項目をリストしてください.

-[[Kullback-Leibler divergence]]
-[[Kullback-Leibler情報量]]
-[[Kullback-Leibler information]]
-[[相対エントロピー]]
-[[relative entropy]]
#br
-[[ダイバージェンス]]
-[[最尤推定]]
-[[汎化誤差]]
-[[情報量]]
#br
-[[検索:カルバック-ライブラー KLダイバージェンス]]

**リンク集 [#g2df95dc]

//関連するWWW資源があればリンクしてください.

-[[Wikipedia:Kullback-Leibler_divergence]]
-[[MathWorld:RelativeEntropy]]

**関連文献 [#v63ce610]

//この%項目%に関連する書籍や論文を紹介してください.
-基本文献~
[[S.Kullbak and R.A.Leibler "On Information and Sufficiency" Annals of Mathematical Statistics, vol.22, no.1, pp.79-86 (1951)>http://www.projecteuclid.org/handle/euclid.aoms/1177729694]]~
[[GoogleScholarAll:On Information and Sufficiency]]
-[[Book/Pattern Recognition and Machine Learning]] 1.6.1章

トップ   編集 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS