Kullback-Leiblerダイバージェンス の変更点

• 追加された行はこの色です。
• 削除された行はこの色です。
• Kullback-Leiblerダイバージェンス へ行く。

* Kullback-Leiblerダイバージェンス (Kullback-Leibler divergence) [#kd17123a]

分布 \(f(x)\) を基準に，分布 \(g(x)\) がどれくらい違っているかを測る尺度．非対称であることに注意．
\[D_{KL}(f(x)||g(x)) = \int f(x)\log\frac{f(x)}{g(x)}dx\]
詳細は[[情報量]]の項を参照

>--しましま

**関連項目 [#c29dd009]

//英語や同義語のあとに，#brで区切って関連する項目をリストしてください．

-[[Kullback-Leibler divergence]]
-[[Kullback-Leibler情報量]]
-[[Kullback-Leibler information]]
-[[相対エントロピー]]
-[[relative entropy]]
#br
-[[ダイバージェンス]]
-[[最尤推定]]
-[[汎化誤差]]
-[[情報量]]
#br
-[[検索:カルバック-ライブラー KLダイバージェンス]]

**リンク集 [#g2df95dc]

//関連するWWW資源があればリンクしてください．

-[[Wikipedia:Kullback-Leibler_divergence]]
-[[MathWorld:RelativeEntropy]]

**関連文献 [#v63ce610]

//この%項目%に関連する書籍や論文を紹介してください．
-基本文献~
[[S.Kullbak and R.A.Leibler "On Information and Sufficiency" Annals of Mathematical Statistics, vol.22, no.1, pp.79-86 (1951)>http://www.projecteuclid.org/handle/euclid.aoms/1177729694]]~
[[GoogleScholarAll:On Information and Sufficiency]]
-[[Book/Pattern Recognition and Machine Learning]] 1.6.1章