分布 \(f(x)\) を基準に,分布 \(g(x)\) がどれくらい違っているかを測る尺度.非対称であることに注意. \[D_{KL}(f(x)||g(x)) = \int f(x)\log\frac{f(x)}{g(x)}dx\] 詳細は情報量の項を参照
--しましま