Jensen-Shannonダイバージェンス (Jensen-Shannon divergence)

Kullback-Leiblerダイバージェンス \(D_{KL}(p||q)\) が非対称で不便なので対称にしたもの(\(\lambda=1/2\)で対称).分布 \(p\) と \(q\) の間のJensen-Shannonダイバージェンスは次式: \[D_{JS}(q||p)=\lambda D_{KL}(q||\lambda q + (1-\lambda)p)+(1-\lambda) D_{KL}(p||\lambda q + (1-\lambda)p)\] ただし,\(1\ge\lambda\ge0\).この式はエントロピーを \(H(\cdot)\) として,次式に書き換えられる. \[D_{JS}(q||p)=H(\lambda q + (1-\lambda)p)-\lambda H(q) - (1-\lambda) H(p)\]

--しましま

関連項目

リンク集

関連文献


トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2010-02-11 (木) 16:11:05 (2492d)