Bregmanダイバージェンス (Bregman divergence)

\[D_\phi(q||p)=\phi(q)-\phi(p)-\langle q-p,\nabla\phi(p)\rangle\] ただし \(\phi(\cdot)\) は,厳密に凸で微分可能な関数.\(\phi(\cdot)\) によっていろいろな距離やダイバージェンスなどになる.

\(\phi(x)\)Bregmanダイバージェンス
\(\phi(\mathbf{x})=\|\mathbf{x}\|^2\)二乗ユークリッド距離: \(\|\mathbf{x}-\mathbf{y}\|^2\)
\(\phi(\mathbf{p})=\sum_i p_i\log(p_i)\) (負のエントロピー)Kullback-Leiblerダイバージェンス
\(\phi(x)=x\log(x)+(1-x)\log(1-x)\)Logistic損失:\(\phi(\mathbf{x})=x\log\frac{x}{y}+(1-x)\log\frac{1-x}{1-y}\)

-- しましま

関連項目

リンク集

関連文献


トップ   編集 凍結 差分 履歴 添付 複製 名前変更 リロード   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2010-02-11 (木) 16:10:50