![[PukiWiki]](image/ibisforest.png "[PukiWiki]")
\[D_\phi(q||p)=\phi(q)-\phi(p)-\langle q-p,\nabla\phi(p)\rangle\] ただし \(\phi(\cdot)\) は，厳密に凸で微分可能な関数．\(\phi(\cdot)\) によっていろいろな距離やダイバージェンスなどになる．
| \(\phi(x)\) | Bregmanダイバージェンス |
| \(\phi(\mathbf{x})=\|\mathbf{x}\|^2\) | 二乗ユークリッド距離： \(\|\mathbf{x}-\mathbf{y}\|^2\) |
| \(\phi(\mathbf{p})=\sum_i p_i\log(p_i)\) (負のエントロピー) | Kullback-Leiblerダイバージェンス |
| \(\phi(x)=x\log(x)+(1-x)\log(1-x)\) | Logistic損失：\(\phi(\mathbf{x})=x\log\frac{x}{y}+(1-x)\log\frac{1-x}{1-y}\) |
-- しましま
