アルファダイバージェンス

アルファダイバージェンス (alpha divergence) †

\[D_\alpha(f(x)||g(x))=\frac{4}{1-\alpha^2}\biggl(1-\int f(x)^{\frac{1+\alpha}{2}}g(x)^{\frac{1-\alpha}{2}}dx\biggr)\] ただし \(\alpha\) は任意の実数値のパラメータ．

• \(\alpha=1\) なら，Kullback-Leiblerダイバージェンス \(D_{KL}(f(x)||g(x))\)
• \(\alpha=-1\) なら，Kullback-Leiblerダイバージェンス \(D_{KL}(g(x)||f(x))\)
• \(\alpha=0\) なら，Hellinger距離を線形変換したものになる

\(f(x)\) を固定し，アルファダイバージェンスを小さくするように \(g(x)\) を選ぶ．このとき

• \(\alpha\le-1\) なら，\(f(x)=0\) となる \(x\) について \(g(x)=0\) になる
• \(\alpha\ge 1\) なら，\(f(x)\gt0\) となる \(x\) について \(g(x)\gt0\) になる

-- しましま

関連項目 †

• alpha divergence
   
• ダイバージェンス
• Kullback-Leiblerダイバージェンス
   
• 検索:アルファダイバージェンス αダイバージェンス

リンク集 †

関連文献 †

• 基本文献
  S.M.Ali and S.D.Silvey "A general class of coefficients of divergence of one distribution from another" JRSS(B), vol.28, no.1, pp.131-142 (1966)
  GoogleScholarAll:A general class of coefficients of divergence of one distribution from another
• Book/Pattern Recognition and Machine Learning 10.1.2節