自然勾配 の変更点

• 追加された行はこの色です。
• 削除された行はこの色です。
• 自然勾配 へ行く。

*自然勾配 (natural gradient) [#u44c59d9]

幾何的に自然な計量で勾配を計算しましょうという話でかっちりした定義があるわけではなく文脈によって微妙に使い分けられている．
統計多様体での最適化では自然な計量がFisher情報行列で，それは漸近的にはヘシアンのマイナスに一致するので，ニュートン法と等価になる．
ニュートン法なので特異点の付近ではジャンプが大きくなってプラトーが避けられるという話もあるが効果の程はいかほどだろうか．
また独立成分分析などで用いられる直交行列上の最適化では，リー群の構造から導かれる計量を使うと，逆行列の計算がなくなるところがおいしい．

> --あかほ

** 関連項目 [#j5767949]
-[[natural gradient]]
#br
-[[独立成分分析]]
-[[情報幾何]]
-[[Fisher情報行列]]
-[[Newton法]]
#br
-[[検索:自然勾配]]

** リンク集 [#c4522c65]

** 関連文献 [#r5c1c15f]