* 最急勾配法 (steepest gradient) [#tf3c3c43]

//ここには %項目の説明を書いてください.
k次元のベクトル \(\mathbf{x}\) 関数 \(f(\mathbf{x})\) の極大値や極小値を求める方法.
初期値 \(\mathbf{x}_0\) から次の手続きを反復する
- 探索方向の計算 \(\mathbf{d}_n=\pm H \nabla f(\mathbf{x}_n)\),ただし \(H\) は正定値対称行列
- \(t_n=\arg\min_{t\ge 0}f(\mathbf{x}_n+t_n\mathbf{d}_n)\) を達成するような  \(\mathbf{x}_{n+1}=\mathbf{x}_n+t_n\mathbf{d}_n\)に更新.
\(n\) を一つ増やす.

\(\mathbf{x}_n\) が収束したとき,極大値/極小値は \(f(\mathbf{x}_n)\) になる.
\(H\)の前の符号が正ならば最急上昇法といい極大値が求まり,負なら最急降下法といい極小値が求まる.

> -- しましま

**関連項目 [#ia22e601]

//関連する%項目%をリストしてください.

-[[steepest gradient]]
#br
-[[最急降下法]]
-[[最急上昇法]]
-[[共役勾配法]]
-[[最適化]]
-[[確率的勾配降下法]]
-[[自然勾配]]
-[[Nelder-Mead法]]
-[[バックプロパゲーション]]
#br
-[[検索:最急勾配法]]

** リンク集 [#v7d14f8f]

-[[Steepest Descent Method>http://www.cse.uiuc.edu/iem/optimization/SteepestDescent/]] @ Scientific Computing
#br
-[[MathWorld:MethodofSteepestDescent]]
-[[Wikipedia:Gradient_descent]]

** 関連文献 [#n28bafcb]

//この%項目%に関連する書籍や論文を紹介してください.

-[[Book/最適化の手法]] 4.2章
-[[Book/Neural Networks for Pattern Recognition]] 7.5章
-[[Book/Pattern Classification]] 5.4.2節
-[[Book/Pattern Recognition and Machine Learning]] 5.2.4節

トップ   編集 差分 履歴 添付 複製 名前変更 リロード   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS