Levenberg-Marquardt法 の変更点

• 追加された行はこの色です。
• 削除された行はこの色です。
• Levenberg-Marquardt法 へ行く。

* Levenberg-Marquardt法 (Levenberg-Marquardt method) [#q0dbb736]

//ここには %項目の説明を書いてください．よろしければ署名しておいてください．

Gauss-Newton法の一種で，次の2乗和の形の最小値を求める方法
\[E(\mathbf{x})=\frac{1}{2}\sum_{i=1}^n(f_i(\mathbf{\mathbf{x}}))^2\]
\(\mathbf{f}(\mathbf{x})=[f_1(\mathbf{x}),\ldots,f_n(\mathbf{x})]^\top\) を関数のベクトル．このJacobi行列を \(J\) とする．

\(\mathbf{x}_n\) を次式で更新して最適化をする
\[\mathbf{x}_{n+1}=\mathbf{x}_n - [J^\top J+\lambda I]^{-1}J^\top\mathbf{f}(\mathbf{x}_n)\]
ただし，\(\lambda\) はスカラー量，\(I\) は単位行列．

> -- しましま

** 関連項目 [#iad56a15]

//英語や同義語のあとに，#brで区切って関連する項目をリストしてください．
-[[Levenberg-Marquardt method]]
#br
-[[最適化]]
-[[Newton法]]
-[[準Newton法]]
-[[最小2乗法]]
-[[正則化]]
-[[Jacobi行列]]
#br
-[[検索:Levenberg-Marquardt法]]

*** Freeware [#wa63bade]

-[[levmar>http://www.ics.forth.gr/~lourakis/levmar/]]：Levenberg-Marquardt nonlinear least squares algorithms in C/C++
--[[数値計算マニュアル>http://www.mlab.ice.uec.ac.jp/~ej-sib/numerical/numerical_levmar.html]] @渋沢英次郎：levmarの使い方に関する記述あり

** リンク集 [#u55e0dea]

//関連するWWW資源があればリンクしてください．

-[[Levenberg-Marquardt Method>http://www.cse.uiuc.edu/iem/optimization/LevenbergMarquardt/]] @ Scientific Computing
#br
-[[Wikipedia:Levenberg-Marquardt_algorithm]]
-[[MathWorld:Levenberg-MarquardtMethod]]

** 関連文献 [#zfe35580]

//この%項目%に関連する書籍や論文を紹介してください．

-基本文献~
K.Levenberg "A Method for The Solution of Certain Non-Linear Problems in Least Squares" Quarterly Journal of Applied Mathematics II (2), pp.164-168 (1944)~
[[GoogleScholarAll:A Method for The Solution of Certain Non-Linear Problems in Least Squares]]
D.W.Marquardt "An Algorithm for Least-Squares Estimation of Non-Linear Parameters" Journal of the Society of Industrial and Applied Mathematics, vol.11, no.2, pp.431-441 (1963)~
[[GoogleScholarAll:An Algorithm for Least-Squares Estimation of Non-Linear Parameters]]
-[[Book/Neural Networks for Pattern Recognition]] 7.11節