* Robbins-Monroアルゴリズム (Robbins-Monro algorithm) [#q37c94b1]

//ここには %項目の説明を書いてください.よろしければ署名しておいてください.

確率変数のパラメータ\(\theta\)と,これに依存した確率変数\(z\)があるとする.そして,回帰関数\(f(\theta)=\mathrm{E}[z|\theta]\)を定義.
このとき,\(f(\theta)=0\)の根\(\theta^\ast\)を求める.

条件付分散が\(\mathrm{E}[(z-f)^2|\theta]\lt\infty\)のように有限で,\(\theta\gt\theta^\ast\)では\(f(\theta)\gt0\),
\(\theta\lt\theta^\ast\)では\(f(\theta)\lt0\) であるとする.

\(n-1\)個のデータを観測したあとの推定値を\(\theta^{(n-1)}\),このパラメータの下での\(n\)個目の\(z\)の観測値は\(z(\theta^{(n-1)})\)とする.このとき,\(n\)回目のパラメータを次式で更新する.
\[\theta^{(n)}=\theta^{(n-1)}-a_{n-1}z(\theta^{(n-1)})\]

係数\(\{a_n\}\)が次の条件を満たすなら
\[\lim_{n\rightarrow\infty}a_N=0,\;\sum_{n=1}^\infty a_n=\infty,\;\sum_{n=1}^\infty a_n^2\lt\infty\]
\(\theta^{(n)}\)は確率1で目標の根に収束する.

> -- しましま

** 関連項目 [#vd125cd2]

//英語や同義語のあとに,#brで区切って関連する項目をリストしてください.
-[[Robbins-Monro algorithm]]
#br
-[[最適化]]
-[[逐次学習]]
-[[確率的近似]]
#br
-[[検索:Robbins-Monro ロビンス-モンロー]]

** リンク集 [#ea9d63a1]

//関連するWWW資源があればリンクしてください.

-[[Wikipedia:Stochastic_approximation]]
-[[MathWorld:Robbins-MonroStochasticApproximation]]

** 関連文献 [#o209d69c]

//この%項目%に関連する書籍や論文を紹介してください.

-基本文献~
H.Robbins and S.Monro "A stochastic approximation method" Annals of Mathematical Statistics", vol.22, pp.400-407 (1951)~
[[GoogleScholarAll:A stochastic approximation method" Annals of Mathematical Statistics]]
-[[Book/わかりやすいパターン認識]] 8.3節
-[[Book/Neural Networks for Pattern Recognition]] 2.4.1節
-[[Book/Pattern Recognition and Machine Learning]] 2.3.5節

トップ   編集 差分 履歴 添付 複製 名前変更 リロード   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS