確率的勾配降下法
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
* 確率的勾配降下法 (stochastic gradient descent method) [...
//ここには %項目の説明を書いてください.よろしければ署名...
予測の誤差関数が \(E^N=\sum_i^NE_i\) のように,各データ点...
\[E_i=(y_i-f(\mathbf{x}_i))^2\]
とすれば,
\[E^N=\sum_i^NE_i=\sum_i^N(y_i-f(\mathbf{x}_i))^2\]
のように,各データ点の誤差の総和となっている.
最急降下法では \(N\) 個のデータ全体についての勾配を考えた
\[\theta\leftarrow\theta-\nabla E^N\]
確率的勾配降下法では,総和の勾配を計算する代わりに,\(i\)...
\[\theta\leftarrow\theta-\eta_i\nabla E_i,\;i=1,\ldots,N\]
- 全データで反復しても収束が十分でなければ,同じデータ集...
- 収束するには\(\eta\)を適切なスケジュールで減少させる必...
- 一回の更新で,データ一つしか参照しないためメモリ効率が...
- 逆にデータが少なく,\(\eta\) のスケジューリングが悪いと...
> -- しましま
- 異常値を参照してしまうことを避けやすくするために、デー...
- 近年(2018年7月24日追記日現在から見て)、深層学習の発展...
> -- こびとさん
** 関連項目 [#d0d59c53]
//英語や同義語のあとに,#brで区切って関連する項目をリスト...
-[[stochastic gradient descent method]]
-[[確率的降下法]]
-[[stochastic descent method]]
#br
-[[最適化]]
-[[逐次学習]]
#br
-[[検索:確率的勾配降下法 確率的降下法]]
** リンク集 [#a80461fc]
//関連するWWW資源があればリンクしてください.
-[[Learning with Stochastic Gradient Descent>http://leon....
-[[Stochastic Optimization: ICML 2010 Tutorial:http://www...
#br
-[[Wikipedia:Stochastic_gradient_descent]]
** 関連文献 [#uf15798e]
//この%項目%に関連する書籍や論文を紹介してください.
-[[Book/わかりやすいパターン認識]] 8.3節
-[[Book/Pattern Recognition and Machine Learning]] 3.1.3節
終了行:
* 確率的勾配降下法 (stochastic gradient descent method) [...
//ここには %項目の説明を書いてください.よろしければ署名...
予測の誤差関数が \(E^N=\sum_i^NE_i\) のように,各データ点...
\[E_i=(y_i-f(\mathbf{x}_i))^2\]
とすれば,
\[E^N=\sum_i^NE_i=\sum_i^N(y_i-f(\mathbf{x}_i))^2\]
のように,各データ点の誤差の総和となっている.
最急降下法では \(N\) 個のデータ全体についての勾配を考えた
\[\theta\leftarrow\theta-\nabla E^N\]
確率的勾配降下法では,総和の勾配を計算する代わりに,\(i\)...
\[\theta\leftarrow\theta-\eta_i\nabla E_i,\;i=1,\ldots,N\]
- 全データで反復しても収束が十分でなければ,同じデータ集...
- 収束するには\(\eta\)を適切なスケジュールで減少させる必...
- 一回の更新で,データ一つしか参照しないためメモリ効率が...
- 逆にデータが少なく,\(\eta\) のスケジューリングが悪いと...
> -- しましま
- 異常値を参照してしまうことを避けやすくするために、デー...
- 近年(2018年7月24日追記日現在から見て)、深層学習の発展...
> -- こびとさん
** 関連項目 [#d0d59c53]
//英語や同義語のあとに,#brで区切って関連する項目をリスト...
-[[stochastic gradient descent method]]
-[[確率的降下法]]
-[[stochastic descent method]]
#br
-[[最適化]]
-[[逐次学習]]
#br
-[[検索:確率的勾配降下法 確率的降下法]]
** リンク集 [#a80461fc]
//関連するWWW資源があればリンクしてください.
-[[Learning with Stochastic Gradient Descent>http://leon....
-[[Stochastic Optimization: ICML 2010 Tutorial:http://www...
#br
-[[Wikipedia:Stochastic_gradient_descent]]
** 関連文献 [#uf15798e]
//この%項目%に関連する書籍や論文を紹介してください.
-[[Book/わかりやすいパターン認識]] 8.3節
-[[Book/Pattern Recognition and Machine Learning]] 3.1.3節
ページ名: