逐次学習 の変更点

• 追加された行はこの色です。
• 削除された行はこの色です。
• 逐次学習 へ行く。

* 逐次学習 (sequential learning) [#m685f13b]

//ここには %項目の説明を書いてください．よろしければ署名しておいてください．

多くの学習では \(N\)個のデータが一括して与えられ，そこからパラメータの決定などの学習をする．こうした学習を ''一括学習 (batch learning)'' という．

一方，''逐次学習 (sequential learning; オンライン学習)''，データは一つずつ逐次的に与えられ，データが与えられるたびにパラメータを更新する．データを\(N\)個観測したあとでパラメータ\(\mathbf{\theta}^{(N)}\)が推定されているとする．このとき，\(N+1\)個目のデータと\(\mathbf{\theta}^{(N)}\)から，パラメータを\(\mathbf{\theta}^{(N+1)}\)を順次求めるようにする学習方法．

長所
- 全てのデータを一時的に蓄積しなくて良いので，少ないメモリで大規模なデータを扱える
- データが増加したときに，増加した分だけ学習し直せば良いので，全部計算し直す一括学習より計算は少ない

短所
- 実用的には，学習の早さと，正しい解への収束性のトレードオフがあり，パラメータの更新の係数の設定はなかなか難しい．

> -- しましま

** 関連項目 [#o4cb7af4]

//英語や同義語のあとに，#brで区切って関連する項目をリストしてください．
-[[sequential learning]]
-[[逐次推定]]
-[[sequential estimation]]
-[[オンライン学習]]
-[[online learning]]
#br
-[[一括学習]]
-[[batch learning]]
#br
-[[データストリーム]]
-[[PAC学習]]
-[[パーセプトロン]]
-[[Winnow]]
-[[Robbins-Monroアルゴリズム]]
-[[確率的勾配降下法]]
-[[lossy countingアルゴリズム]]
#br
-[[検索:逐次学習 逐次推定 オンライン学習]]

** リンク集 [#y43880eb]

//関連するWWW資源があればリンクしてください．

-[[逐次学習の特性>http://www.eb.waseda.ac.jp/murata/~mura/u-tokyo/slide03.pdf]] @ 村田 昇
-[[Tutorial on Theory and Applications of Online Learning (ICML2008 tutorial)>http://ttic.uchicago.edu/~shai/icml08tutorial/]] @ Shalev-Shwartz & Singer
-[[Wiki for On-Line Prediction>http://onlineprediction.net/]]
#br
-[[Wikipedia:Sequential_estimation]]

*** Freeware [#tc3946d1]

[[機械学習]]の項目を参考に

** 関連文献 [#ibb747e7]

//この%項目%に関連する書籍や論文を紹介してください．

- PAC学習の枠組みでの逐次学習．Winnowなどについて~
丸岡 章，瀧本 英二, "オンライン予測", 人工知能学会誌, vol.14, no.5, pp.763-770 (1999)
-[[徳山 豪「オンラインアルゴリズムとストリームアルゴリズム」アルゴリズム・サイエンスシリーズ 第5巻, 共立出版 (2007)>http://www.kyoritsu-pub.co.jp/series/algo.html#5]]~
Amazon.co.jpへのリンク：&amazon(4320121716);
-[[Book/学習システムの理論と実現]] 6.1節
-[[Book/Pattern Recognition and Machine Learning]] 2.3.5節，3.1.3節
-[[Book/Principles of Data Mining]] 8.5節