* 逐次学習 (sequential learning) [#m685f13b]

//ここには %項目の説明を書いてください.よろしければ署名しておいてください.

多くの学習では \(N\)個のデータが一括して与えられ,そこからパラメータの決定などの学習をする.こうした学習を ''一括学習 (batch learning)'' という.

一方,''逐次学習 (sequential learning; オンライン学習)'',データは一つずつ逐次的に与えられ,データが与えられるたびにパラメータを更新する.データを\(N\)個観測したあとでパラメータ\(\mathbf{\theta}^{(N)}\)が推定されているとする.このとき,\(N+1\)個目のデータと\(\mathbf{\theta}^{(N)}\)から,パラメータを\(\mathbf{\theta}^{(N+1)}\)を順次求めるようにする学習方法.

長所
- 全てのデータを一時的に蓄積しなくて良いので,少ないメモリで大規模なデータを扱える
- データが増加したときに,増加した分だけ学習し直せば良いので,全部計算し直す一括学習より計算は少ない

短所
- 実用的には,学習の早さと,正しい解への収束性のトレードオフがあり,パラメータの更新の係数の設定はなかなか難しい.

> -- しましま

** 関連項目 [#o4cb7af4]

//英語や同義語のあとに,#brで区切って関連する項目をリストしてください.
-[[sequential learning]]
-[[逐次推定]]
-[[sequential estimation]]
-[[オンライン学習]]
-[[online learning]]
#br
-[[一括学習]]
-[[batch learning]]
#br
-[[データストリーム]]
-[[PAC学習]]
-[[パーセプトロン]]
-[[Winnow]]
-[[Robbins-Monroアルゴリズム]]
-[[確率的勾配降下法]]
-[[lossy countingアルゴリズム]]
#br
-[[検索:逐次学習 逐次推定 オンライン学習]]

** リンク集 [#y43880eb]

//関連するWWW資源があればリンクしてください.

-[[逐次学習の特性>http://www.eb.waseda.ac.jp/murata/~mura/u-tokyo/slide03.pdf]] @ 村田 昇
-[[Tutorial on Theory and Applications of Online Learning (ICML2008 tutorial)>http://ttic.uchicago.edu/~shai/icml08tutorial/]] @ Shalev-Shwartz & Singer
-[[Wiki for On-Line Prediction>http://onlineprediction.net/]]
#br
-[[Wikipedia:Sequential_estimation]]

*** Freeware [#tc3946d1]

[[機械学習]]の項目を参考に

** 関連文献 [#ibb747e7]

//この%項目%に関連する書籍や論文を紹介してください.

- PAC学習の枠組みでの逐次学習.Winnowなどについて~
丸岡 章,瀧本 英二, "オンライン予測", 人工知能学会誌, vol.14, no.5, pp.763-770 (1999)
-[[徳山 豪「オンラインアルゴリズムとストリームアルゴリズム」アルゴリズム・サイエンスシリーズ 第5巻, 共立出版 (2007)>http://www.kyoritsu-pub.co.jp/series/algo.html#5]]~
Amazon.co.jpへのリンク:&amazon(4320121716);
-[[Book/学習システムの理論と実現]] 6.1節
-[[Book/Pattern Recognition and Machine Learning]] 2.3.5節,3.1.3節
-[[Book/Principles of Data Mining]] 8.5節

トップ   編集 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS