逐次学習

逐次学習 (sequential learning) †

多くの学習では \(N\)個のデータが一括して与えられ，そこからパラメータの決定などの学習をする．こうした学習を 一括学習 (batch learning) という．

一方，逐次学習 (sequential learning; オンライン学習)，データは一つずつ逐次的に与えられ，データが与えられるたびにパラメータを更新する．データを\(N\)個観測したあとでパラメータ\(\mathbf{\theta}^{(N)}\)が推定されているとする．このとき，\(N+1\)個目のデータと\(\mathbf{\theta}^{(N)}\)から，パラメータを\(\mathbf{\theta}^{(N+1)}\)を順次求めるようにする学習方法．

長所

• 全てのデータを一時的に蓄積しなくて良いので，少ないメモリで大規模なデータを扱える
• データが増加したときに，増加した分だけ学習し直せば良いので，全部計算し直す一括学習より計算は少ない

短所

• 実用的には，学習の早さと，正しい解への収束性のトレードオフがあり，パラメータの更新の係数の設定はなかなか難しい．

-- しましま

関連項目 †

• sequential learning
• 逐次推定
• sequential estimation
• オンライン学習
• online learning
   
• 一括学習
• batch learning
   
• データストリーム
• PAC学習
• パーセプトロン
• Winnow
• Robbins-Monroアルゴリズム
• 確率的勾配降下法
• lossy countingアルゴリズム
   
• 検索:逐次学習 逐次推定 オンライン学習

リンク集 †

• 逐次学習の特性 @ 村田 昇
• Tutorial on Theory and Applications of Online Learning (ICML2008 tutorial) @ Shalev-Shwartz & Singer
• Wiki for On-Line Prediction
   
• Wikipedia:Sequential_estimation

Freeware †

機械学習の項目を参考に

関連文献 †

• PAC学習の枠組みでの逐次学習．Winnowなどについて
  丸岡 章，瀧本 英二, "オンライン予測", 人工知能学会誌, vol.14, no.5, pp.763-770 (1999)
• 徳山 豪「オンラインアルゴリズムとストリームアルゴリズム」アルゴリズム・サイエンスシリーズ 第5巻, 共立出版 (2007)
  Amazon.co.jpへのリンク：&amazon(4320121716);
• Book/学習システムの理論と実現 6.1節
• Book/Pattern Recognition and Machine Learning 2.3.5節，3.1.3節
• Book/Principles of Data Mining 8.5節