逐次学習 - 機械学習の「朱鷺の杜Wiki」

Processing math: 16%

[ トップ ] [ 編集 | 凍結 | 差分 | 履歴 | 添付 | リロード ] [ 新規 | 一覧 | 検索 | 最終更新 | ヘルプ | ログイン ]

これらのキーワードがハイライトされています：確率的勾配降下法 確率的降下法

逐次学習 (sequential learning)†

多くの学習では $N$ 個のデータが一括して与えられ，そこからパラメータの決定などの学習をする．こうした学習を 一括学習 (batch learning) という．

一方，逐次学習 (sequential learning; オンライン学習)，データは一つずつ逐次的に与えられ，データが与えられるたびにパラメータを更新する．データを $N$ 個観測したあとでパラメータ $\mathbf{\theta}^{(N)}$ が推定されているとする．このとき， $N+1$ 個目のデータと $\mathbf{\theta}^{(N)}$ から，パラメータを $\mathbf{\theta}^{(N+1)}$ を順次求めるようにする学習方法．

長所

全てのデータを一時的に蓄積しなくて良いので，少ないメモリで大規模なデータを扱える
データが増加したときに，増加した分だけ学習し直せば良いので，全部計算し直す一括学習より計算は少ない

短所

実用的には，学習の早さと，正しい解への収束性のトレードオフがあり，パラメータの更新の係数の設定はなかなか難しい．

-- しましま

関連項目†

リンク集†

逐次学習の特性 @ 村田昇
Tutorial on Theory and Applications of Online Learning (ICML2008 tutorial) @ Shalev-Shwartz & Singer
Wiki for On-Line Prediction
Wikipedia:Sequential_estimation

Freeware †

機械学習の項目を参考に

関連文献†

PAC学習の枠組みでの逐次学習．Winnowなどについて
丸岡章，瀧本英二, "オンライン予測", 人工知能学会誌, vol.14, no.5, pp.763-770 (1999)
徳山豪「オンラインアルゴリズムとストリームアルゴリズム」アルゴリズム・サイエンスシリーズ第5巻, 共立出版 (2007)
Amazon.co.jpへのリンク：&amazon(4320121716);
Book/学習システムの理論と実現 6.1節
Book/Pattern Recognition and Machine Learning 2.3.5節，3.1.3節
Book/Principles of Data Mining 8.5節

朱鷺の杜Wiki

参加しよう

Wiki超入門
練習用ページ
数式の表示
こびとさん
編集用ID: ibis
パスワード: 「VC次元」のVのフルスペルで最初だけ大文字

最新の30件
2025-01-31
- PRML/errata2
- PRML/errata1
2024-12-21
- しましま/IBISML055
2024-11-07
- しましま/IBIS2024
2024-11-04
- IBIS
2024-05-31
- 人工知能学会全国大会
- しましま/人工知能学会全国大会2024
2024-04-13
- python
2024-04-09
- K-NEL
- K-NEL/errata
2023-11-01
- しましま/IBIS2023
2023-06-11
- しましま/人工知能学会全国大会2023
2023-03-28
- Book
2022-11-27
- 朱鷺の社
2022-11-24
- しましま/IBIS2022
2022-07-08
- AutoTicketLinkName
2022-06-17
- しましま/人工知能学会全国大会2022
2021-11-13
- しましま/IBIS2021
2021-10-29
- 回帰分析
2021-06-11
- しましま/人工知能学会全国大会2021
2021-03-07
- MenuBar
2021-02-15
- python/numpy
2020-12-22
- 特異値分解
2020-12-18
- complement naive Bayes
2020-11-27
- しましま/IBIS2020
2020-10-17
- Paper/bias-on-the-web
2020-07-16
- F値
2020-06-30
- DataSet
2020-06-24
- バイアス-バリアンス
2020-06-10
- Paper

カウンタ

累計: 33183
今日: 2
昨日: 1

Last-modified: 2010-02-11 (木) 16:13:14 (5510d)