メタ学習は,認知科学でも重要な概念だが,機械学習の分野では次の意味:
ある決まったバイアス,すなわち仮説空間の中から,事例に応じて,適切な仮説を獲得する普通の学習器をベース学習器という.その上位で,学習対象のタスクやドメインに応じて,学習器のバイアスを決定するためのメタ知識を獲得するのがメタ学習 (meta learning).
文献1には以下のような手法が挙げられている
- stacked generalization:最初に同じ訓練集合 \(\{(\mathbf{x}_i,c_i)\}\) に \(q\) 種類のバイアスが異なるベース学習器を適用してレベル0の分類器 \(h_1,\ldots,h_q\) を得る.次に,訓練事例 \((\mathbf{x}_i,c_i)\) について,\((\langle h_1(\mathbf{x_i}),\ldots,h_q(\mathbf{x}_i)\rangle, c_i)\) の形式の訓練事例を作り,レベル1の分類器を作る.
新規の入力に対するクラスは,最初に \(q\) 種類のレベル0分類器で分類し,その分類結果をレベル1の分類器に入力して分類することで,最終的に決定する.
こうすること,適切なバイアスで学習された仮説が最終結果に影響するようになる.
- バイアスの動的選択:学習中に特徴を追加・削除するなどしてバイアスを動的に変化させながら学習させる.
- メタ規則:いろいろな学習器を,いろいろな訓練事例に適用して仮説を生成.その仮説の性能を正解率などで評価する.一方で,訓練事例の特徴,例えば,事例数,クラス数,特徴数,分布の分散や歪度なども得ておく.こうした訓練事例の特徴から,各分類器の性能を予測するのがメタ規則で,学習した仮説の性能と,訓練事例の特徴の対を訓練事例として学習する.このメタ規則は,性能を発揮できる学習器を選択するのに利用する.
- 転移学習
- classifierシステム:特徴選択,ルール生成,枝刈りなど学習アルゴリズムの各段階で,ドメインに応じた方法を選択する.この選択のルールを,強化学習のような方法で決定する.
-- しましま
関連項目†
リンク集†
関連文献†
- 文献1:メタ学習に関するサーベイ
R.Vilalta & Y.Drissi, "A Perspective View and Survey of Meta-Learning", Artificial Intelligence Review, vol.18 (2002)