Multi-Task Feature Learning

@InProceedings{nips:07:02,
 author =       "A. Argyriou and T. Evgeniou and M. Pontil",
 title =        "Multi-Task Feature Learning",
 booktitle =    "Advances in Neural Information Processing Systems~19",
 year =         2007,
 pages =     "41-48"
}

キーワード

転移学習, 特徴生成,マルチタスク学習

メモ

複数のタスクを同時に解くマルチタスク学習.普通の正則化項付き最適化問題による重みの学習と,特徴空間の変換を行う行列の学習を交互に行う.

タスク \(T\) 種類のタスクそれぞれについて,\(t\) 番目の訓練集合から予測関数 \(f_t\) を学習する.\(f_t\) は,特徴関数 \(\langle\mathbf{u}_i,\mathbf{x}\rangle\) 形式だが,係数 \(a_{it}\) が全てのタスクにわたってほとんど 0 になって疎になるようにしたい. \[f_t(\mathbf{x})=\sum_i^d a_{it}\langle\mathbf{u}_i,\mathbf{x}\rangle\]

これを解く目的関数は次の形

Σ{全タスク} Σ{タスクtの全事例} [タスク t の事例 i に対する損失] + 正則化項

ここで,正則化項に工夫があり,j番目の特徴を全タスクについて集めたベクトルの2乗ノルムを全特徴について求める.これらのノルムのL1ノルムが正則化項とすることで,タスクに共通に不要とされる特徴では重みが 0 になるようになる.これをうまく凸問題に変換し解いている.

-- しましま

リンク


トップ   編集 凍結 差分 履歴 添付 複製 名前変更 リロード   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2010-02-11 (木) 16:11:15