* Multi-Task Feature Learning [#kce79b11]
@InProceedings{nips:07:02,
author = "A. Argyriou and T. Evgeniou and M. Pontil",
title = "Multi-Task Feature Learning",
booktitle = "Advances in Neural Information Processing Systems~19",
year = 2007,
pages = "41-48"
}
* キーワード [#s0c943a8]
転移学習, 特徴生成,マルチタスク学習
* メモ [#le93667a]
複数のタスクを同時に解くマルチタスク学習.普通の正則化項付き最適化問題による重みの学習と,特徴空間の変換を行う行列の学習を交互に行う.
タスク \(T\) 種類のタスクそれぞれについて,\(t\) 番目の訓練集合から予測関数 \(f_t\) を学習する.\(f_t\) は,特徴関数 \(\langle\mathbf{u}_i,\mathbf{x}\rangle\) 形式だが,係数 \(a_{it}\) が全てのタスクにわたってほとんど 0 になって疎になるようにしたい.
\[f_t(\mathbf{x})=\sum_i^d a_{it}\langle\mathbf{u}_i,\mathbf{x}\rangle\]
これを解く目的関数は次の形
Σ{全タスク} Σ{タスクtの全事例} [タスク t の事例 i に対する損失] + 正則化項
ここで,正則化項に工夫があり,j番目の特徴を全タスクについて集めたベクトルの2乗ノルムを全特徴について求める.これらのノルムのL1ノルムが正則化項とすることで,タスクに共通に不要とされる特徴では重みが 0 になるようになる.これをうまく凸問題に変換し解いている.
> -- しましま
* リンク [#i47911a1]
//関連リンクを書いてください.
-[[GoogleScholarAll:Multi-Task Feature Learning]]