転移学習

転移学習 (transfer learning) / 帰納転移 (inductive transfer) †

転移学習 (transfer learning) の他，帰納転移 (inductive transfer)，ドメイン適応 (domain adaptation)，マルチタスク学習 (multitask learning)，knowledge transfer, learning to learn, lifetime learning などの呼び名もある．

形式的ではないが NIPS2005 Workshop — inductive transfer: 10 years later で示されている次の定義が広く受け入れられると思う．

the problem of retaining and applying the knowledge learned in one or more tasks to efficiently develop an effective hypothesis for a new task

新規タスクの効果的な仮説を効率的に見つけ出すために，一つ以上の別のタスクで学習された知識を得て，それを適用する問題

知識を転移する元のドメインを元ドメイン (source domain)，転移する先のドメインを目標ドメイン (target domain)という．

元ドメインと目標ドメインのデータそれぞれに，ラベル（教師情報）のある・なしの場合があるため4とおりの問題に分けられる． 元ドメインがラベルありのデータである場合が主に研究されて，さらに，目標ドメインにラベルがある場合と，ない場合は同じ程度の研究がある．

元ドメインがラベルありで，目標ドメインがラベルなしの場合は半教師あり学習と似ているが，半教師あり学習ではラベルあり・なしの両方のデータが同じドメインの同じ分布から生成されている．

-- しましま

関連項目 †

• transfer learning
• 帰納転移
• inductive transfer
   
• 標本選択バイアス
• メタ学習
• マルチタスク学習
• 機械学習
• 半教師あり学習
   
• 検索:帰納転移 転移学習

手法 †

• 共変量シフト
• TrAdaBoost
• Migratory-Logit
• 論文
  • Frustratingly Easy Domain Adaptation
  • A Framework for Learning Predictive Structures from Multiple Tasks and Unlabeled Data
  • Multi-Task Feature Learning

リンク集 †

• ICML 2010 Tutorial on Domain Adaptation @ J.Blitzer & H.Daumé III
• Transfer Learning Survey and Tutorials @ Sinno Jialin Pan：論文サーベイ
• natural language processing blog @ Hal Daumé III：転移学習について
• ECML/PKDD-2006 discovery challenge：スパムフィルタの個人化のコンテストのデータ
• sentiment分類のデータ
   
• Wikipedia:Inductive_transfer

Freeware †

• Transfer Learning Toolkit (matlab)

関連文献 †

• M.E.Taylor&P.Stone "Transfer Learning for Reinforcement Learning Domains: A Survey" JMLR, vol.10 (2009)
  GoogleScholarAll:Transfer Learning for Reinforcement Learning Domains: A Survey
• 神嶌 敏弘 "転移学習" 人工知能学会誌, vol.2,5 no.4 (2010)