半教師あり学習

半教師あり学習 (semi-supervised learning) †

ラベル付けされたデータ集合に加え，ラベルのないデータ集合もある ラベルあり・なし混在データ (labeled and unlabeled data) から学習することで，ラベルありデータだけで学習した場合より，より予測精度の高いクラス分類を実現するのが目標．

クラス分類問題以外の問題にも広がっているので，特に，半教師ありクラス分類 (semi-supervised classification) と呼ぶべきとの主張もある．

semi-supervised learning の訳語は 半教師あり学習 と 準教師あり学習 に分かれています．どちらの訳語がよいと思いますか？

文献1の第1章のイントロダクションによれば，1960年代からこのアイデアは存在するらしい． また，教師なしデータを用いて予測精度を向上させる半教師あり学習の手法では，データに次のいずれかの性質が仮定されている．

• 半教師あり平滑性仮定：もし二つの点 x1 と x2 が高密度領域で近ければ，出力 y1 と y2 も関連している．
• クラスタ仮定：点が同じクラスタになるなら，それらは同じクラスになりやすい．
• 低密度分離：決定境界は低頻度領域にあるべき．
• 多様体仮定：(高次元の)データは，低次元の多様体上に(ほぼ)存在する．

-- しましま

関連項目 †

• 準教師あり学習
• semi-supervised learning
• 半教師ありクラス分類
• semi-supervised classification
   
• ラベルあり・なし混在データ
• labeled and unlabeled data
   
• クラス分類
• トランスダクティブ学習
• 転移学習
• 半教師ありクラスタリング?
   
• 検索:準教師あり学習 半教師あり学習

手法 †

• TSVM
• 共訓練
• SGT
• 論文
  • Learning to Classify Text from Labeled and Unlabeled Documents
  • A Framework for Learning Predictive Structures from Multiple Tasks and Unlabeled Data

リンク集 †

• Semi-Supervised Learning @ Xiaojin Zhu：ICML2007チュートリアル
• ACL 2008 tutorial on semi-supervised learning @ John Blitzer and Jerry Zhu
• Large Scale Semi-Supervised Learning @ Jason Weston
• Semi-Supervised Learning in Vison @ A.Saffari, C.Leistner, and H.Horst：CVPR2010チュートリアル
   
• Wikipedia:Semi-supervised_learning

Freeware †

• mloss:semi-supervised-learning

関連文献 †

• 文献1：半教師あり学習の専門書としては最初に出版された．論文集の形式．
  Book/Semi-supervised Learning
• 半教師あり学習の代表的な方法を簡潔に採り上げた教科書．
  X.Zhu & A.Goldberg "Introduction to Semi-supervised Learning" Morgan & Claypool Publishers (2009)
  GoogleScholarAll:Introduction to Semi-supervised Learning
  Amazon.co.jpへのリンク：
• S.Abney "Semisupervised Learning for Computational Linguistics" Chapman & Hall (2007)
  GoogleScholarAll:Semisupervised Learning for Computational Linguistics
  Amazon.co.jpへのリンク：
• 生成モデルベースで解くときの基本論文
  K.Nigam et al. "Learning to Classify Text from Labeled and Unlabeled Documents"