SVM

サポートベクトルマシン (support vector machine; SVM) †

SVM の長所：

• できるだけ真ん中を通るように識別面を作るので汎化能力が高い．
• 非線形にしてもグローバルミニマムが求まる．
• 一部のサンプルだけを使って識別関数が書けるので，必要メモリは少ない．

SVM の短所：

• サンプル数が多いと最適化が結構大変．
• 多クラスの場合に工夫が必要．

--あかほ

関連項目 †

• support vector machine
• サポートベクトルマシン
   
• 識別
• 線形分離可能
• パーセプトロン
• マージン
• カーネル
• 正定値カーネル
• 再生核Hilbert空間
• Mercerの定理
• 正則化
• VC次元
• 汎化能力
• レプリゼンタ定理
• 凸二次計画
• KKT条件
• スラック変数
• ロバスト推定
• ヒンジ関数
• 教師あり
  • サポートベクトル回帰
  • ν-SVM?
• 教師なし
  • サポートベクトルクラスタリング
  • 最大マージンクラスタリング
  • 1クラスSVM?
• 半教師あり
  • TSVM
     
• 検索:SVM サポートベクトルマシン サポートベクターマシン

リンク集 †

• サポートベクターマシン入門 @ 栗田多喜夫
• カーネルマシン @ あかほ
• Support Vector Machines.org
• 統数研 公開講座「カーネル法の最前線 ー SVM, 非線形データ解析, 構造化データ ー 」
• www.svms.org @ Martin Sewell：強力なリンク集
• Kernel Machines
• www.support-vector-machines.org
   
• Wikipedia:Support_vector_machine
• Wikipedia.jp:サポートベクターマシン

Freeware †

• mloss:linear-svm, mloss:support-vector-machines, mloss:svm, mloss:support-vector-machine
• SVM Software @ www.svms.org
• LIBSVM (C)
  • Weka LibSVM (WLSVM)
• SVM light (C)
  • Tree Kernels in SVM-light
  • SVM python：pythonインターフェース
  • Algorithm-SVMLight：perlインターフェース
• AI-Categorizer@CPAN：perlのモジュール
• BSVM
• Incremental SVM Learning
• LIBLINEAR：大規模計算用，L1/L2損失 (C/C++)
  • liblinear2scipy：pythonラッパー
• Lagrangian Support Vector Machine
• LaSVM：大規模用
• psvm：parallel SVM
• Shogun (matlab, octave, python, R)
• kernlab，e1071：Rのパッケージ
• Spider：MATLAB toolbox
• Tiny SVM (C)
• Active Support Vector Machine
• SVMlin：教師あり学習・半教師あり学習のための線形SVM
• Support Vector Machines @ Information: Signals, Images, Systems：MATLAB Toolbox
• SVM Fu (C++)
• SVM-JAVA
• SVMmap：Support Vector Machine for Optimizing Mean Average Precision
• SVM-OOPS：MPIを使った分散環境で並列実行
• svmsgd @ Léon Bottou：確率的勾配降下法で高速化
• SVMsequel：自然言語処理用に文字列カーネルとかが入っている
• Gist：Webインターフェースで実行するSVM
• UniverSVM：CCCPを用いて大規模化
• kernel-machine library @ terborg.net 基本的なカーネル + SVM，関連ベクトルマシンなどのカーネル学習器
• リンク集 @ kernel-machines.org
• RjpWiki:R でサポートベクターマシン

関連文献 †

• 基本文献
  Bernhard E. Boser, Isabelle M. Guyon, Vladimir N. Vapnik "A Training Algorithm for Optimal Margin Classifiers" 5th COLT, pp.144-152 (1992)
  GoogleScholarAll:A Training Algorithm for Optimal Margin Classifiers
  I.Guyonの文献リストから入手可
• SVM やカーネル法全体がよくわかる教科書 Book/Learning with Kernels
• SVMのチュートリアル
  C.J.C.Burges "A Tutorial on Support Vector Machines for Pattern Recognition" Data Mining and Knowledge Discovery, vol.2, pp.121-168 (1998)
  GoogleScholarAll:A Tutorial on Support Vector Machines for Pattern Recognition
• N. Cristianini and J. Shawe-Taylor "Introduction to Support Vector Machines" Cambridge University Press (2000)：サポートページ
• Book/サポートベクターマシン(知の科学)
• Book/データマイニングの基礎 3.3節
• Book/学習システムの理論と実現 第3章
• Book/パターン認識と学習の統計学(統計科学のフロンティア6) 第II部
• Book/パターン認識(Rで学ぶデータサイエンス5) 11章, 12章
• Book/フリーソフトでつくる音声認識システム 6.1節
• Book/Learning with Kernels
• Book/Data Mining - Concepts and Techniques 6.7章
• Book/Pattern Recognition and Machine Learning 7章