SVM の変更点

• 追加された行はこの色です。
• 削除された行はこの色です。
• SVM へ行く。

* サポートベクトルマシン (support vector machine; SVM) [#t52d955c]

SVM の長所：
-できるだけ真ん中を通るように識別面を作るので汎化能力が高い．
-非線形にしてもグローバルミニマムが求まる．
-一部のサンプルだけを使って識別関数が書けるので，必要メモリは少ない．  

SVM の短所：
-サンプル数が多いと最適化が結構大変． 
-多クラスの場合に工夫が必要．

> --あかほ

** 関連項目 [#de45f05d]
-[[support vector machine]]
-[[サポートベクトルマシン]]
#br
-[[識別]]
-[[線形分離可能]]
-[[パーセプトロン]]
-[[マージン]]
-[[カーネル]]
-[[正定値カーネル]]
-[[再生核Hilbert空間]]
-[[Mercerの定理]]
-[[正則化]]
-[[VC次元]]
-[[汎化能力]]
-[[レプリゼンタ定理]]
-[[凸二次計画]]
-[[KKT条件]]
-[[スラック変数]]
-[[ロバスト推定]]
-[[ヒンジ関数]]
-教師あり
--[[サポートベクトル回帰]]
--[[ν-SVM]]
-教師なし
--[[サポートベクトルクラスタリング]]
--[[最大マージンクラスタリング]]
--[[1クラスSVM]]
-半教師あり
--[[TSVM]]
#br
-[[検索:SVM サポートベクトルマシン サポートベクターマシン]]

** リンク集 [#g21a6484]

-[[SVM実践ガイド>http://www.slideshare.net/sleepy_yoshi/svm-13435949]] @sleepy_yoshi
-[[サポートベクターマシン入門>http://home.hiroshima-u.ac.jp/tkurita/lecture/svm.pdf]] @ 栗田多喜夫
-[[Support Vector Machines.org>http://www.support-vector-machines.org/]]
-[[統数研 公開講座「カーネル法の最前線 ー SVM, 非線形データ解析, 構造化データ ー 」>http://www.ism.ac.jp/~fukumizu/ISM_lecture_2006/]]
-[[www.svms.org>http://www.svms.org/]] @ Martin Sewell：強力なリンク集
-[[Kernel Machines>http://www.kernel-machines.org/]]
-[[www.support-vector-machines.org>http://www.support-vector-machines.org/]]
#br
-[[Wikipedia:Support_vector_machine]]
-[[Wikipedia.jp:サポートベクターマシン]] 

*** Freeware [#p51fbf90]

-[[mloss:linear-svm]], [[mloss:support-vector-machines]], [[mloss:svm]], [[mloss:support-vector-machine]]
-[[SVM Software>http://www.svms.org/software.html]] @ www.svms.org
-[[LIBSVM>http://www.csie.ntu.edu.tw/~cjlin/libsvm/]] (C)
--[[Weka LibSVM (WLSVM)>http://www.cs.iastate.edu/~yasser/wlsvm/]]
-[[LIBLINEAR>http://www.csie.ntu.edu.tw/~cjlin/liblinear/]]：大規模計算用，L1/L2損失 (C/C++)
--[[liblinear2scipy>http://public.procoders.net/liblinear2scipy/src/dist/]]：pythonラッパー
-[[SVM perf>http://svmlight.joachims.org/svm_perf.html]], [[SVM light>http://svmlight.joachims.org/]] (C)
--[[Tree Kernels in SVM-light>http://dit.unitn.it/~moschitt/Tree-Kernel.htm]]
--[[SVM python>http://www.cs.cornell.edu/~tomf/svmpython/]]：pythonインターフェース
--[[Algorithm-SVMLight>http://search.cpan.org/~kwilliams/Algorithm-SVMLight]]：perlインターフェース
-[[LaSVM>http://leon.bottou.org/projects/lasvm]]：近似オンライン学習の利用による高速化
-[[svmsgd>http://leon.bottou.org/projects/sgd]] @ Léon Bottou：確率的勾配降下法の利用
-[[Pegasos>http://www.cs.huji.ac.il/~shais/code/index.html]]
#br
-[[AI-Categorizer@CPAN>http://search.cpan.org/~kwilliams/AI-Categorizer/]]：perlのモジュール
-[[BSVM>http://www.csie.ntu.edu.tw/~cjlin/bsvm/index.html]]
-[[Incremental SVM Learning>http://www.cpdiehl.org/softwarepage.html]]
-[[Lagrangian Support Vector Machine>http://www.cs.wisc.edu/dmi/lsvm/]]

-[[MSVMpack>http://www.loria.fr/~lauer/MSVMpack/MSVMpack.html]]：多クラス対応
-[[psvm>http://code.google.com/p/psvm/]]：parallel SVM
-[[Shogun>http://www.shogun-toolbox.org/]] (matlab, [[octave]], [[python]], [[R]])
-[[kernlab>http://cran.r-project.org/web/packages/kernlab/index.html]]，[[e1071>http://cran.r-project.org/web/packages/e1071/index.html]]：[[R]]のパッケージ
-[[Spider>http://www.kyb.tuebingen.mpg.de/bs/people/spider/]]：MATLAB toolbox
-[[Tiny SVM>http://chasen.org/~taku/software/TinySVM/]] (C)
-[[Active Support Vector Machine>http://www.cs.wisc.edu/dmi/asvm/]]
-[[SVMlin>http://people.cs.uchicago.edu/~vikass/svmlin.html]]：教師あり学習・半教師あり学習のための線形SVM
-[[Support Vector Machines @ Information: Signals, Images, Systems>http://www.isis.ecs.soton.ac.uk/resources/svminfo/]]：MATLAB Toolbox
-[[SVM Fu>http://five-percent-nation.mit.edu/SvmFu/]] (C++)
-[[SVM-JAVA>http://iis.hwanjoyu.org/svm-java/]]
-[[SVMmap>http://projects.yisongyue.com/svmmap/]]：Support Vector Machine for Optimizing Mean Average Precision
-[[SVM-OOPS>http://www.maths.ed.ac.uk/ERGO/svm-oops/]]：MPIを使った分散環境で並列実行
-[[SVMsequel>http://www.cs.utah.edu/~hal/SVMsequel/]]：自然言語処理用に文字列カーネルとかが入っている
-[[Gist>http://svm.sdsc.edu/svm-intro.html]]：Webインターフェースで実行するSVM
-[[UniverSVM>http://www.kyb.mpg.de/bs/people/fabee/universvm.html]]：[[CCCP]]を用いて大規模化
-[[kernel-machine library @ terborg.net>http://www.terborg.net/research/kml/]] 基本的なカーネル + [[SVM]]，関連ベクトルマシンなどのカーネル学習器
-[[リンク集>http://www.kernel-machines.org/software]] @ kernel-machines.org
-[[RjpWiki:R でサポートベクターマシン]]

** 関連文献 [#yfda5c97]

-基本文献~
Bernhard E. Boser, Isabelle M. Guyon, Vladimir N. Vapnik
"A Training Algorithm for Optimal Margin Classifiers" 5th COLT, pp.144-152 (1992)~
[[GoogleScholarAll:A Training Algorithm for Optimal Margin Classifiers]]~
[[I.Guyonの文献リスト>http://www.clopinet.com/isabelle/Papers/]]から入手可
-SVM やカーネル法全体がよくわかる教科書 [[Book/Learning with Kernels]]
-[[赤穂昭太郎 "本 カーネル多変量解析—非線形データ解析の新しい展開" 確率と情報の科学シリーズ, 岩波書店 (2008)>K-NEL]]
-SVMのチュートリアル~
C.J.C.Burges "A Tutorial on Support Vector Machines for Pattern Recognition" Data Mining and Knowledge Discovery, vol.2, pp.121-168 (1998)~
[[GoogleScholarAll:A Tutorial on Support Vector Machines for Pattern Recognition]]
-N. Cristianini and J. Shawe-Taylor "Introduction to Support Vector Machines"
Cambridge University Press (2000)：[[サポートページ>http://www.support-vector.net/]]
-Ch.-W. Hsu, Ch.-Ch. Chang, and Ch.-J. Lin, [[A Practical Guide to Support Vector Classification>http://www.csie.ntu.edu.tw/~cjlin/papers/guide/guide.pdf]]
-[[Book/サポートベクターマシン(知の科学)]]
-[[Book/データマイニングの基礎]] 3.3節
-[[Book/学習システムの理論と実現]] 第3章
-[[Book/パターン認識と学習の統計学(統計科学のフロンティア6)]] 第II部 
-[[Book/パターン認識(Rで学ぶデータサイエンス5)]] 11章, 12章
-[[Book/フリーソフトでつくる音声認識システム]] 6.1節
-[[Book/Learning with Kernels]]
-[[Book/Data Mining - Concepts and Techniques]] 6.7章
-[[Book/Pattern Recognition and Machine Learning]] 7章