* サポートベクトル回帰 (support vector regression) [#o07cbadc]

//ここには %項目の説明を書いてください.よろしければ署名しておいてください.

次の回帰直線と
\[f(\mathbf{x})=\mathbf{x}^\top\mathbf{w}+b\]
回帰直線とサンプルの残差を \(r\) として,次の ''ε許容誤差 (ε-insensitive error)'' を考える.
\[\xi(r)=\left\{\begin{array}{ll}0,&\mathrm{if}\;|r|\lt\epsilon\\|r|-\epsilon,&\mathrm{otherwise}\end{array}\right.\]
このとき,サンプル\((\mathbf{x}_1,y_1),\ldots,(\mathbf{x}_N,y_N)\)について,次の最適化問題を考える.
\[\min_{\mathbf{w},b}\sum_{i=1}^N\xi(y_i-f(\mathbf{x}_i))+\frac{\lambda}{2}||\mathbf{w}||^2\]
ただし,\(\lambda\)は正則化パラメータ.

この双対問題は次の二次計画問題に書き換えられる.
\[\displaystyle\min_{\alpha_i,\alpha_i^\ast}\;\epsilon\sum_{i=1}^N(\alpha_i^\ast+\alpha_i)-\sum_{i=1}^N y_i(\alpha_i^\ast-\alpha_i)+\frac{1}{2}\sum_{i,j=1}^N(\alpha_i^\ast-\alpha_i)(\alpha_j^\ast-\alpha_j)\mathbf{x}_i^\top\mathbf{x}_j\]
CENTER:制約:
\(0\le\alpha_i,\alpha_i^\ast\le 1/\lambda\) と
\(\sum_{i=1}^N(\alpha_i-\alpha_i^\ast)=0\)

これがサポートベクトル回帰と呼ばれる.誤差関数にはε許容誤差以外にHuber関数なども用いられる.サンプルの内積しか使わないので,カーネルトリックが利用可能で,非線形回帰もできる.

> -- しましま

** 関連項目 [#ub2f0ca0]

//英語や同義語のあとに,#brで区切って関連する項目をリストしてください.
-[[support vector regression]]
#br
-[[ε許容誤差]]
-[[ε-insensitive error]]
#br
-[[SVM]]
-[[カーネル]]
-[[回帰分析]]
-[[非線形回帰]]
-[[ロバスト推定]]
-[[Huber関数]]
-[[損失関数]]
#br
-[[検索:サポートベクトル回帰 SVR]]

** リンク集 [#wfcfabcd]

//関連するWWW資源があればリンクしてください.

-[[Support Vector Machines for Regression>http://www.svms.org/regression/]]:リンク集

** 関連文献 [#ue688f05]

//この%項目%に関連する書籍や論文を紹介してください.

-A.J.Smola and B.Schölkopf "A Tutorial on Support Vector Regression"~
[[Tutorials on Kernel Methods@kernel-machines.org>http://www.kernel-machines.org/tutorial.html]]~
[[GoogleScholarAll:A Tutorial on Support Vector Regression]]
-[[Book/学習システムの理論と実現]] 3.8.1節
-[[Book/パターン認識と学習の統計学(統計科学のフロンティア6)]] 第II部 3.5節
-[[Book/Data Mining - Practical Machine Learning Tools and Techniques]] 6.3節 Support vector regression
-[[Book/Neural Networks for Pattern Recognition]] 7.1.4節
-[[Book/The Elements of Statistical Learning]] 12.3.5, 12.3.6節
-[[Book/サポートベクターマシン(知の科学)]] 5章

トップ   編集 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS