* サポートベクトル回帰 (support vector regression) [#o07cbadc]
//ここには %項目の説明を書いてください．よろしければ署名しておいてください．
次の回帰直線と
\[f(\mathbf{x})=\mathbf{x}^\top\mathbf{w}+b\]
回帰直線とサンプルの残差を \(r\) として，次の ''ε許容誤差 (ε-insensitive error)'' を考える．
\[\xi(r)=\left\{\begin{array}{ll}0,&\mathrm{if}\;|r|\lt\epsilon\\|r|-\epsilon,&\mathrm{otherwise}\end{array}\right.\]
このとき，サンプル\((\mathbf{x}_1,y_1),\ldots,(\mathbf{x}_N,y_N)\)について，次の最適化問題を考える．
\[\min_{\mathbf{w},b}\sum_{i=1}^N\xi(y_i-f(\mathbf{x}_i))+\frac{\lambda}{2}||\mathbf{w}||^2\]
ただし，\(\lambda\)は正則化パラメータ．
この双対問題は次の二次計画問題に書き換えられる．
\[\displaystyle\min_{\alpha_i,\alpha_i^\ast}\;\epsilon\sum_{i=1}^N(\alpha_i^\ast+\alpha_i)-\sum_{i=1}^N y_i(\alpha_i^\ast-\alpha_i)+\frac{1}{2}\sum_{i,j=1}^N(\alpha_i^\ast-\alpha_i)(\alpha_j^\ast-\alpha_j)\mathbf{x}_i^\top\mathbf{x}_j\]
CENTER:制約：
\(0\le\alpha_i,\alpha_i^\ast\le 1/\lambda\) と
\(\sum_{i=1}^N(\alpha_i-\alpha_i^\ast)=0\)
これがサポートベクトル回帰と呼ばれる．誤差関数にはε許容誤差以外にHuber関数なども用いられる．サンプルの内積しか使わないので，カーネルトリックが利用可能で，非線形回帰もできる．
> -- しましま
** 関連項目 [#ub2f0ca0]
//英語や同義語のあとに，#brで区切って関連する項目をリストしてください．
-[[support vector regression]]
#br
-[[ε許容誤差]]
-[[ε-insensitive error]]
#br
-[[SVM]]
-[[カーネル]]
-[[回帰分析]]
-[[非線形回帰]]
-[[ロバスト推定]]
-[[Huber関数]]
-[[損失関数]]
#br
-[[検索:サポートベクトル回帰 SVR]]
** リンク集 [#wfcfabcd]
//関連するWWW資源があればリンクしてください．
-[[Support Vector Machines for Regression>http://www.svms.org/regression/]]：リンク集
** 関連文献 [#ue688f05]
//この%項目%に関連する書籍や論文を紹介してください．
-A.J.Smola and B.Schölkopf "A Tutorial on Support Vector Regression"~
[[Tutorials on Kernel Methods@kernel-machines.org>http://www.kernel-machines.org/tutorial.html]]~
[[GoogleScholarAll:A Tutorial on Support Vector Regression]]
-[[Book/学習システムの理論と実現]] 3.8.1節
-[[Book/パターン認識と学習の統計学(統計科学のフロンティア6)]] 第II部 3.5節
-[[Book/Data Mining - Practical Machine Learning Tools and Techniques]] 6.3節 Support vector regression
-[[Book/Neural Networks for Pattern Recognition]] 7.1.4節
-[[Book/The Elements of Statistical Learning]] 12.3.5, 12.3.6節
-[[Book/サポートベクターマシン(知の科学)]] 5章
![[PukiWiki]](image/ibisforest.png "[PukiWiki]")
