* リッジ回帰 (ridge regression) [#mbcb1959]

//ここには %項目の説明を書いてください.よろしければ署名しておいてください.

パラメータの二乗和の正則化項を加えた(Tikhonov正則化ともいう)回帰分析.

(記号の定義は回帰分析を参照)

通常の回帰分析の最小二乗法に正則化項を加えた次式を最小にする:
\[(\mathbf{y}-X\mathbf{\theta})^\top(\mathbf{y}-X\mathbf{\theta})+\alpha\theta^\top\theta\]
ただし,\(\alpha\ge0\) は複雑度(complexity)パラメータという.
このパラメータが大きいと高バイアス-低バリアンスに,小さいと低バイアス-高バリアンスになる.このパラメータは交差確認などで適宜定める.また,この目的関数は,通常の最小二乗エラーを,パラメータの二乗和が定数以下との制約で最小化するのと等価.

パラメータの推定値は次式
\[\mathbf{\hat{\theta}}=[X^\top X+\alpha I]^{-1}X^\top \mathbf{y}\]

ここで,特異値分解 \(X=U\Lambda V^\top\) を考える.すると,パラメータの推定値は
\[\mathbf{\hat{\theta}}=V \mathrm{diag}[\frac{\lambda_1}{\lambda_1^2+\alpha},\ldots,\frac{\lambda_{m+1}}{\lambda_{m+1}^2+\alpha}]U^\top\mathbf{y}\]
となる.これは,主成分分析を \(X\) に適用したときに,各第\(i\)主成分の方向に \(\frac{\lambda_i^2}{\lambda_i^2+\alpha}\) 倍だけ縮小していることになる.このことから,\(m+1\)個の係数のうち実際に有効な個数を,次の有効自由度(effective degrees of freedom) で測る
\[\mathrm{df(\alpha)}=\sum_{i=1}^{m+1}\frac{\lambda_i^2}{\lambda_i^2+\alpha}\]

> -- しましま

**関連項目 [#f95ae697]

//英語や同義語のあとに,#brで区切って関連する項目をリストしてください.
-[[ridge regression]]
#br
-[[正則化]]
-[[縮小推定]]
-[[回帰分析]]
-[[バイアス-バリアンス]]
-[[トランスダクティブ学習]]
#br
-[[検索:リッジ回帰]]

**リンク集 [#pcdc1b14]

//関連するWWW資源があればリンクしてください.
-[[Wikipedia:Tikhonov_regularization]]

**関連文献 [#g8abbc7b]

//この%項目%に関連する書籍や論文を紹介してください.
-[[Book/Neural Networks for Pattern Recognition]] 9.2節
-[[Book/The Elements of Statistical Learning]] 3.4.3節
-[[Book/Pattern Recognition and Machine Learning]] 1.1節

トップ   編集 差分 履歴 添付 複製 名前変更 リロード   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS