リッジ回帰 (ridge regression)

パラメータの二乗和の正則化項を加えた(Tikhonov正則化ともいう)回帰分析

(記号の定義は回帰分析を参照)

通常の回帰分析最小二乗法正則化項を加えた次式を最小にする: \[(\mathbf{y}-X\mathbf{\theta})^\top(\mathbf{y}-X\mathbf{\theta})+\alpha\theta^\top\theta\] ただし,\(\alpha\ge0\) は複雑度(complexity)パラメータという. このパラメータが大きいと高バイアス-低バリアンスに,小さいと低バイアス-高バリアンスになる.このパラメータは交差確認などで適宜定める.また,この目的関数は,通常の最小二乗エラーを,パラメータの二乗和が定数以下との制約で最小化するのと等価.

パラメータの推定値は次式 \[\mathbf{\hat{\theta}}=[X^\top X+\alpha I]^{-1}X^\top \mathbf{y}\]

ここで,特異値分解 \(X=U\Lambda V^\top\) を考える.すると,パラメータの推定値は \[\mathbf{\hat{\theta}}=V \mathrm{diag}[\frac{\lambda_1}{\lambda_1^2+\alpha},\ldots,\frac{\lambda_{m+1}}{\lambda_{m+1}^2+\alpha}]U^\top\mathbf{y}\] となる.これは,主成分分析を \(X\) に適用したときに,各第\(i\)主成分の方向に \(\frac{\lambda_i^2}{\lambda_i^2+\alpha}\) 倍だけ縮小していることになる.このことから,\(m+1\)個の係数のうち実際に有効な個数を,次の有効自由度(effective degrees of freedom) で測る \[\mathrm{df(\alpha)}=\sum_{i=1}^{m+1}\frac{\lambda_i^2}{\lambda_i^2+\alpha}\]

-- しましま

関連項目

リンク集

関連文献


トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2010-02-11 (木) 16:12:33 (2490d)