パラメータの二乗和の正則化項を加えた(Tikhonov正則化ともいう)回帰分析.
(記号の定義は回帰分析を参照)
通常の回帰分析の最小二乗法に正則化項を加えた次式を最小にする: \[(\mathbf{y}-X\mathbf{\theta})^\top(\mathbf{y}-X\mathbf{\theta})+\alpha\theta^\top\theta\] ただし,\(\alpha\ge0\) は複雑度(complexity)パラメータという. このパラメータが大きいと高バイアス-低バリアンスに,小さいと低バイアス-高バリアンスになる.このパラメータは交差確認などで適宜定める.また,この目的関数は,通常の最小二乗エラーを,パラメータの二乗和が定数以下との制約で最小化するのと等価.
パラメータの推定値は次式 \[\mathbf{\hat{\theta}}=[X^\top X+\alpha I]^{-1}X^\top \mathbf{y}\]
ここで,特異値分解 \(X=U\Lambda V^\top\) を考える.すると,パラメータの推定値は \[\mathbf{\hat{\theta}}=V \mathrm{diag}[\frac{\lambda_1}{\lambda_1^2+\alpha},\ldots,\frac{\lambda_{m+1}}{\lambda_{m+1}^2+\alpha}]U^\top\mathbf{y}\] となる.これは,主成分分析を \(X\) に適用したときに,各第\(i\)主成分の方向に \(\frac{\lambda_i^2}{\lambda_i^2+\alpha}\) 倍だけ縮小していることになる.このことから,\(m+1\)個の係数のうち実際に有効な個数を,次の有効自由度(effective degrees of freedom) で測る \[\mathrm{df(\alpha)}=\sum_{i=1}^{m+1}\frac{\lambda_i^2}{\lambda_i^2+\alpha}\]
-- しましま