- 追加された行はこの色です。
- 削除された行はこの色です。
- 縮小推定 へ行く。
* 縮小推定 (shrinkage method) [#jb21a8a7]
//ここには %項目の説明を書いてください.よろしければ署名しておいてください.
最小二乗法による回帰分析で,\({\|\mathbf{\theta}\|}^q\),\(q\gt 0\) の正則化項を加えた場合を考える.
\[\sum_i^N (y_i - \mathbf{\theta}^\top\mathbf{x}_i)^2+\lambda{\|\mathbf{\theta}\|}^q\]
最小二乗法では,パラメータの絶対値を小さくするとその特徴の影響は小さくなる.
特に 0 にすると,その特徴は全く推定に影響しない.
このように,推定に関係ない特徴に対応するパラメータの影響を縮小するように推定する方法を ''パラメータ縮小推定 (parameter shrinkage)'' や,単に ''縮小推定 (shrinkage method)'' という.
このようにして汎化能力を向上させるのが目的.
ニューラルネットに対して適用するときには ''荷重減衰 (wight decay)'' という.
> -- しましま
** 関連項目 [#f1b8969f]
//英語や同義語のあとに,#brで区切って関連する項目をリストしてください.
-[[shrinkage method]]
#br
-[[パラメータ縮小推定]]
-[[parameter shrinkage method]]
-[[荷重減衰]]
-[[weight decay]]
#br
-[[正則化]]
-[[リッジ回帰]]
-[[汎化誤差]]
#br
-[[検索:縮小推定]]
** リンク集 [#s240a3e3]
//関連するWWW資源があればリンクしてください.
** 関連文献 [#hadebc0c]
//この%項目%に関連する書籍や論文を紹介してください.
-[[Book/Pattern Recognition and Machine Learning]] 3.1.4節
-[[Book/The Elements of Statistical Learning]] 3.4.3節