* 縮小推定 (shrinkage method) [#jb21a8a7]

//ここには %項目の説明を書いてください.よろしければ署名しておいてください.

最小二乗法による回帰分析で,\({\|\mathbf{\theta}\|}^q\),\(q\gt 0\) の正則化項を加えた場合を考える.
\[\sum_i^N (y_i - \mathbf{\theta}^\top\mathbf{x}_i)^2+\lambda{\|\mathbf{\theta}\|}^q\]

最小二乗法では,パラメータの絶対値を小さくするとその特徴の影響は小さくなる.
特に 0 にすると,その特徴は全く推定に影響しない.
このように,推定に関係ない特徴に対応するパラメータの影響を縮小するように推定する方法を ''パラメータ縮小推定 (parameter shrinkage)'' や,単に ''縮小推定 (shrinkage method)'' という.
このようにして汎化能力を向上させるのが目的.
ニューラルネットに対して適用するときには ''荷重減衰 (wight decay)'' という.

> -- しましま

** 関連項目 [#f1b8969f]

//英語や同義語のあとに,#brで区切って関連する項目をリストしてください.
-[[shrinkage method]]
#br
-[[パラメータ縮小推定]]
-[[parameter shrinkage method]]
-[[荷重減衰]]
-[[weight decay]]
#br
-[[正則化]]
-[[リッジ回帰]]
-[[汎化誤差]]
#br
-[[検索:縮小推定]]

** リンク集 [#s240a3e3]

//関連するWWW資源があればリンクしてください.

** 関連文献 [#hadebc0c]

//この%項目%に関連する書籍や論文を紹介してください.

-[[Book/Pattern Recognition and Machine Learning]] 3.1.4節
-[[Book/The Elements of Statistical Learning]] 3.4.3節

トップ   編集 差分 履歴 添付 複製 名前変更 リロード   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS