縮小推定 (shrinkage method)

最小二乗法による回帰分析で,\({\|\mathbf{\theta}\|}^q\),\(q\gt 0\) の正則化項を加えた場合を考える. \[\sum_i^N (y_i - \mathbf{\theta}^\top\mathbf{x}_i)^2+\lambda{\|\mathbf{\theta}\|}^q\]

最小二乗法では,パラメータの絶対値を小さくするとその特徴の影響は小さくなる. 特に 0 にすると,その特徴は全く推定に影響しない. このように,推定に関係ない特徴に対応するパラメータの影響を縮小するように推定する方法を パラメータ縮小推定 (parameter shrinkage) や,単に 縮小推定 (shrinkage method) という. このようにして汎化能力を向上させるのが目的. ニューラルネットに対して適用するときには 荷重減衰 (wight decay) という.

-- しましま

関連項目

リンク集

関連文献


トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2010-02-11 (木) 16:13:11 (2490d)