*正則化 (regularization) [#m1a548e9]

データ \(D\) が与えられたときの経験損失 \(L_{\mathrm{emp}}(f,D)\) だけを最適化する関数 \(f\) を求めても,過適合などのため汎化誤差は最小にならない.よってこの最適化では,本来の目的は達成できない.こうした状況を''不良設定 (ill-posed)''であるという.

こうした場合には,平滑化などを行う罰則項 (penalty term) \(P(f)\) を用いて次のような問題にする:
\[\min_f L_{\mathrm{emp}}(f,D)+\lambda P(f)\]
こうした問題の書き換えを''正則化 (regularization)''という.

\(f\) のパラメータを \(\mathbf{\theta}\) とするとき,\(P(f)\) としては次のようなものが代表的
- L2ノルムの2乗(=2乗和)\({||\mathbf{\theta}||_2}^2\):Tikhonov正則化(の標準形)ともいう.この正則化項をもつ線形回帰をリッジ回帰という.
- L1ノルム \(|\mathbf{\theta}|\):lassoと呼ばれる.L2ノルムの2乗より,0 になるパラメータが多い疎な解が得られやすい.

> -- しましま

\(P(f)=\)一定という制約(不等式の場合もあり)のもとで \(\min_f L_{\mathrm{emp}}(f,D)\) を行う正則化もある. 多くの問題ではTikhonov正則化と似たような性質をもつが,[[レプリゼンタ定理]]の成立条件が異なるなどいくつかの違いもある.
> -- あかほ

**関連項目 [#o564f389]

-[[regularization]]
#br
-[[Tikhonov正則化]]
-[[Tikhonov regularization]]
-[[lasso]]
#br
-[[不良設定]]
-[[ill-posed]]
#br
-[[SVM]]
-[[カーネル密度推定]]
-[[レプリゼンタ定理]]
-[[ベイズ推定]]
-[[リッジ回帰]]
-[[縮小推定]]
#br
-[[検索:正則化 regularization]]

** リンク集 [#f3702145]

-[[Regularization>http://www.mat.univie.ac.at/~neum/regul.html]] @ Arnold Neumaier
-[[The Lasso Page>http://www-stat.stanford.edu/~tibs/lasso.html]] @ Rob Tibshirani
-[[L1正則化について>http://hillbig.cocolog-nifty.com/do/2008/08/l1_9ac2.html]] @ DO++
#br
-[[Wikipedia:Regularization_(mathematics)]]
-[[Wikipedia:Ridge_regression]]

** 関連文献 [#za948be5]

-[[Book/学習システムの理論と実現]] 3.4.1章
-[[Book/わかりやすいパターン認識]] 9.2章[2]
-[[Book/Neural Networks for Pattern Recognition]] 9.2章
-[[Book/Pattern Recognition and Machine Learning]] p.10,5.5.5章

トップ   編集 差分 履歴 添付 複製 名前変更 リロード   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS