正則化 の変更点

• 追加された行はこの色です。
• 削除された行はこの色です。
• 正則化 へ行く。

*正則化 (regularization) [#m1a548e9]

データ \(D\) が与えられたときの経験損失 \(L_{\mathrm{emp}}(f,D)\) だけを最適化する関数 \(f\) を求めても，過適合などのため汎化誤差は最小にならない．よってこの最適化では，本来の目的は達成できない．こうした状況を''不良設定 (ill-posed)''であるという．

こうした場合には，平滑化などを行う罰則項 (penalty term) \(P(f)\) を用いて次のような問題にする：
\[\min_f L_{\mathrm{emp}}(f,D)+\lambda P(f)\]
こうした問題の書き換えを''正則化 (regularization)''という．

\(f\) のパラメータを \(\mathbf{\theta}\) とするとき，\(P(f)\) としては次のようなものが代表的
- L2ノルムの2乗（＝2乗和）\({||\mathbf{\theta}||_2}^2\)：Tikhonov正則化(の標準形)ともいう．この正則化項をもつ線形回帰をリッジ回帰という．
- L1ノルム \(|\mathbf{\theta}|\)：lassoと呼ばれる．L2ノルムの2乗より，0 になるパラメータが多い疎な解が得られやすい．

> -- しましま

\(P(f)=\)一定という制約(不等式の場合もあり)のもとで \(\min_f L_{\mathrm{emp}}(f,D)\) を行う正則化もある． 多くの問題ではTikhonov正則化と似たような性質をもつが，[[レプリゼンタ定理]]の成立条件が異なるなどいくつかの違いもある．
> -- あかほ

**関連項目 [#o564f389]

-[[regularization]]
#br
-[[Tikhonov正則化]]
-[[Tikhonov regularization]]
-[[lasso]]
#br
-[[不良設定]]
-[[ill-posed]]
#br
-[[SVM]]
-[[カーネル密度推定]]
-[[レプリゼンタ定理]]
-[[ベイズ推定]]
-[[リッジ回帰]]
-[[縮小推定]]
#br
-[[検索:正則化 regularization]]

** リンク集 [#f3702145]

-[[Regularization>http://www.mat.univie.ac.at/~neum/regul.html]] @ Arnold Neumaier
-[[The Lasso Page>http://www-stat.stanford.edu/~tibs/lasso.html]] @ Rob Tibshirani
-[[L1正則化について>http://hillbig.cocolog-nifty.com/do/2008/08/l1_9ac2.html]] @ DO++
#br
-[[Wikipedia:Regularization_(mathematics)]]
-[[Wikipedia:Ridge_regression]]

** 関連文献 [#za948be5]

-[[Book/学習システムの理論と実現]] 3.4.1章
-[[Book/わかりやすいパターン認識]] 9.2章[2]
-[[Book/Neural Networks for Pattern Recognition]] 9.2章
-[[Book/Pattern Recognition and Machine Learning]] p.10，5.5.5章