![[PukiWiki]](image/ibisforest.png "[PukiWiki]")
データ \(D\) が与えられたときの経験損失 \(L_{\mathrm{emp}}(f,D)\) だけを最適化する関数 \(f\) を求めても，過適合などのため汎化誤差は最小にならない．よってこの最適化では，本来の目的は達成できない．こうした状況を不良設定 (ill-posed)であるという．
こうした場合には，平滑化などを行う罰則項 (penalty term) \(P(f)\) を用いて次のような問題にする： \[\min_f L_{\mathrm{emp}}(f,D)+\lambda P(f)\] こうした問題の書き換えを正則化 (regularization)という．
\(f\) のパラメータを \(\mathbf{\theta}\) とするとき，\(P(f)\) としては次のようなものが代表的
-- しましま
\(P(f)=\)一定という制約(不等式の場合もあり)のもとで \(\min_f L_{\mathrm{emp}}(f,D)\) を行う正則化もある． 多くの問題ではTikhonov正則化と似たような性質をもつが，レプリゼンタ定理の成立条件が異なるなどいくつかの違いもある．
-- あかほ
