- 追加された行はこの色です。
- 削除された行はこの色です。
- lasso へ行く。
* Lasso (least absolute shrinkage and selection operator) [#q43740d6]
[[正則化]]の一種
パラメータベクトル \((\beta_1,\ldots,\beta_n)\)の絶対値の和 \(\sum_{i=1}^n\beta_i\)を正則化項とする正則化の方法
(パラメータの多くが0となる)スパースな解が得られやすいという特徴があり,
変数選択法の一種としての性質も持つ.
以下のようないろいろな拡張が研究されている.
fused lasso : 隣同士の変数間に対する制約 \(\sum_{i=1}^{n-1}|\beta_{i+1}-\beta_i|\) を付け加えた拡張. 隣接した係数がまとまってグループ化される.
group lasso : グループごとのL2ノルムの1乗和 \(\sum_{j=1}^k \sqrt{\sum_{i\in G_j}\beta_i^2}\) を付け加えた拡張.ただし\(G_j\)は\(j\)番目のグループに属する添え字の集合. グループ単位でまとめてパラメータを0にする効果がある. (カーネル法ではL2ノルムではなく再生核ヒルベルト空間のノルムをとる).
OSCAR : \(\sum_{i<j}\max\{|\beta_i|,|\beta_j|\}\) を加えた拡張. グループ化を自動的に行うことを意図している.
elastic net : L1ノルムとL2ノルムの重み付き和を正則化項とする拡張. lasso ではスパースになりすぎて予測精度などが落ちる場合に用いられる. --あかほ
**関連項目 [#w9002993]
-[[regularization]]
#br
-[[正則化]]
#br
-[[検索:正則化 regularization lasso]]
** リンク集 [#c3e9c50e]
-[[The Lasso Page>http://www-stat.stanford.edu/~tibs/lasso.html]] @ Rob Tibshirani
** 関連文献 [#oaf2bee7]