* 反復再重み付け最小二乗法 (IRLS法; iteratively reweighted least squares method) [#me03ffb8]

//ここには %項目の説明を書いてください.よろしければ署名しておいてください.

対角の重み行列 \(W\) を用いた重み付きの線形方程式
\[WX\mathbf{\theta}=W\mathbf{y}\]
の解は,線形回帰の正規方程式(see [[回帰分析]])を重み付けした
\[(X^\top W X)^{-1}X^\top W \mathbf{y}\]
となる.しかし,\(W\) が解 \(\mathbf{\theta}\) に依存するときには,''反復再重み付け最小二乗法 (IRLS法; iteratively reweighted least squares method)'' が必要になる.

IRLS法では,次のように再重み付けしながら,重み付2乗和誤差を最小化する
- 重み \(W\) の更新
- 重み付二乗和誤差を最小化してパラメータを更新:
\(\mathbf{\theta}^{(new)}\leftarrow\arg\min_\theta (\mathbf{y} - X\mathbf{\theta})^\top W (\mathbf{y} - X\mathbf{\theta})\)

ロジスティック回帰で,負の対数尤度を誤差関数をNewton法で解く場合を考える.
すると,パラメータの更新式は次のような,重み付2乗和誤差を最小化した形になる.
\[\mathbf{\theta}^{(new)}\leftarrow(X^\top W X)^{-1}X^\top W \mathbf{z}\]
ただし,
\(\mathbf{z}=X \mathbf{\theta}^{(old)}-W^{-1}(\mathbf{b}-\mathbf{y})\)
で,
\(\mathbf{b}\) の i番目の要素は \(\sigma(\mathbf{x}_i\theta_i)\).\(\sigma(\cdot)\) はシグモイド関数.

また,重みは
\[W_{ii}=b_i(1-b_i)\]
この重みは \(\mathbf{b}\) を通じて,パラメータ \(\mathbf{\theta}\) に依存しているので,この重みの更新と,上記のパラメータの更新を反復するIRLS法となっている.

この場合は凸な最適化なので,基本的には収束するが,まれに,行ったり来たりの状態になってしまうと収束しない.

> -- しましま

** 関連項目 [#va620fcb]

//英語や同義語のあとに,#brで区切って関連する項目をリストしてください.
-[[反復再重み付け最小二乗法]]
-[[iteratively reweighted least squares method]]
#br
-[[回帰分析]]
-[[最小2乗法]]
-[[ロジスティック回帰]]
-[[Newton法]]
-[[最適化]]
#br
-[[検索:反復再重み付け最小二乗 IRLS]]

** リンク集 [#gd20b894]

//関連するWWW資源があればリンクしてください.
-[[Wikipedia:Iteratively_re-weighted_least_squares]]

** 関連文献 [#q6106bda]

//この%項目%に関連する書籍や論文を紹介してください.

-[[Book/Pattern Recognition and Machine Learning]] 4.3.3節
-[[Book/Principles of Data Mining]] 11.3節
-[[Book/The Elements of Statistical Learning]] 4.4.1節

トップ   編集 差分 履歴 添付 複製 名前変更 リロード   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS