* ロジスティック回帰 (logistic regression) [#r3708842]

//ここには %項目の説明を書いてください.よろしければ署名しておいてください.

ロジスティック回帰は,説明変数が特徴ベクトル \(\mathbf{x}=[x_1,\ldots,x_m]^\top\) で,被説明変数 \(y\) は,値 \(1,\ldots,K\) を取り得るカテゴリ変数でであるような[[回帰分析]].

ロジット変換をリンク関数に用いた一般化線形モデル
\[\log\frac{\Pr[y=j|\mathbf{x}]}{\Pr[y=K|\mathbf{x}]}=\theta_{j0}+{\mathbf{\theta}_j}^\top\mathbf{x}\]
ただし,\(j=1,\ldots,K-1\).\(\theta_{j0}\) と \(\mathbf{\theta}_j=[\theta_{j1},\ldots,\theta_{jm}]^\top\) はパラメータ.

このときクラスの事後確率分布は次式
\[\Pr[y=j|\mathbf{x}]=\frac{\exp(\theta_{j0}+{\mathbf{\theta}_j}^\top\mathbf{x})}{1+\sum_{k=0}^{K-1}\Bigl(\theta_{k0}+{\mathbf{\theta}_k}^\top\mathbf{x}\Bigr)},\ \ j=1,\ldots,K-1\]
\[\Pr[y=K|\mathbf{x}]=\frac{1}{1+\sum_{k=0}^{K-1}\Bigl(\theta_{k0}+{\mathbf{\theta}_k}^\top\mathbf{x}\Bigr)}\]
すなわち,\(K=2\)なら,右辺は,シグモイド関数,\(K\gt2\)ならソフトマックス関数となる.

この事後確率が多項分布に従うことを利用し,学習事例から最尤推定でパラメータ \(\theta_{10},\theta_{20},\ldots,\theta_{K-1,0},\mathbf{\theta_{1}},\mathbf{\theta_{2}},\ldots,\mathbf{\theta_{K-1}}\) をNewton法で解くと,IRLS法として解釈できる.

> -- しましま

** 関連項目 [#o27337fc]

//英語や同義語のあとに,#brで区切って関連する項目をリストしてください.
-[[logistic regression]]
#br
-[[一般化線形モデル]]
-[[IRLS法]]
-[[識別]]
-[[ロジット]]
-[[シグモイド関数]]
-[[ソフトマックス関数]]
-[[非線形回帰]]
-[[識別モデル]]
#br
-[[検索:ロジスティック回帰 logistic回帰]]

** リンク集 [#ncfb9248]

//関連するWWW資源があればリンクしてください.

-[[Wikipedia:Logistic_regression]]
-[[PlanetMath:LogisticRegression]]

*** Freeware [#l7a89673]

-[[LIBLINEAR>http://www.csie.ntu.edu.tw/~cjlin/liblinear/]]:大規模計算用,L2正則化付き

** 関連文献 [#t57a158a]

//この%項目%に関連する書籍や論文を紹介してください.

-[[Book/Data Mining - Practical Machine Learning Tools and Techniques]] 4.6章 Linear classification: Logistic Regression
-[[Book/Principles of Data Mining]] 11.3章
-[[Book/The Elements of Statistical Learning]] 4.4章
-[[Book/Machine Learning]]:出版予定の第2版のドラフトに詳しい説明
-[[Book/Pattern Recognition and Machine Learning]] 4.3.2章
-[[Book/パターン認識(Rで学ぶデータサイエンス5)]] 6章

トップ   編集 差分 履歴 添付 複製 名前変更 リロード   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS