判別分析の変更点

追加された行はこの色です。
削除された行はこの色です。
判別分析へ行く。
*判別分析 (discriminant analysis) [#k7f1870a]

広義にはクラス分類手法一般をさすが，特に線形判別分析 (Fisher判別分析; linear discriminant analysis) のことを示す場合が多い．

これは，クラスと属性ベクトルの対の形式のデータが与えられたとき，クラス間の分散を最大化するような教師ありの次元削減法．

データは \(d\)次元のベクトル \(x\) で表される．
クラス数 \(C\ge2\)，総データ数 \(n\) のデータ集合 \(\mathcal{X}=\{x\}\)，データ全体の平均値は \(\bar{x}\)．

クラス \(i\) のデータ集合を \(\mathcal{X}_i\)，そのデータ数を \(n_i\)，そのデータの平均を \(\bar{x}_i\)．

このとき，群内分散 \(W\) と，群間分散 \(B\) は次式．
\[W=\frac{1}{n}\sum_{i=1}^C \sum_{x\in\mathcal{X}_i}(x-\bar{x}_i)(x-\bar{x}_i)^\top\]
\[B=\frac{1}{n}\sum_{i=1}^C n_i (\bar{x}_i-\bar{x})(\bar{x}_i-\bar{x})^\top\]

ここで \(W^{-1}B\) の大きな固有値 \(C-1\)個 \(\lambda_1,\ldots,\lambda_{C-1}\) に対応する固有ベクトルを\(A_1,\ldots,A_{C-1}\)とする．これを用いて，\(d\times(C-1)\)行列 \(A=[A_1,A_2,\ldots,A_{C-1}]\) を定める．

この行列を用いてデータ\(x\) を \(A^\top x\) で\(C-1\)次元空間に次元削減する．

これは，次の群内と群間の分散の比を最大化して，各クラスのデータが互いに分離されるような変換になっている．
\[\frac{\det(A^\top BA)}{\det(A^\top WA)}\]

2クラスの場合の判別分析の群間/群内分散の比はバリエーションはないが，3クラス以上だと他にも何種類かの規準がある．

>-- しましま

**関連項目 [#geb47e56]

-[[discriminant analysis]]
-[[線形判別分析]]
-[[LDA]]
-[[linear discriminant analysis]]
-[[Fisher判別分析]]
-[[Fisher's discriminant analysis]]
-[[正準判別分析]]
-[[canonical discriminant analysis]]
#br
-[[多変量解析]]
-[[パターン認識]]
-[[識別]]
-[[線形モデル]]
-[[次元削減]]
#br
-[[検索:判別分析]]

** リンク集 [#kaa453da]

-[[判別分析>Aoki:lecture/Discriminant/index.html]]: 統計学自習ノート＠青木繁伸
#br
-[[Wikipedia:Linear_discriminant_analysis]]

** 関連文献 [#u2e179d5]

-基本文献~
R.A.Fisher, "The Use of Multiple Measurements in Taxonomic Problems", Annals of Eugenics, vol.7,  Part II, pp.179-188 (1936)~
[[GoogleScholarAll:The Use of Multiple Measurements in Taxonomic Problems]]
-[[Book/わかりやすいパターン認識]] 6.4章
-[[Book/パターン認識と学習の統計学(統計科学のフロンティア6)]] I章 3.5節
-[[Book/計算統計I(統計科学のフロンティア11)]] I章 4.3節
-[[Book/The Elements of Statistical Learning]] 4.3章
-[[Book/Pattern Recognition and Machine Learning]] 4.1.4節
-[[Book/パターン認識(Rで学ぶデータサイエンス5)]] 5.2節
判別分析 の変更点
