因子分析

因子分析 (factor analysis)†

\(p\)次元のベクトル \(\mathbf{X}\) がモデル化される変量．\(X_1,\ldots,X_p\) のそれぞれの平均と分散は，0 と 1 に正規化してあるものとする．
共通因子(common factor)は，\(\mathbf{X}\) の要素に共通する要因を表す．
\(q\lt p\)次元のベクトル \(\mathbf{S}\)．各要素平均は0．共分散行列が単位行列，すなわち，各要素の分散は1で，互いに無相関．
特殊因子(specific factor)は，\(\mathbf{X}\) の各要素ごとに固有の要因を表す．
\(q\le p\)次元のベクトル \(\mathbf{\epsilon}\)．各要素の平均は0．共分散行列は対角行列，すなわち，互いに無相関．また，共通因子 \(\mathbf{S}\) と特殊因子 \(\mathbf{\epsilon}\) も無相関とする．
因子負荷量(factor loadings)は，\(p\times q\) の行列 \(A\)

これらを用いて \(\mathbf{X}\) を次式でモデル化するのが因子分析(factor analysis)． \[\mathbf{X}=A \mathbf{S} + \mathbf{\epsilon}\] 共通因子や特殊因子はそれぞれGauss分布でモデル化され，最尤推定であてはめを行うことが多い．

また，\(\Sigma\) を \(\mathbf{X}\) の共分散行列，\(D_{\epsilon}\)を\(\epsilon_1,\ldots,\epsilon_p\)の分散を対角要素にもつ対角行列とすると \[\Sigma=A A^\top+D_{\epsilon}\] とモデル化しているとも見なせる．

だが，任意の\(p\times p\) の直交行列 (回転行列) \(R\) を用いて， \[\mathbf{X}=A \mathbf{S} + \mathbf{\epsilon}=A R^\top R \mathbf{S} + \mathbf{\epsilon}\] となり，新たな因子負荷量 \(\tilde{A}=AR^\top\) と共通因子 \(\mathbf{\tilde{S}}=R\mathbf{S}\) でもモデル化できてしまう．この不定性を回転の自由度といい解が一意に定まらない．そのため，恣意的な解析結果になりやすい．