これらを用いて \(\mathbf{X}\) を次式でモデル化するのが因子分析(factor analysis). \[\mathbf{X}=A \mathbf{S} + \mathbf{\epsilon}\] 共通因子や特殊因子はそれぞれGauss分布でモデル化され,最尤推定であてはめを行うことが多い.
また,\(\Sigma\) を \(\mathbf{X}\) の共分散行列,\(D_{\epsilon}\)を\(\epsilon_1,\ldots,\epsilon_p\)の分散を対角要素にもつ対角行列とすると \[\Sigma=A A^\top+D_{\epsilon}\] とモデル化しているとも見なせる.
だが,任意の\(p\times p\) の直交行列 (回転行列) \(R\) を用いて, \[\mathbf{X}=A \mathbf{S} + \mathbf{\epsilon}=A R^\top R \mathbf{S} + \mathbf{\epsilon}\] となり,新たな因子負荷量 \(\tilde{A}=AR^\top\) と共通因子 \(\mathbf{\tilde{S}}=R\mathbf{S}\) でもモデル化できてしまう.この不定性を回転の自由度といい解が一意に定まらない.そのため,恣意的な解析結果になりやすい.
-- しましま