回帰分析 (regression analysis)

\(m\) 個の属性値のベクトル \(x_i=(x_{i1},x_{i2},\ldots,x_{im})\) について 関数 \(f(\mathbf{x_i})\) にノイズ ε が加えられた値 \(y_i\) が事例. この事例が n 個集まった集合が与えられたとき,関数 \(f(\mathbf{x})\) を予測する.

関数が次の線形モデルで,ノイズεが多変量正規分布の場合 \[\mathbf{x}'_i=[1,x_{i1},x_{i2},\ldots,x_{im}]^\top\] \[f(\mathbf{x})=\mathbf{\theta}^\top \mathbf{x}'\] パラメータθを最尤推定で求めることは,最小2乗法で求めることと等価になり,解は次式になる.

  • \(\mathbf{y}=[y_1,y_2,\ldots,y_n]^\top\)
  • \(X=[x'_1,x'_2,\ldots,x'_n]^\top\)
  • \(\mathbf{\hat{\theta}}=[X^\top X]^{-1}X^\top \mathbf{y}\) --- 正規方程式 (nomal equation)

このような実数の関数値を予測する問題は,一般に回帰と呼ばれ,クラス分類ならぶ代表的な教師あり学習

\(\mathbf{x}\) は説明変数(explanatory variable),独立変数(independent variable),共変量(covariate),regressand,designed variableなどと呼ばれ,\(y\) は被説明変数(explained variable),従属変数(dependent variable),応答変数(response variable), 基準変数(criterion variable),目標変数(target variable),regressorなどと呼ばれる.

機械学習の分野ではあまり区別はしないが,統計の分野では説明変数が1個の場合のみ回帰分析,2個の要素のベクトルならば重回帰分析として区別する.

-- しましま

関連項目

リンク集

Freeware

関連文献


トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2010-02-11 (木) 16:12:43 (1716d)