![[PukiWiki]](image/ibisforest.png "[PukiWiki]")
\(m\) 個の属性値のベクトル \(x_i=(x_{i1},x_{i2},\ldots,x_{im})\) について 関数 \(f(\mathbf{x_i})\) にノイズ ε が加えられた値 \(y_i\) が事例． この事例が n 個集まった集合が与えられたとき，関数 \(f(\mathbf{x})\) を予測する．
関数が次の線形モデルで，ノイズεが多変量正規分布の場合 \[\mathbf{x}'_i=[1,x_{i1},x_{i2},\ldots,x_{im}]^\top\] \[f(\mathbf{x})=\mathbf{\theta}^\top \mathbf{x}'\] パラメータθを最尤推定で求めることは，最小2乗法で求めることと等価になり，解は次式になる．
このような実数の関数値を予測する問題は，一般に回帰と呼ばれ，クラス分類ならぶ代表的な教師あり学習．
\(\mathbf{x}\) は説明変数(explanatory variable)，独立変数(independent variable)，共変量(covariate)，regressor，designed variableなどと呼ばれ，\(y\) は被説明変数(explained variable)，従属変数(dependent variable)，応答変数(response variable), 基準変数(criterion variable)，目標変数(target variable)，regressandなどと呼ばれる．
機械学習の分野ではあまり区別はしないが，統計の分野では説明変数が1個の場合のみ回帰分析，2個の要素のベクトルならば重回帰分析として区別する．
-- しましま
