特徴ベクトル \(\mathbf{x}_i\) と目的変数 \(y_i\) の対である サンプル \((\mathbf{x}_1,y_1),\ldots,(\mathbf{x}_n,y_n)\) が与えられる.
このとき,任意の特徴ベクトルが与えられたときに,それに対応する目的変数の値を出力する関数 \(y=f(\mathbf{x})\) を選ぶ.関数や曲線へのあてはめ (curve fitting) とも呼ばれる.
非線形関数の族から最小2乗法で選ぶ,ロジスティック回帰,SVMのマージンの部分を変えて回帰分析に適用できるようにしたサポートベクトル回帰,そして決定木と似ているが葉ノードで関数の出力値をとる回帰木を用いる方法などがある.
-- しましま