特徴ベクトル \mathbf{x}_i と目的変数 y_i の対である サンプル (\mathbf{x}_1,y_1),\ldots,(\mathbf{x}_n,y_n) が与えられる.
このとき,任意の特徴ベクトルが与えられたときに,それに対応する目的変数の値を出力する関数 y=f(\mathbf{x}) を選ぶ.関数や曲線へのあてはめ (curve fitting) とも呼ばれる.
非線形関数の族から最小2乗法で選ぶ,ロジスティック回帰,SVMのマージンの部分を変えて回帰分析に適用できるようにしたサポートベクトル回帰,そして決定木と似ているが葉ノードで関数の出力値をとる回帰木を用いる方法などがある.
-- しましま