#author("2021-10-28T16:28:12+00:00","default:ibis","ibis")
* 回帰分析 (regression analysis) [#n2c158b0]

//ここには %項目の説明を書いてください.よろしければ署名しておいてください.

\(m\) 個の属性値のベクトル \(x_i=(x_{i1},x_{i2},\ldots,x_{im})\) について 関数 \(f(\mathbf{x_i})\) にノイズ ε が加えられた値 \(y_i\) が事例.
この事例が n 個集まった集合が与えられたとき,関数 \(f(\mathbf{x})\) を予測する.


関数が次の線形モデルで,ノイズεが多変量正規分布の場合
\[\mathbf{x}'_i=[1,x_{i1},x_{i2},\ldots,x_{im}]^\top\]
\[f(\mathbf{x})=\mathbf{\theta}^\top \mathbf{x}'\]
パラメータθを最尤推定で求めることは,最小2乗法で求めることと等価になり,解は次式になる.
- \(\mathbf{y}=[y_1,y_2,\ldots,y_n]^\top\)
- \(X=[x'_1,x'_2,\ldots,x'_n]^\top\)
- \(\mathbf{\hat{\theta}}=[X^\top X]^{-1}X^\top \mathbf{y}\) --- ''正規方程式 (nomal equation)''

このような実数の関数値を予測する問題は,一般に回帰と呼ばれ,クラス分類ならぶ代表的な教師あり学習.

\(\mathbf{x}\) は説明変数(explanatory variable),独立変数(independent variable),共変量(covariate),regressor,designed variableなどと呼ばれ,\(y\) は被説明変数(explained variable),従属変数(dependent variable),応答変数(response variable), 基準変数(criterion variable),目標変数(target variable),regressandなどと呼ばれる.

機械学習の分野ではあまり区別はしないが,[[統計]]の分野では説明変数が1個の場合のみ回帰分析,2個の要素のベクトルならば重回帰分析として区別する.

> -- しましま

**関連項目 [#rb942c4b]

//英語や同義語のあとに,#brで区切って関連する項目をリストしてください.

-[[regression analysis]]
-[[回帰]]
-[[regression]]
-[[線形回帰]]
-[[linear regression]]
#br
-[[正規方程式]]
-[[normal equation]]
-[[重回帰分析]]
-[[multiple regression analysis]]
-[[説明変数]]
-[[explanatory variable]]
-[[独立変数]]
-[[independent variable]]
-[[被説明変数]]
-[[explained variable]]
-[[従属変数]]
-[[dependent variable]]
#br
-[[線形モデル]]
-[[非線形回帰]]
-[[ロジスティック回帰]]
-[[リッジ回帰]]
-[[多変量解析]]
-[[回帰木]]
#br
-[[検索:回帰 regression]]

**リンク集 [#y954f4f2]

//関連するWWW資源があればリンクしてください.

-[[回帰分析>Aoki:lecture/Regression/index.html]]: 統計学自習ノート@青木繁伸
#br
-[[Wikipedia:Regression_analysis]]
-[[MathWorld:LeastSquaresFitting]]
-[[RjpWiki:Rの統計解析関数Tips]]

*** Freeware [#a2c2fb3a]

-[[mloss:regression]]

**関連文献 [#d2f3cf8f]

//この%項目%に関連する書籍や論文を紹介してください.

-[[Book/計算統計I(統計科学のフロンティア11)]] I章 3節
-[[Book/The Elements of Statistical Learning]] 3章
-[[Book/Pattern Recognition and Machine Learning]] 3.1章

トップ   編集 差分 履歴 添付 複製 名前変更 リロード   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS