これらのキーワードがハイライトされています:最小2乗法

一般化交差確認 (generalized cross-validation)

最小2乗法で線型モデルあてはめをする場合に,leave-one-out法での汎化誤差を近似する方法.

メタパラメータ \(\mathbf{\theta}\)の下で, 全てのデータを用いて推定した関数を \(\hat{f}(\mathbf{x};\mathbf{\theta})\), \((i\)番目のデータを取り除いて推定した関数を \(\hat{f}_i(\mathbf{x};\mathbf{\theta})\) とする.また \(S\) を次式で定義 \[[\hat{f}(\mathbf{x}_1;\mathbf{\theta}),\ldots,\hat{f}(\mathbf{x}_n;\mathbf{\theta})]^\top=S [y_1,\ldots,y_n]^\top\]

leave-one-out法では次式を最小化する \(\mathbf{\theta}\) を選ぶ \[\frac{1}{n}\sum_{i=1}^n (y_i-\hat{f}_i(\mathbf{x}_i))^2=\frac{1}{n}\sum_{i=1}^n \biggl[\frac{y_i-\hat{f}(\mathbf{x}_i)}{1-S_{ii}}\biggr]^2\]

一般化交差確認では次式で汎化誤差を評価する \[\frac{1}{n}\sum_{i=1}^n \biggl[\frac{y_i-\hat{f}(\mathbf{x}_i)}{1-\mathrm{trace}(S)/n}\biggr]^2\] \(S\) の個々の要素より,\(\mathrm{trace}(S)\) の方が容易に計算できる場合があるため,そのようなときには一般化交差確認は効率的.

-- しましま

関連項目

リンク集

関連文献


トップ   編集 凍結 差分 履歴 添付 複製 名前変更 リロード   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2010-02-11 (木) 16:12:36