arcing†
ブースティングと似ているが,サンプリング確率の更新則が異なる.
ブースティングでは,前段階の分類器で誤分類された事例のサンプリング確率を \(\beta_t\) 倍する.
一方,arcing-x\(\alpha\)では,今までに作った分類器分類器全部を考慮して,次回のサンプリング分布を変化させる.
アルゴリズム arcing-x\(\alpha\)
- \(D_t(\mathbf{x}_i)\) を均一に初期化.
- 以下の手続きを \(t=1,2,\ldots,T\) について反復
- 現在の誤分類率分布 \(D_t(\mathbf{x}_i)\) の重み付けを用いて,弱学習器に分類器 \(C_t(x)\) を生成させる.
- データ集合 \(\{\mathbf{x}_i\}\) をこの分類器 \(C_t(x)\) で分類.
事例 \(\mathbf{x}_i\in\{\mathbf{x}_i\}\) を誤分類した,分類器 \(C_1,\ldots,C_k\) の数を \(n(\mathbf{x}_i)\) とする.
- 誤分類分布を更新
\[D_{t+1}(\mathbf{x}_i)=(1+n(\mathbf{x}_i)^\alpha)/Z\]
ただし,\(Z\) は正規化定数.
- 最終分類器は \(C_1,\ldots,C_T\) の重みなし投票で行う.
ブースティングと同様に,弱分類器は事例を重み付けして学習できる必要がある.
経験的には \(\alpha=4\) を用いており,そのため arcing-x4 と呼ばれる.
過去の分類器全ての誤分類率を考慮することで,ブースティングより安定的にバリアンスを減少させることができると主張.
-- しましま
関連項目†
リンク集†
関連文献†