与えられたデータ数に対して,最も複雑な,すなわちVC次元の大きなモデルを選ぶための手法. VC次元が,\(h_1\lt h_2\lt\cdots\lt h_k\lt\cdots\) のように順次大きくなるようなモデルの系列を考える.そして,次の経験損失の確率的上限(経験損失最小化を参照)を最小にするようなモデルを,系列の中から選択する. \[R(\hat{\theta})\le R_{\mathrm{emp}}(\hat{\theta})+\frac{\epsilon}{2}\Bigl(1+\sqrt{\frac{4R_{\mathrm{emp}}(\hat{\theta})}{\epsilon}}\Bigr)\]
-- しましま