哲学者Occamによる原理で,現象を同程度に説明できる仮説が複数あるなら,最も単純な仮説を選ぶべきという考え方. いわば,不要な仮説をそぎ落とす「剃刀」という比喩.
機械学習の分野では,同程度にデータを説明できるなら,より単純なモデル,すなわち,パラメータ数の少ないものや,より平滑なモデルを選択すべきという文脈で用いられる. 情報量規準などでは,パラメータ数の増加に対する罰則項として実現される.
-- しましま