AIC

赤池情報量規準 (Akaike information criterion; AIC) †

パラメータで記述されたモデルのクラスからモデルを選択する基準． いろいろなサンプリングに対して，真の対数尤度と経験対数尤度の差は，自由度 k のχ二乗分布に従う．ただし，k はモデルの自由度，すなわち，独立なパラメータの数． ここで，χ二乗分布の平均が自由度kに等しいので，置き換えてしまうのがAIC．自由度kのモデルのAICは次式で，これを最小にするモデルを選択する： \[\mathrm{AIC}=-2\log[\Pr(\{x\}^N|\theta)]+2k\] 第1項はk次のモデルでの最大尤度，第2項はパラメータを増やすことに対する罰則項として働く．

-- しましま

関連項目 †

• 赤池情報量規準
• Akaike information criterion
   
• モデル選択
• MDL
• BIC
   
• 検索:赤池情報量 AIC

リンク集 †

• A Cartoon Guide to AIC, BIC @ Xiaojin Zhu
   
• Wikipedia:Akaike_information_criterion

関連文献 †

• 基本文献
  H. Akaike, "A New Look at The Statistical Model Identification", IEEE Trans. on Automatic Control, vol.19, no.6, pp.716-723 (1974)
  GoogleScholarAll:A New Look at The Statistical Model Identification
• 日本語古典 坂元，石黒，北川：情報量統計学，共立 ISBN: 4-320-02171-1
  Amazon.co.jpへのリンク：&amazon(4320021711);
• AICの一般化を含めて 小西，北川：情報量規準，朝倉 ISBN: 4-254-12782-0
  Amazon.co.jpへのリンク：&amazon(4254127820);
• Book/データマイニングの基礎 5.3.2節
• Book/パターン認識(Rで学ぶデータサイエンス5) 4.3節