指数型分布族 (exponential family)

\[f(x;\mathbf{\theta})=Z(\mathbf{\theta})\exp(\xi_0(x) + \sum_{j=1}^p \theta_j\xi_j(x))\] の形になっている分布.\(\mathbf{\theta}=(\theta_1,\ldots,\theta_p)\) は自然母数(natural parameter),\(Z(\mathbf{\theta})\) は正規化係数.

独立同分布なサンプル \(x_1,\ldots,x_n\) に対する尤度は次式で表される. \[\prod_{i=1}^nf(x_i;\mathbf{\theta})=(Z(\mathbf{\theta}))^n\exp\biggl[\sum_i^n\xi_0(x_i)+\sum_{j=1}^p \theta_j \Bigl(\sum_i^n \xi_j(x_i)\Bigr)\biggr]\] すると\(\mathbf{\theta}\)についての情報は,\(T=\{\sum_i \xi_1(x_i),\ldots,\sum_i \xi_p(x_i)\}\) で表されるのでこの\(T\)を十分統計量(sufficient statistic)という.

正規分布二項分布ガンマ分布など多くの分布がこの形の分布.尤度の計算が容易だったりと便利な性質があり,EMアルゴリズム変分ベイズの適用を考えるならこの族の分布でないと計算が大変.

-- しましま

関連項目

リンク集

関連文献


トップ   編集 凍結 差分 履歴 添付 複製 名前変更 リロード   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2010-02-11 (木) 16:12:47