指数型分布族 の変更点

• 追加された行はこの色です。
• 削除された行はこの色です。
• 指数型分布族 へ行く。

* 指数型分布族 (exponential family) [#k7e52b3b]

//ここには %項目の説明を書いてください．よろしければ署名しておいてください．

\[f(x;\mathbf{\theta})=Z(\mathbf{\theta})\exp(\xi_0(x) + \sum_{j=1}^p \theta_j\xi_j(x))\]
の形になっている分布．\(\mathbf{\theta}=(\theta_1,\ldots,\theta_p)\) は自然母数(natural parameter)，\(Z(\mathbf{\theta})\) は正規化係数．

独立同分布なサンプル \(x_1,\ldots,x_n\) に対する尤度は次式で表される．
\[\prod_{i=1}^nf(x_i;\mathbf{\theta})=(Z(\mathbf{\theta}))^n\exp\biggl[\sum_i^n\xi_0(x_i)+\sum_{j=1}^p \theta_j \Bigl(\sum_i^n \xi_j(x_i)\Bigr)\biggr]\]
すると\(\mathbf{\theta}\)についての情報は，\(T=\{\sum_i \xi_1(x_i),\ldots,\sum_i \xi_p(x_i)\}\) で表されるのでこの\(T\)を十分統計量(sufficient statistic)という．

正規分布，二項分布，ガンマ分布など多くの分布がこの形の分布．尤度の計算が容易だったりと便利な性質があり，EMアルゴリズムや変分ベイズの適用を考えるならこの族の分布でないと計算が大変．

> -- しましま

**関連項目 [#md129bb2]

//英語や同義語のあとに，#brで区切って関連する項目をリストしてください．
-[[exponential family]]
#br
-[[正規分布]]
-[[二項分布]]
-[[ガンマ分布]]
-[[曲指数型分布族]]
-[[一般化線形モデル]]
#br
-[[検索:指数分布族 指数型分布族]]

**リンク集 [#fd601552]

//関連するWWW資源があればリンクしてください．
-[[Wikipedia:Exponential_family]]
-[[PlanetMath:ExponentialFamily]]

**関連文献 [#j1cd4ce9]

//この%項目%に関連する書籍や論文を紹介してください．
-[[Book/Pattern Recognition and Machine Learning]] 2.4節