* エントロピー (entropy) [#f4cb2598]

\(x\) の分布が分かっていて最適な符号化をした場合の \(x\) の平均符号長.
\[H(x)=-\sum \Pr(x)\log\Pr(x)\]

詳細は情報量の項を参照.

> -- しましま

**関連項目 [#c0d85d51]

-[[entropy]]
-[[Shannonエントロピー]]
-[[Shannon entropy]]
-[[Boltzmann-Shannonエントロピー]]
-[[Boltzmann-Shannon entropy]]
#br
-情報量
-[[ダイバージェンス]]
-[[ユニバーサル符号]]
-[[同時エントロピー]]
-[[条件付エントロピー]]
-[[相互情報量]]
-[[最大エントロピー]]
-各種のエントロピー
--[[Renyiエントロピー]]
--[[VCエントロピー]]
#br
-[[検索:エントロピー]]

**リンク集 [#a5ccbb16]

//関連するWWW資源があればリンクしてください.
-[[Scholarpedia:Entropy]]
-[[Wikipedia:Information_entropy]]
-[[PlanetMath:ShannonsTheoremEntropy]]
-[[MathWorld:Entropy]]

**関連文献 [#neae1596]

//この%項目%に関連する書籍や論文を紹介してください.

-[[Book/Pattern Recognition and Machine Learning]] 1.6章

トップ   編集 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS