エントロピー

エントロピー (entropy)†

\(x\) の分布が分かっていて最適な符号化をした場合の \(x\) の平均符号長． \[H(x)=-\sum \Pr(x)\log\Pr(x)\]

詳細は情報量の項を参照．

-- しましま

関連項目†

• entropy
• Shannonエントロピー
• Shannon entropy
• Boltzmann-Shannonエントロピー
• Boltzmann-Shannon entropy
   
• 情報量
• ダイバージェンス
• ユニバーサル符号
• 同時エントロピー
• 条件付エントロピー
• 相互情報量
• 最大エントロピー
• 各種のエントロピー
  • Renyiエントロピー
  • VCエントロピー
     
• 検索:エントロピー

リンク集†

• Scholarpedia:Entropy
• Wikipedia:Information_entropy
• PlanetMath:ShannonsTheoremEntropy
• MathWorld:Entropy

関連文献†

• Book/Pattern Recognition and Machine Learning 1.6章

朱鷺の杜Wiki

• 機械学習
• 学会・研究会
• 書籍・資料
• 論文英語
• フリーウェア
  • python
  • numpy
• テストデータ
   
• 日本語版PRML本
• カーネル多変量解析
   
• 人気ページ
• 今日の人気ページ
• ページ一覧

参加しよう

• Wiki超入門
• 練習用ページ
• 数式の表示
• こびとさん
• 編集用ID: ibis
• パスワード: 「VC次元」のVのフルスペルで最初だけ大文字
   

  最新の30件

  2023-12-04

  • python

  2023-11-22

  • PRML/errata2

  2023-11-21

  • PRML/errata1

  2023-11-01

  • しましま/IBIS2023

  2023-10-29

  • IBIS

  2023-06-16

  • 人工知能学会全国大会

  2023-06-11

  • しましま/人工知能学会全国大会2023

  2023-03-28

  • Book

  2022-11-27

  • 朱鷺の社

  2022-11-24

  • しましま/IBIS2022

  2022-07-08

  • AutoTicketLinkName

  2022-06-17

  • しましま/人工知能学会全国大会2022

  2021-11-13

  • しましま/IBIS2021

  2021-10-29

  • 回帰分析

  2021-06-11

  • しましま/人工知能学会全国大会2021

  2021-03-07

  • MenuBar

  2021-02-15

  • python/numpy

  2020-12-22

  • 特異値分解

  2020-12-18

  • complement naive Bayes

  2020-11-27

  • しましま/IBIS2020

  2020-11-05

  • K-NEL

  2020-10-17

  • Paper/bias-on-the-web

  2020-07-16

  • F値

  2020-06-30

  • DataSet

  2020-06-24

  • バイアス-バリアンス

  2020-06-10

  • Paper

  2020-03-15

  • PRML
  • PRML/link

  2020-01-13

  • Wiki超入門

  2019-11-22

  • しましま/IBIS2019

カウンタ

• 累計: 16734
• 今日: 1
• 昨日: 2