\(x\) と \(y\) の分布が分かって最適な符号化をした場合に,x と y の両方を符号化したときの平均符号長. \[H(x,y)=-\sum_x \sum_y \Pr(x,y)\log\Pr(x,y)\] 三つ以上の変数についても同様に定義される.結合エントロピーともいう.
-- しましま