\(x\) と \(y\) の分布が分かっていて最適な符号化をした場合に,\(y\) が分かったときに \(x\) 平均符号長の減少量. \[I(x;y)=H(x)-H(x|y)=\sum_x\sum_y \Pr(x,y)\log\frac{\Pr(x,y)}{\Pr(x)\Pr(y)}\]
-- しましま