情報ボトルネックの変更点

追加された行はこの色です。
削除された行はこの色です。
情報ボトルネックへ行く。

* 情報ボトルネック (information bottleneck) [#p0637ab3]

//ここには %項目の説明を書いてください．よろしければ署名しておいてください．

情報ボトルネックはノンパラメトリックなソフトクラスタリング手法の一つ．

クラスタリングされる離散確率変数 \(X\) と，\(X\) に関連した情報 \(Y\) を考える．例えば \(X\) が単語集合で，\(Y\) は文書クラスなど．

ここで，\(X\) 中の要素を，それらと関連情報 \(Y\) の類似するように分割する．例えば，文書クラスを関連情報としたとき，同じクラスに現れやすい単語クラスタを獲得できたりする．

形式的には次のような問題：
\(X\) を \(\tilde{X}\) に分割する．
この分割は，確率的写像 \(\Pr[\tilde{X}|X]\) で表し，次式を最小化するように定める．
\[\mathcal{L}(\Pr[\tilde{X}|X])=\mathrm{I}(X;\tilde{X})-\beta\mathrm{I}(\tilde{X};Y)\]

> -- しましま

**関連項目 [#l2f4ea0f]

//英語や同義語のあとに，#brで区切って関連する項目をリストしてください．

-[[information bottleneck]]
#br
-[[情報理論]]
-[[クラスタリング]]
-[[半教師ありクラスタリング]]
#br
-[[検索:情報ボトルネック]]

**リンク集 [#gbb3dfd4]

//関連するWWW資源があればリンクしてください．

-[[Selected Publications on the Information Bottleneck Method>http://www.cs.huji.ac.il/labs/learning/Papers/IBM_list.html]] @Naftali Tishby：下記の文献はここから入手できる．
#br
-[[Wikipedia:Information_bottleneck_method]]

**関連文献 [#d983ca5c]

//この%項目%に関連する書籍や論文を紹介してください．

-基本文献~
N.Tishby, F.C.Pereira and W.Bialek "The Information Bottleneck Method" Proc. of The 37th Annual Allerton Conference on Communications, Control and Computing (1999)~
[[GoogleScholarAll:The Information Bottleneck Method]]
-基本文献の確定的焼き鈍しを使ったが，欲張りアルゴリズムにより階層的クラスタを得る方法~
N.Slonim and N.Tishby "Agglomerative Information Bottleneck" NIPS 12, pp.617-623 (2000)~
[[GoogleScholarAll:Agglomerative Information Bottleneck]]

情報ボトルネック の変更点