最大エントロピー の変更点

• 追加された行はこの色です。
• 削除された行はこの色です。
• 最大エントロピー へ行く。

* 最大エントロピー (maximum entropy; maxent) [#ve933bbf]

//ここには %項目の説明を書いてください．よろしければ署名しておいてください．

''最大エントロピー原理 (principle of maximum entropy)''では，素性関数で表された制約の下で，エントロピーを最大にする，すなわち，最も均一分布に近い分布を選ぶ．

入力ベクトル \(\mathbf{x}_j\) と出力クラス \(y_j\) を考える．
''素性関数 (feature function)'' は \(\mathbf{x}_j\) と \(y_j\) が特定の条件を満たすとき 1，そうでないとき 0 をとる．
例えば，文書を \(\mathbf{x}_j\) で表すとき，文書に「機械学習」の語が含まれていて，クラス \(y_j\) が「機械学習」のカテゴリなら \(f_i(\mathbf{x},y\) は 1 をとり，そうでなければ 0 をとる．

次の ''最大エントロピーモデル (maximum entropy model)'' は，最大エントロピー原理に基づいて確率分布を推定する
+ 真の分布 \(\Pr[\mathbf{x},y]\) と経験分布  \(\hat{\Pr}[\mathbf{x},y]\) ，それぞれの下での素性関数の期待値が等しいという制約
\[\mathrm{E}_{\Pr}[f_i]=\mathrm{E}_{\hat{\Pr}}[f_i]\]
+ この制約の下で，次のエントロピーを最大にする \(\Pr[y|\mathbf{x}]\) を求める
\[\Pr^\ast=\arg\max_{\Pr} H(\Pr)=-\arg\max_{\Pr}\sum_{\mathbf{x},y}\hat{\Pr}[y]\Pr[y|\mathbf{x}]\log\Pr[y|\mathbf{x}]\]

このとき，素性関数 \(f_i\) の重みを \(\lambda_i\) とすると，確率分布は次の形式になる
\[\Pr[y|\mathbf{x}]=\frac{\exp[\sum_i\lambda_i f_i(\mathbf{x},y)]}{\sum_{y_j}\exp[\sum_i\lambda_i f_i(\mathbf{x},y_j)]}\]

> -- しましま

** 関連項目 [#s2bbcf26]

//英語や同義語のあとに，#brで区切って関連する項目をリストしてください．
-[[maximum entropy]]
-[[maxent]]
#br
-[[素性関数]]
-[[feature function]]
#br
-[[最尤推定]]
-[[エントロピー]]
#br
-[[検索:最大エントロピー]]

** リンク集 [#bfec9e5f]

//関連するWWW資源があればリンクしてください．

-[[Wikipedia:Principle_of_maximum_entropy]]
-[[Wikipedia:Maximum_entropy_probability_distribution]]

*** Freeware [#cc609b4b]

-[[MaxEnt and Exponential Models>http://www.cs.cmu.edu/~aberger/maxent.html]]
-[[The Maximum Entropy Method of Data Analysis>http://cmm.info.nih.gov/maxent/]] @ Peter J. Steinbach
-[[Maximum Entropy Modeling Toolkit for Python and C++>http://homepages.inf.ed.ac.uk/lzhang10/maxent_toolkit.html]]
-[[Toolkit for Advanced Discriminative Modeling (TADM)>http://tadm.sourceforge.net/]]
-[[MEGA Model Optimization Package>http://www.cs.utah.edu/~hal/megam/]]
-[[Yet Another Small MaxEnt Toolkit (YASMET)>http://www.fjoch.com/YASMET.html]]

** 関連文献 [#if3f5ebb]

//この%項目%に関連する書籍や論文を紹介してください．

-[[Book/確率的言語モデル]] 6章
-[[Book/言語と心理の統計 (統計科学のフロンティア10)]] 第II部 3.4節
-[[Book/Foundations of Statistical Natural Language Processing]] 16.2節
-[[Book/Probabilistic Graphical Models]] 20.3.4節