最大エントロピー
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
* 最大エントロピー (maximum entropy; maxent) [#ve933bbf]
//ここには %項目の説明を書いてください.よろしければ署名...
''最大エントロピー原理 (principle of maximum entropy)''で...
入力ベクトル \(\mathbf{x}_j\) と出力クラス \(y_j\) を考え...
''素性関数 (feature function)'' は \(\mathbf{x}_j\) と \(...
例えば,文書を \(\mathbf{x}_j\) で表すとき,文書に「機械...
次の ''最大エントロピーモデル (maximum entropy model)'' ...
+ 真の分布 \(\Pr[\mathbf{x},y]\) と経験分布 \(\hat{\Pr}[...
\[\mathrm{E}_{\Pr}[f_i]=\mathrm{E}_{\hat{\Pr}}[f_i]\]
+ この制約の下で,次のエントロピーを最大にする \(\Pr[y|\m...
\[\Pr^\ast=\arg\max_{\Pr} H(\Pr)=-\arg\max_{\Pr}\sum_{\ma...
このとき,素性関数 \(f_i\) の重みを \(\lambda_i\) とする...
\[\Pr[y|\mathbf{x}]=\frac{\exp[\sum_i\lambda_i f_i(\mathb...
> -- しましま
** 関連項目 [#s2bbcf26]
//英語や同義語のあとに,#brで区切って関連する項目をリスト...
-[[maximum entropy]]
-[[maxent]]
#br
-[[素性関数]]
-[[feature function]]
#br
-[[最尤推定]]
-[[エントロピー]]
#br
-[[検索:最大エントロピー]]
** リンク集 [#bfec9e5f]
//関連するWWW資源があればリンクしてください.
-[[Wikipedia:Principle_of_maximum_entropy]]
-[[Wikipedia:Maximum_entropy_probability_distribution]]
*** Freeware [#cc609b4b]
-[[MaxEnt and Exponential Models>http://www.cs.cmu.edu/~a...
-[[The Maximum Entropy Method of Data Analysis>http://cmm...
-[[Maximum Entropy Modeling Toolkit for Python and C++>ht...
-[[Toolkit for Advanced Discriminative Modeling (TADM)>ht...
-[[MEGA Model Optimization Package>http://www.cs.utah.edu...
-[[Yet Another Small MaxEnt Toolkit (YASMET)>http://www.f...
** 関連文献 [#if3f5ebb]
//この%項目%に関連する書籍や論文を紹介してください.
-[[Book/確率的言語モデル]] 6章
-[[Book/言語と心理の統計 (統計科学のフロンティア10)]] 第I...
-[[Book/Foundations of Statistical Natural Language Proce...
-[[Book/Probabilistic Graphical Models]] 20.3.4節
終了行:
* 最大エントロピー (maximum entropy; maxent) [#ve933bbf]
//ここには %項目の説明を書いてください.よろしければ署名...
''最大エントロピー原理 (principle of maximum entropy)''で...
入力ベクトル \(\mathbf{x}_j\) と出力クラス \(y_j\) を考え...
''素性関数 (feature function)'' は \(\mathbf{x}_j\) と \(...
例えば,文書を \(\mathbf{x}_j\) で表すとき,文書に「機械...
次の ''最大エントロピーモデル (maximum entropy model)'' ...
+ 真の分布 \(\Pr[\mathbf{x},y]\) と経験分布 \(\hat{\Pr}[...
\[\mathrm{E}_{\Pr}[f_i]=\mathrm{E}_{\hat{\Pr}}[f_i]\]
+ この制約の下で,次のエントロピーを最大にする \(\Pr[y|\m...
\[\Pr^\ast=\arg\max_{\Pr} H(\Pr)=-\arg\max_{\Pr}\sum_{\ma...
このとき,素性関数 \(f_i\) の重みを \(\lambda_i\) とする...
\[\Pr[y|\mathbf{x}]=\frac{\exp[\sum_i\lambda_i f_i(\mathb...
> -- しましま
** 関連項目 [#s2bbcf26]
//英語や同義語のあとに,#brで区切って関連する項目をリスト...
-[[maximum entropy]]
-[[maxent]]
#br
-[[素性関数]]
-[[feature function]]
#br
-[[最尤推定]]
-[[エントロピー]]
#br
-[[検索:最大エントロピー]]
** リンク集 [#bfec9e5f]
//関連するWWW資源があればリンクしてください.
-[[Wikipedia:Principle_of_maximum_entropy]]
-[[Wikipedia:Maximum_entropy_probability_distribution]]
*** Freeware [#cc609b4b]
-[[MaxEnt and Exponential Models>http://www.cs.cmu.edu/~a...
-[[The Maximum Entropy Method of Data Analysis>http://cmm...
-[[Maximum Entropy Modeling Toolkit for Python and C++>ht...
-[[Toolkit for Advanced Discriminative Modeling (TADM)>ht...
-[[MEGA Model Optimization Package>http://www.cs.utah.edu...
-[[Yet Another Small MaxEnt Toolkit (YASMET)>http://www.f...
** 関連文献 [#if3f5ebb]
//この%項目%に関連する書籍や論文を紹介してください.
-[[Book/確率的言語モデル]] 6章
-[[Book/言語と心理の統計 (統計科学のフロンティア10)]] 第I...
-[[Book/Foundations of Statistical Natural Language Proce...
-[[Book/Probabilistic Graphical Models]] 20.3.4節
ページ名: