#freeze
* [[パターン認識と機械学習 - ベイズ理論による統計的予測>PRML]]：概要 [#b3be07a8]
本書は，[[Christopher M. Bishop>http://research.microsoft.com/~cmbishop/]] 著「[[Pattern Recognition and Machine Learning>http://research.microsoft.com/~cmbishop/PRML/]]」の日本語版です．
#contents
* 特長 [#w5542d75]
** ベイズ理論に基づく統一された説明 [#ybcd0f0b]
ベイズ理論に基づく統計的予測技術は，計算アルゴリズムの開発と計算機の性能向上によって，急速に進展しました．本書は，このベイズ理論の観点で統一的に整理された視点で，各種の機械学習・パターン認識の理論や手法を解説しています．
** 基本から発展までバランスとれた構成 [#q4ba75c2]
本書は，確率入門・決定理論・[[回帰問題>回帰分析]]・[[識別問題>識別]]のような基本的で平易な話題から始まっています．
これらの基本をふまえた上で，90年代に登場した[[サポートベクトルマシン>SVM]]やブースティングといった手法，機械学習アルゴリズムの適用範囲を広げたカーネルトリックやグラフィカルモデル，およびベイズ理論の実用化にあたって不可欠だった[[MCMC]]や変分ベイズといった高度な話題までを学ぶことができます．
** カラーの図による直観的な説明 [#k7b3ce94]
#ref(Figure3-4.gif,right,around,nolink);
機械学習・パターン認識の本は数式による説明だけになりがちです．本書はこうした形式的な説明に加えて，図を用いた直観的な説明も加えています．例えば，左の図3.4をみると，円で表された分布が，影付きの部分(解の存在範囲)と接触するとき，右側の方が「角」で接触しやすいことは視覚的に分かります．このことから，''w'' の多くの要素が 0 になりやすいことが直観的に理解できるでしょう．こうしたイメージを伴った理解は，機械学習手法を応用問題に適用するときや，新たなアイデアを創出するときに役立つことでしょう．さらに，多くの図をカラーで収録しましたので，とても見やすくなっています．
#clear
** 豊富な演習問題 [#db73b7ba]
本書は演習問題も豊富で，400問以上収録されています．これらの問題は自身の理解度を確認するのに役立つでしょう．
#clear
* 各章の内容 [#pad1cee7]
** 上巻 [#a030bb72]
*** 第1章：序 論 [#c9b57b3a]
機械学習の大きな枠組みと，確率と情報理論の基本について学びます．
まず，パターン認識・機械学習の基本的な枠組みである教師あり学習や教師なし学習などを紹介します．
[[ベイズの定理]]，[[期待値]]，[[分散]]などの確率の基礎を学んだあと，最尤推定などの基本的な推定手法に加えて，交差確認や次元の呪いといった重要な注意事項について述べます．
損失関数を最小にするという決定理論に続き，エントロピーや[[カルバック-ライブラーダイバージェンス>Kullback-Leiblerダイバージェンス]]などの情報理論の基礎について述べます．
*** 第2章：確率分布 [#he92495c]
二項分布や[[ガウス分布>正規分布]]などの各種の確率分布について学びます．
これらの分布について，[[ベイズ推定]]をしたときの事前分布や事後分布の具体的な形を導きます．
また，[[逐次推定>逐次学習]]，指数型分布族，共役事前分布，無情報事前分布などの確率分布に関する事項も合わせて述べます．
最後に，カーネル密度推定や[[最近傍法>k最近傍法]]などのノンパラメトリック手法を紹介します．
*** 第3章：[[線形回帰モデル>線形回帰]] [#sb4b4064]
教師あり学習の双璧の一つ[[回帰問題>回帰分析]]について学びます．
基本的な線形回帰から始め，その[[逐次推定>逐次学習]]や，正則化を導入したリッジ回帰，バイアス-バリアンスなどの発展的な内容を取り上げます．
さらに，こうした最尤推定による方法に加えて，[[ベイズ推定]]による方法に移り，ベイズの観点からのモデル選択と，これらを行うためのエビデンス近似を述べます．
*** 第4章：[[線形識別モデル>識別]] [#ed4d0b17]
もう一つの重要な教師あり学習である[[識別問題>識別]]について学びます．
基本である線形の[[識別手法>識別]]である[[フィッシャーの判別分析>Fisher判別分析]]やパーセプトロンをまず述べます．
その後，生成モデルや識別モデルの考えと，具体的な手法を紹介します．
この[[識別問題>識別]]の場合でも，[[ベイズ推定]]の場合を紹介します．
*** 第5章：ニューラルネットワーク [#z1abbc80]
代表的な機械学習の手法であるニューラルネットについて学びます．
ニューラルネット自体の紹介に続いて，[[誤差逆伝播法>バックプロパゲーション]]による学習について述べます．
[[勾配降下法>最急勾配法]]による最適化と，そのために必要な[[ヘッセ行列>Hesse行列]]の近似を紹介します．
このニューラルネットについても，正則化や[[ベイズ推定]]の拡張をします．
*** 付録 [#z130bbe3]
[[データ集合>DataSet]] ([[データファイル@原著ホームページ>http://research.microsoft.com/~cmbishop/PRML/webdatasets/datasets.htm]])，確率分布の一覧，[[行列]]の性質，変分法，[[ラグランジュ乗数>Lagrangeの未定乗数法]]
** 下巻 [#d37933f9]
*** 第6章：カーネル法 [#g145a08e]
カーネル関数を用いた，非線形なモデルについて学びます．
カーネル関数を適用するために必要な双対表現について述べてから，各種のカーネル関数を紹介します．その後，確率過程の一つである[[ガウス過程>Gauss過程]]とカーネルの関連を示します．
*** 第7章：疎な解を持つカーネルマシン [#i5cc7306]
[[サポートベクトルマシン(SVM)>SVM]]について学びます．
まず，マージン最大化の考えに基づいて[[SVM]]を導きます．その後，[[SVM]]のいくつかの問題点に対処した関連ベクトルマシンを紹介します．
*** 第8章：グラフィカルモデル [#rd138821]
グラフィカルモデル，特に[[ベイジアンネットワーク>ベイジアンネット]]と[[マルコフ確率場>Markov確率場]]について学びます．
[[ベイジアンネットワーク>ベイジアンネット]]や[[マルコフ確率場>Markov確率場]]に代表されるグラフィカルモデルについて述べます．このモデルによる確率のモデル化と，その理解に必要な条件付き独立の概念を説明し，最後に，このモデルを用いた推論アルゴリズムを紹介します．
*** 第9章：[[混合モデル>混合分布]]とEM [#yc11cc83]
[[混合モデル>混合分布]]とEMアルゴリズムについて学びます．
クラスタリング手法の一つであるk-means法についてふれたのち，[[混合ガウス分布>混合分布]]をEMアルゴリズムによって解く方法を示します．その後，この[[混合ガウス分布>混合分布]]とk-means法の関連など，EMアルゴリズムについて掘り下げます．
*** 第10章：近似推論法 [#racc7e12]
潜在変数間に複雑な関係がある場合の近似手法である[[変分ベイズ法>変分ベイズ]]などについて学びます．
確率の確定的な近似を行う[[変分ベイズ法>変分ベイズ]]とその具体的な計算例を示し，線形回帰やロジスティック回帰への適用について学びます．その後，もう一つの近似手法であるEP法を紹介します．
*** 第11章：サンプリング法 [#c9fde9f4]
[[ギブスサンプリング>Gibbsサンプラー]]などの，確率的な近似手法について学びます．
最初に，与えられた確率分布に従ってサンプリングする基本手法を紹介します．その後，[[ギブスサンプリング>Gibbsサンプラー]]やMetropolis-Hastings法などの[[マルコフ連鎖モンテカルロ法(MCMC)>MCMC]]による確率的な近似手法について学びます．
*** 第12章：連続潜在変数 [#e23badae]
主成分分析の確率的な定式化について学びます．
[[次元削減手法>次元削減]]の代表である主成分分析を分散や誤差の観点から説明したのち，確率的主成分分析について学びます．因子分析やカーネル主成分分析など，その他の[[次元削減手法>次元削減]]についても学びます．
*** 第13章：系列データ [#m2e292c3]
[[隠れマルコフモデル>隠れMarkovモデル]]と線形動的システムによる系列データの扱いについて学びます．
[[隠れマルコフモデル>隠れMarkovモデル]]の推論手法である[[Viterbiアルゴリズム]]と，パラメータを推定する[[フォワード-バックワードアルゴリズム>Baum-Welchアルゴリズム]]について学びます．その後で，系列データを扱うための線形動的システムと粒子フィルタについて述べます．
*** 第14章：モデルの結合 [#i1715a5c]
ブースティングなどのアンサンブル学習について学びます．
[[コミッティ>バギング]]やブースティングなど代表的なアンサンブル学習をまず紹介します．その後，決定木と，混合分布の拡張ともいえる混合エキスパートモデルについて学びます．
![[PukiWiki]](image/ibisforest.png "[PukiWiki]")
