カーネルの変更点

追加された行はこの色です。
削除された行はこの色です。
カーネルへ行く。
*カーネル (kernel) [#kf0d54b5]

-一応書いておいたほうがいいと思うが，OS のカーネルのことではない．
-数学的には可測空間 \(\mathbb{M}\) に対し，\(\mathbb{M}\times\mathbb{M}\to \mathbb{R}\) または \(\mathbb{C}\) への写像をカーネルという．
-統計で普通カーネルといえば，カーネル密度推定の窓関数を指す． これは一般に正定値である必要はない．
-SVM などカーネル法の文脈では[[正定値カーネル]]を指す． 正定値カーネルは[[再生核ヒルベルト空間]]を定める． これとほぼ等価だが，[[Mercerの定理]]により下のようなカーネルトリックとしてとらえることもできる．

> -- あかほ

入力空間 \(\mathbf{x}\) を何か非線形変換 \(\phi\) を高次元の特徴空間 \(\phi(\mathbf{x})\) へ写す．
この特徴空間中での内積がカーネル:
\[k(\mathbf{x}_i,\mathbf{x}_j)=\phi(\mathbf{x}_i)\cdot\phi(\mathbf{x}_j)\]
変換 \(\phi\) が明示的に分からなくてもカーネルだけ計算できるような，特徴空間中の量がいろいろある．例えば，特徴空間中の分散は
\[\sum_i^n (\phi(\mathbf{x}_i)-\bar{\phi(\mathbf{x})})^2=\sum_i^n \Bigl[k(\mathbf{x}_i,\mathbf{x}_i)-\frac{2}{n}\sum_j^n k(\mathbf{x}_i,\mathbf{x}_j)+\frac{1}{n^2}\sum_{j,k}^n k(\mathbf{x}_j,\mathbf{x}_k)\Bigr]\]
と書ける．このように，カーネルを用いて，特徴空間中での解析を行うことを''カーネルトリック''という．
> -- しましま

**関連項目 [#jb75b975]
-[[kernel]]
-[[核関数]]
#br
-[[カーネルトリック]]
-[[kernel trick]]
#br
-[[SVM]]
-[[カーネル密度推定]]
-[[再生核Hilbert空間]]
-[[正定値カーネル]]
-[[正則化]]
-[[Gauss過程]]
-[[Gram行列]]
-[[カーネルk-means法]]
-カーネル一覧
--[[線形カーネル]]
--[[正規化線形カーネル]]
--[[Gaussカーネル]]
--[[多項式カーネル]]
--[[シグモイドカーネル]]
--[[周辺化カーネル]]
--[[Fisherカーネル]]
--[[TOPカーネル]]
--[[拡散カーネル]]
--[[畳み込みカーネル]]
--[[文字列カーネル]]
--[[木カーネル]]
#br
-[[検索:カーネル kernel]]

**リンク集 [#c18ba0b4]

-[[ICML2011 Tutorial: Learning Kernels>http://www.cs.nyu.edu/~mohri/icml2011-tutorial/]]@ Corinna Cortes, Mehryar Mohri, Afshin Rostamizadeh
-[[カーネル法 -- 正定値カーネルを用いたデータ解析 -->http://www.ism.ac.jp/~fukumizu/ISM_lecture_2004/]] @ 福水健次：簡潔・明快にまとめられた資料
-[[Kernel Machines>http://www.kernel-machines.org/]] チュートリアルやソフトウェアなどがいろいろリンクされている．
-[[ICML Tutorial: Kernels for Structured Data>http://www.cs.bris.ac.uk/~gaertner/icml/]] @ Thomas Gärtner
#br
-[[Wikipedia:Kernel (mathematics)]]

*** Freeware [#z6affc78]

-[[mloss:kernel]], [[mloss:kernel-methods]], [[mloss:kernelmachine]], [[mloss:kernels]]
-[[ChemCPP>http://chemcpp.sourceforge.net/]]：グラフを扱うカーネルのC++ライブラリ
-[[kernlab>http://cran.r-project.org/src/contrib/Descriptions/kernlab.html]]: カーネル計算ライブラリ ([[R]])
-[[kernel machine library (kml)>http://www.terborg.net/research/kml/]]: カーネルを用いた教師あり学習 (C++)
-[[OpenKernel Library>http://www.openkernel.org/]]：[[LIBSVM>http://www.csie.ntu.edu.tw/~cjlin/libsvm/]]と組み合わせて使える

**関連文献 [#a0d2aa27]

-[[赤穂昭太郎 "本 カーネル多変量解析—非線形データ解析の新しい展開" 確率と情報の科学シリーズ, 岩波書店 (2008)>K-NEL]]~
Amazon.co.jpへのリンク：&amazon(4000069713);
-福水 健次「カーネル法入門 ー正定値カーネルによるデータ解析ー」シリーズ多変量データの統計科学 8, 朝倉書店 (2010)~
&amazon(4254128088);
-[[鹿島久嗣「カーネル法」>http://www.geocities.jp/kashi_pong/publication/KernelMethods.pdf]]
-構造化データのためのカーネルのサーベイ [[KDD Explorations, vol.5, issue 1>http://www.acm.org/sigs/sigkdd/explorations/issue.php?volume=5&issue=1&year=2003&month=07]]
(タイトルがなぜか"Kernel-based Learning in Multi-Relational Data Mining"になっている)~
T. Gärtner, "A Survey of Kernels for Structured Data", SIGKDD Explorations, vol.5, issue 1, pp.49-58 (2003)~
[[GoogleScholarAll:A Survey of Kernels for Structured Data]]
-いろいろなカーネルの紹介~
津田宏治 "カーネル設計の技術" IBIS2002, pp.1-10 (2002)~
松本裕治 "自然言語処理におけるカーネル法の利用" IBIS2002, pp.19-24 (2002)~
鹿島 久嗣 "カーネル法による構造データマイニング" 情報処理, vol.46, no.1, pp.27-33 (2005)
-カーネルトリック~
M.A.Aizerman, E.M.Braverman, and L.I.Rozonoer, "Theoretical foundations of the potential function method in pattern recognition learning", Automation and Remote Control, vol.25, pp.821-837 (1964)~
[[GoogleScholarAll:Theoretical foundations of the potential function method in pattern recognition learning]]
-[[カーネル多変量解析(確率と情報の科学)>K-NEL]]
-[[Book/Pattern Recognition and Machine Learning]] 6章
-[[Book/データマイニングの基礎]] 3.3.2節
-[[Book/サポートベクターマシン(知の科学)]] 2章
カーネル の変更点
