K-NEL/software

イントロダクション†

カーネル多変量解析の中の数値例の図を作るために，カーネル法のソフトウェアとして R 上の kernlab, matlab 上の spider, 多様体あてはめの mani を参考にしています．

ここでは数値例を出力したプログラムやそれぞれのソフトウェアの利用法などを順次紹介していきたいと思います．

sesejun さんブログより
- 線形回帰、カーネル線形回帰をRで実装する

shuyo さんブログより
- カーネル主成分分析をRで実装

↑

kernlab†

kernlab HP http://cran.r-project.org/web/packages/kernlab/index.html

インストール法

RGui のメニューで、パッケージ>CRANミラーサイトの設定　を行う（設定済みなら不要）
パッケージ>パッケージのインストール... で表示される一覧から kernlab を選択して OKを押す
完了
- 注意： linux 版だと環境によってインストールが面倒な場合あり．　現在調査中．

使用法
- 立ち上げた状態では kernlab パッケージは読み込まれていないので、RGui のメニューで、パッケージ>パッケージの読み込みで表示される一覧から kernlab を選択して OK を押す
- library(kernlab) でも OK

パッケージの内容
- パッケージ一覧

トピック
カーネル行列の計算カーネル行列(グラム行列)を計算するのは kernlab を使うのが速いです。 kernlab のヘルプにある方法(RBFカーネルの場合)：

 rbf <- rbfdot(sigma=1)
 k <- kernelMatrix(rbf, x)

なお，rbfdot の引数の sigma は標準偏差ではなく，逆温度（分散の逆数の１／２）なので注意！

テストサンプルなどに関しては &mimetex(k(x_i, x^{test}_j)); というカーネル行列を作る必要がありますが、それも

 k <- kernelMatrix(rbf, x, xtest)

でOK.

kernlab が使えない場合、自分で作る必要がありますが、最近は R もだいぶ速いので以下のような関数で比較的速く計算できます。なお、簡単のため x は 1 次元実数値データで、固定した RBF カーネルを仮定します。

 gmat <- function(x, y) {
   nx <- length(x) # 行列なら nx <- nrow(as.matrix(x)) などと変更
   ny <- length(y)
   m <- matrix(0, nrow=nx, ncol=ny)
   for (i in 1:nx) {
     m[i, ] <- exp(-(x[i]-y)^2) # ここでカーネル関数を計算
   }
   return(m)
 }

このほか dist 関数を使う方法も考えられるのですが少し試したところループを使った上のプログラムの方が若干速いようです。

実際には、すごく大規模な場合などスパース行列にしたり、グラム行列を全部保持しないやり方（枝刈りや低ランク因子近似など）を工夫することが多いです。

↑