しましま/IBISML001
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
* 第1回電子情報通信学会 情報論的学習理論と機械学習研究会 ...
このページはしましまが[[第1回電子情報通信学会 情報論的学...
- [[IBISML 1日目>#DAY1]]
- [[IBISML 2日目>#DAY2]]
- [[LDワークショップ>#LDW]]
* &aname(DAY1);6月14日(月) [#a5d53a7e]
* 特別セッション1 [#pac4b8d4]
** 招待講演:複合ソート法による高速な全ペア類似度検索 [#y...
津田 宏治
全ペア類似度検索
- ε近傍内の点を列挙する.全ペアを計算すると O(n^2)
ハミング距離の場合
- 複合ソート法:基数ソートを再帰的につかって O(n+m),n 文...
-- ソートすると同値類がまとまる,基数ソートは O(n) ででき...
- 複合ソート (マスク)
-- d 個の文字を全通り選んでマスクし,Comb(l,d) 回基数ソー...
- ブロックマスク (ブロックマスク)
-- 全体を k 個のブロックに分割して,基数ソートをする
-- false positive が出るので,あとでちゃんと距離を計算
-- 重複要素を取り除いてメモリを節約する工夫も
コサイン距離
- LSH を二値の文字列に変換
--LSH:類似したベクトルは類似した文字列になる.符号付きラ...
- D次元のベクトルを長さ l の 0/1 文字列に
- N(0,1) からのサンプルで D×l の行列で射影すると,射影後...
- 単純ソート法
-- ソートしてウィンドウはば w でスキャン
- スケッチソート
-- 全体を Q 個のチャンクに分けて処理する.その他のフィル...
k 近隣の計算
- 複合ソートを改造
-- 閾値で排除する代わりに,ベスト h の近傍を保持
-- このグラフで,隣の隣まで見て,上位 k 個を選ぶ
編集距離の場合も
- コード: http://code.google.com/p/sketchsort/
** 招待講演:変数間因果関係に 関するリレーショナルデータ...
鷲尾 隆
グラフマイニング
- グラフの集合から,一定頻度以上存在する,部分グラフを見...
-- 多頻度で,ノード一つ以外は共通な二つのグラフから,1サ...
-- http://hms.liacs.nl/ gSpan, Gaston 近年の高速アルゴリ...
-- 猪口の初期のアルゴリズム AGM, PKDD2000
- 遺伝子ネットの部分関係を探したら小さな断片程度は見つか...
非ガウス性に基づく変数間依存性マイニング
- 同時分布をベイジアンネット型の有向非循環グラフに分解
- ガウス性を仮定すると,相関で関係の有無は分かるが,依存...
- 非ガウスのノイズを考えると依存性の向きが分かるようになる
-- 残差の小さな向きを選ぶ
テンソル分解によるランキング予測
- タグ×アイテム×利用者タグ予測モデルを作る
- 利用者×アイテムごとに,タグの対の相対嗜好を求める
- タグの対の順序関係をまとめるて,全体の嗜好順序の状況を...
- 嗜好の強さはテンソル分解で求める
リレーショナルデータマイニング
- RDBからjoinせずに分析
* 特別セッション2 [#b1dfdacd]
** 招待講演:代数幾何と学習理論への入門と新展開 [#c720d671]
渡辺 澄夫
学習理論
- 混合分布やグラフィカルモデルのような構造のあるモデル → ...
- データから生成モデルを考えると,もっともらしいものが複...
-- 生成モデルを,パラメータ空間中で考える代数
-- 複雑さのちがう入れ子構造で,特異点をもつようなモデル構造
- q(x): 情報源,p(x|w):モデル
- 正則モデル:事後分布は一点を中心に散らばる
- 非正則モデル:事後分布は複雑なちらばり
主定理
- q(x)=p(x|w0) をみたす w0 があるとき,実現可能
- 主定理1
-- 正則または,実現可能であるとする
-- (q,p,φ)から決まる定数λと自然数mが存在して確率的コンプ...
F=n β Ln + λ log(n) - (m-1) log Log(n) + Op(1)
-- 正則または実現可能とする
-- (q,p,φ)から決まる定数λと ν が存在して
E[G]=L0 + {(λ-ν)/β + ν} / n + o(1/n)
E[T]=L0 + {(λ-ν)/β - ν} / n + o(1/n)
E[V]=2 ν β + o(1)
** 招待講演:大規模文字列解 析の理論と実践 [#m90a9448]
岡野原 大輔
- 文字列データ:2000年 10^6単語 → 2010年 10^10〜10^12単語
- レジスタ・キャッシュ・メモリ・ディスクのうち,できるだ...
- 全部分文字列の統計量:出現頻度,重み付き出現頻度
-- O(n) 文書長に比例,n log_2 σ bit で計算可能
- Rank辞書:プレフィックス中に指定したbit列が存在する個数
- WaveletTree:bit列でなくてもOK,O(log σ)時間
-- 文字集合ごとに分割してゆき,分割を表すbit列を考える
文字列データのための構造
- 代表的な索引:FM-index, SA, ST
- SA: Suffix Array
-- 接尾辞を求めて,ソートして,その位置を記録しておく
-- あとは2分探索すれば,個数が見つかる
-- http://sites.google.com
- Burrows Wheeler変換 (BWT)
-- SAの各プレフィックスの前の文字を記録したものをB
-- B 中に文字が現れる順序は,SAの先頭文字として現れる文字...
-- この性質で,B からSAが復元できる
文書集合の統計量
- 文書を特殊文字を間にはさんで全部つないだ文字列を作る
-- あとはこれについて接尾辞木を作れば,部分文字列の数でOK
機械学習応用
- 文書分類:部分文字列頻度を素性として使える → ロジスティ...
-- 対数尤度の勾配が重み付きの頻度で表せるので,効率的に計...
- 言語モデル
-- Sequene Memoizer:無限長を扱える階層Pitman-Yor過程
* 一般講演(学習の理論) [#b1ed516d]
** 2次損失サポートベクトルマシンの非線形正則化パスに関す...
○烏山 昌幸・竹内 一郎(名工大)
- 2次損失の場合に,SVMの正則化パスを追跡する手法について
- 正則化パラメータ λ が変化したときに,他のパラメータ α ...
- ヒンジ損失では直線の変化点を見つける方法が一般的 → パス...
- Huber型の2次損失
- あるλ0で解が分かっているときにλを減らす → 非線形最適化...
- 有理近似:近似式の交点を逐次的に求める
** 階層Pitman-Yorトピックモデル [#xb452470]
○佐藤 一誠・中川 裕志(東大)
- LDAのレストラン表現:トピック分布でテーブルを作り,その...
-- 一人一つのテーブル
- Pitman-Yor過程のレストラン表現:すでにテーブルに着いて...
** 直交化と閾値化に基づくノンパラメトリック回帰の方法につ...
○萩原 克幸(三重大)
- 基底を直交化する行列が存在するとして,その基底で当ては...
- 推定後にしきい値よりちいさければ 0 にする処理をしてから...
-- このしきい値処理によってノイズ除去ができる (?)
* 一般講演(モデルとデータの統合) [#h28c8d30]
** オンライン予測におけるプライバシ保護 [#a910dceb]
○佐久間 淳・荒井ひろみ(筑波大)
- エキスパートがそれぞれ予測してそれを凝集して予測する
- 一番予測精度がよいエキスパートの予測を基準としたregret...
- エキスパートの予測が当たる確率に対して指数的な確率分布...
- この選択を秘密に計算できる oblivious roulette を使う
** 階層ベイズモデルによる協調フィルタリング [#d3cacf1c]
○麻生 英樹(産総研)
- Netflix型 μ + a_i + b_j の予測モデルを階層ベイズにした.
-- 利用者効果 a_i,アイテム効果 b_j
- さらにコンテキストを表す c_k を足した実験も
** カスタム価格設定推薦システム 〜簡単な実装と予備実験〜 ...
○神嶌 敏弘・赤穂 昭太郎(産総研)・佐久間 淳(筑波大)
質問
- 運用するときには,系の安定性やモジュール化が大切
- ダイナミックなシステムでないとダメ
- 最低の割引提示保障
** 生存時間研究における調整型ランダムフォーレスト法 [#zc0...
○下川 敏雄(山梨大)・辻 光宏(関西大)
- 死亡までの生存時間曲線の予測をRFで行う
-- データ取得期間が限られているので,期間中に死亡しない場...
** 影響伝播モデルIDMによる多面的データマイニング [#f006fc...
○松村 真宏(阪大)
- 影響伝播モデル (IDM):ネットワークの伝播に関わる情報の...
-- Twitter を対象に,スマートフォンに関した話題を分析
* &aname(DAY2);6月15日(火) [#n9bb94a8]
* 特別セッション3 [#xbd1afe0]
* 招待講演:ノンパラメトリッ クベイズに基づく統計的機械学...
牧野 貴樹
- ベイジアン確率論:「確からしさ」を確率で表現
-- 宇宙人がいるかどうかは頻度主義的には表せない
- 過学習
-- 頻度主義:モデル選択がまずい
-- ベイジアン:尤度だけを考えているのがまずい → 事後確率...
- 予測分布:p(x|D)=∫p(x|θ) p(θ|D) dθ
-- 予測の不確かさが分布から得られる
-- パラメータ空間の座標の取り方に依存しない
ベイズHMM
- 遷移確率に,Dirichlet分布を事前分布にしたもの
- 観測数が増えると,確率分布が集中してくる → 予測の不確か...
- Dirichlet分布:αが小さいと特定の値が出やすく,αが大きい...
- ベイズHMM:隠れ変数 S がある
-- p(S|θ,D) と p(θ|S,D) を交互に求める
-- 変分ベイズ:分布の形状を変分近似する.比較的高速だが,...
-- マルコフ連鎖モンテカルロ:サンプリングで分布を推定.サ...
- 周辺Gibbsサンプラー:隠れ状態一つに注目し,他の状態を固...
ノンパラメトリックベイズ
- 複数のパラメータ空間に対する事前分布を導入
- Dirichlet過程:Dirichlet分布を無限次元に拡張したもの
-- パラメータ:α→∞で,DP(α,G0)→G0,α→0+ で限られた種類の...
-- 基底測度 G0 は,実数とか,アルファベット列とかいろいろ...
- 棒折り過程:分布 G0 を明示的にサンプリング
-- 確率に相当する長さに「棒を折って」,それに G0 からサン...
- 中華料理店過程:G0 を計算せず,多項分布の予測分布を求める
-- 客=確率変数,料理=確率変数に割り当てられた値,テーブ...
- 無限混合正規分布:それぞれの料理が μ と σ で表される正...
-- 周辺MCMC:データを一つ取り外しては,周囲のデータに依存...
無限状態HMM(ノンパラベイズHMM)
- 単純にDirichlet過程を事前分布にすると,常に未知の空間か...
- 階層Dirichlet過程:最初に DP からサンプリングして,出て...
- iHMMの学習:変分ベイズ(Beal 2003),Blocked Gibbsサンプ...
* 招待講演:超多重検定によっ て分かること [#y1917a11]
大羽 成征
- 高次元システムを理解したい:脳のシステム,細胞の働き
-- 帰納的にいろいろ結果が得られた → 何か分かったことにな...
- 多重検定:ノイズを含む有限データ + 仮説群 → 各帰無仮説...
-- 可知:観測 Y
-- 未知:真の過程 P∈MM
-- 所与:帰無仮説 H{i0}, i=1...N,検定統計量帰無分布第i統...
- p値:有意水準 α,p<α ならば帰無仮説 H0 は棄却される
-- H0 の下では,p値は均一分布する
- Bonferroni補正:M個の全検定中に1個以上の擬陽性がふくま...
- False discovery rate (FDR):
経験ベイズ検定
- 帰無分布 と 対立分布の混合モデルを考える
- 最適判定関数(Optimal Discovery Procedure; ODP)の理論
* 招待講演:一般物体認識にお ける機械学習の利用 [#f8e955c3]
[[柳井 啓司>http://acc.cs.uec.ac.jp/yanai/index-j.html]]
- 物体認識,画像検索=狭義の画像認識
-- 特徴抽出の革新:2004年,Bag-of-Keypoints,Bag-of-Visual...
-- 学習データ収集の容易化:人間計算など
- 物体認識:画像中の物体を認識する技術・研究分野
- 特定物体認識:見た目が全く同じ物体を検出,剛体なら95%以...
-- 局所不変特徴量による特徴点マッチング
--- 特徴点検出をして,その周辺パターンから特徴をとる
-- Approximate Nearest Neighbor (ANN), LSH, Visual Words+...
- 一般物体認識
-- 一般的な実世界画像の認識,画像内容を言語(記号)で記述
-- BoF:特徴点の不変特徴ベクトルのベクトル量子化表現
2000年以降の一般物体認識の発展
- 局所特徴量による新しい画像表現の提案
- 機械学習の進歩
-- SVM, Booting, テキスト処理系(pLSA, LDA, HDP),最近隣 ...
- 大規模データ集合が入手可能
- 計算機の高速大容量化
- 顔画像認識:正方領域が顔かどうかを認識=スライディング...
-- 部分パターンの輝度の差に基づいた特徴量=数10万の弱学習...
- 画像全体のカテゴリ分類=他クラス分類,画像アノテーショ...
- 画像ラベリング:位置まで特定,物体検索:ウィンドウ探索...
- シーンカテゴリ認識:場所の記述,時間・季節,緯度・経度...
- 一般物体認識の難しさ
-- 認識対象の多様性:同一種類でもバリエーションが多い,撮...
-- 認識対象が多い:多クラス分類
- 食べ物画像をメールで送ると認識される
-- shokuji@mm.cs.uec.ac.jp
- Image Net:1123万枚の画像に人間計算でラベル付け
-- http://www.image-net.org/
- 大量画像がDBに揃う → 特に剛体はいろいろな方向からの画像...
* 招待講演:マルコフ連鎖モン テカルロ法の新展開 [#r26b389a]
[[福島 孝治>http://dbs.c.u-tokyo.ac.jp/~fukushima]]
マルコフ連鎖モンテカルロ
- 目的:大事尤度確率分布からのサンプリング・期待値評価,...
- 確率分布 P(X) から,点 X^(i) をサンプリング,期待値は (...
- 分布の密なところから多数サンプリングする,どこが密かは...
- 実質的なエルゴード条件の破れ≒遅い緩和:局所部分にとどま...
-- 多峰的な問題では,低密度部分を通りにくいとか,多数の局...
- 対策
-- 非局所的状態更新(クラスターアルゴリズム):大きく動かす
-- 拡張アンサンブル法:マルチカノニカル法と交換モンテカル...
交換モンテカルロ法
- 拡張された確率分布関数:温度 βm を含む,複数の分布を掛...
P_eq({X};{β})=Π^M P_eq(X_m, βm)
- レプリカ系:温度の異なる複数のサンプリング系列,隣の温...
-- 温度の高低の交換
マルチカノニカル法
- ギブス分布 exp(-β E(X)) の代わりに,状態密度 g(E) に反...
-- 連鎖は1個でよいが,指数分布族に限られたり,g(E) の学習...
-- エネルギーの高低の交換
応用
- 数え上げ問題
-- 多次元ベクトルの集合のうち,条件を満たすものの数を数える
--- 非線形連立方程式の解の個数,制約充足問題(K-SAT,グラ...
-- 確率分布の規格化定数を評価する問題に帰着できる
* 一般講演(物理現象と学習) [#f7722dc6]
** 交換モンテカルロ法による反射スペクトルにおける複合吸収...
○永田 賢二・杉田 精司・岡田 真人(東大)
- 光スペクトル解析:ピークを分析することで物質の化学組成...
- RBFネットワークでスペクトルをモデル化 → ベイズ化
- 交換モンテカルロ法で自由エネルギーを計算
** データ変換による位相応答曲線の効率的推定 [#f6db5de3]
○中江 健(総研大)
- 位相応答曲線:同期するような振動子集団の,0〜πの位相に...
* 一般講演(強化学習) [#dfa824c1]
** 一般化TD学習 〜 セミパラメトリック統計からのTD学習お一...
○植野 剛・前田 新一(京大)・川鍋 一晃(フランフォーファ...
- 方策反復:方策を価値関数で評価と方策改善を繰り返す
** New Feature Selection Method for Reinforcement Learnin...
○Hirotaka Hachiya・Masashi Sugiyama
- 状態を記述する特徴には報酬に関連したものと,そうでない...
- 報酬の和と,特徴の集合の独立性を条件付き相互情報量で調べる
-- 特徴の集合の探索は欲張り法
* 一般講演 (構造学習・ベイジアンネット・確率推論) [#de107...
** Dependence Minimizing Regression with Model Selection ...
○Makoto Yamada・Masashi Sugiyama(Tokyo Tech)
- 非線形・非ガウスノイズのモデル
- XからYを回帰しXと残差の独立性,逆にYからXを回帰しYと残...
-- 独立性の大きな向きを選ぶ
- 2乗損失相互情報量で独立性検定を行う.非線形回帰のモデル...
** 命題論理に基づく確率モデルのための二部決定グラフと順序...
○石畠 正和・亀谷 由隆・佐藤 泰介(東工大)・湊 真一(北大)
- 論理と確率の融合:logic-based probabilistic model (LBPM)
-- 多値変数を2値の命題変数に変換するとき,単純に各値を一...
-- すると BDD を使って論理表を記述するとコンパクトに記述...
** 2重潜在クラスモデルとベイジアンネットを結合した小売サ...
○石垣 司・竹中 毅・本村陽一(産総研)
- 顧客や商品のセグメントの自動発見
-- pLSAの変形モデルを使った
* 一般講演(符号化・モデル選択) [#zd8f1c24]
** 逐次的動的モデル選択の線形時間アルゴリズム [#v0578803]
○櫻井 瑛一・山西 健司(東大)
- モデルが動的に変化する状況:複数のモデルがありと逐次的...
-- 単一のモデルを選択するのではなく,モデルの系列の記述長...
- DMS:データの記述長 + モデル系列の記述長 → 最小化
- 逐次的に推定できるようにウィンドウを利用する
** 符号化ダイバージェンスによる2つの集合の異なり具合の定...
○杉山 麿人・山本 章博(京大)
- 符号化ダイバージェンス:二つのデータ集合間の異なり具合...
-- 空間を領域に分割してゆき,二つのデータが分離されるよう...
-- サンプルと,正例・負例のどちらの符号化ダイバージェンス...
** 正規化最尤符号化に基づくグラフクラスタリング [#d63f44a3]
○平井 聡・冨岡 亮太・山西 健司(東大)
- グラフクラスタリングのクラスタ数決定:正規化最尤(NML)符...
- NML:-log[ 最尤推定量 / 正規化項] → 正規化項の計算が難...
- クラスタを示す潜在変数を導入.この潜在変数が与えられた...
** モデル・アルゴリズム選択によって起こる誤分類率へのバイ...
○倉橋 一成 ・大橋 靖雄(東大)
- 交差確認による性能評価:アルゴリズム選択,変数選択,判...
* &aname(LDW);6月16日(水) Latent Dynamics ワークショッ...
* セッション1(潜在ダイナミクスのモデリング) [#l8bc04d3]
** Tracking Latent Dynamics ─ 潜在的構造変化検出の情報論...
山西健司(東京大学)
- 潜在変数の確率モデル:有限混合モデル
P(X)=Σ_Z P(X|Z) Pk(Z)
- Latent Dynamicsモデルの分類
-- 第1のLD:潜在変数の内容が変わる
-- 第2のLD:潜在変数を規定する世界の構造が変わる
潜在構造を扱うモデル
- 状態空間モデル
zt=F{z_t-1} + G{x_t}
y_t=H{z_t}
- 隠れマルコフモデルとノンパラメトリックベイズ
-- 状態が時変化するモデル
- レジームスイッチング [Hamilton 1994]
-- ARなどの時系列モデルが,時間によって変化
- 潜在空間の分布変動検出
-- 分布間の距離の変動を調べる [Hirose & Yamanishi]
潜在空間の構造的変化検出
- 応用:グラフの接続行列を時系列にしたテンソルなどを分析...
- Switching分布
-- 変化点 t1...tm を含むような予測モデル
-- 変化点を潜在変数とし,それを周辺化した分布が観測される
Latent Dynamicsの推定
- 確率的コンプレクシティ:
-log Σs P(x|s) P(s)≦min_s [ -log Σs P(x|s) - log P(s) ]
- MDL原理:データの符号長 -log Σs P(x|s) とモデルの符号長...
- 予測モデル:P(x_t|x{t-1})
-- plug-in分布:時刻 t-1 の最尤パラメータに基づいて x_t ...
-- ベイズ予測分布:x{t-1} が与えられたときの x_t の事後分布
-- SNML分布:(?)
- 予測符号長が -log P(x|s) + (k/2) log(n) が成立しない → ...
動的モデル選択
- 隣のモデルに確立 α/2,同じモデルに (1-α) で遷移する
- DMS(Dynamic Model Selection)規準
データ列の予測符号長 + Σ^n -log P_t(k_t|k^{t-1},^α)
-- バッチ型なら,O(n^2) の時間で計算できる.
-- 逐次型:若干の先読みを許してO(n)で計算できるが,上界は...
-- Resetting分布(モデルの変化点で予測分布をリセットする...
- モデルに変化がない場合を帰無仮説,モデルの変化がある場...
データマイニング応用
- syslog・なりすましログ の異常検出
-- 隠れマルコフの混合モデルで系列を表現 + 混合数が異なる...
-- 混合数の変化で異常検出を行う
- コールセンターテキスト:混合数=トピック数の変化を捉える
** 階層ベイズモデリングによる時系列からの再構成 [#ke21a16e]
石井信(京都大学)
遮蔽物を除去しながらのベイズ解像法
- 超解像:物理限界を超えた画像の生成
- マルチフレーム超解像:同じ場面をたくさんとった画像群か...
- 超解像のベイズ問題:データ画像 D が与えられたときの原画...
-- 原画像の事前分布:ガウス,尤度:線形変換 + ガウス [Har...
- 画像中にエッジがある → カメラ位置については見えなくなる...
-- 画素ごとに,見えてる・見えてないを示す潜在変数を持たせ...
-- 衛生画像で雲で遮蔽される場合なども
- ノイズの分布に周囲との相関性を表す項を導入 → 見える範囲...
- 計算が難しいので変分ベイズで近似
ブラインド信号分離
- 混合信号を原信号を復元:
-- パラメトリック独立成分分析:原信号の独立性と合成の線形...
- 原信号によって on/off は異なる
- Switching ICA:on/offを表す隠れ変数を導入
-- on/offに応じた混合モデルを仮定
ベイズフィルタによる脳における信念形成機構の解明
- 迷路の内部にいて,部分観測される問題.迷路の地図は知っ...
-- 迷路のどこにいるかを推定する課題
-- 脳のfMRI画像も撮る
- 行動パターンをHMMに基づく逐次推定モデルから,被験者の信...
-- 信念の強さと相関のある活発に活動している脳の部位 → 前...
** 非線形次元削減と動的システムの学習について [#f1ffede2]
矢入健久(東京大学)
動機
- 人工衛星のテレメトリ監視
- 次元削減によるロボット位置推定・地図作成
- どちらも動的システムで記述
-- モデルが分かっていれば:ベイジアンフィルタリングのスム...
-- モデルが未知の場合を扱う:第1種のLD
機械学習分野の動向
- Switching Linear Dynamical System (SLDS)
-- LDSの混合モデルをEMで推定 [Ghahramani 98] [Pavlovic 01]
-- 入力なし,状態モデルのみのスイッチングが多い
-- 局所モデルの自動決定:Dirichlet過程を事前分布に導入
- 状態遷移・観測モデルをRBFネットで記述 [Roweis & Ghahram...
-- 入力ありだが,小規模問題のみ
- Gaussian Process Dynamical Models [Wang 05]
-- 状態空間モデルのfとgをガウス過程で記述
-- GPIL [Turner 10]:疑似入力を用いて疎にすることで,全デ...
-- ロボット業界:Gp-Bayesfilter [Ko 09], GP-ADF[Deisenrot...
--- 入力あり,潜在状態が入手可能なのでちょっと違う問題
- Kernel Kalman Filter [Ralaivola 05]
-- カーネルによる非線形化,EMで学習
-- 特徴→観測空間への写像を別途学習しないといけない
-- Kernel部分空間同定法 [Kawahara 06]
- 多様体学習の確率モデル化
-- LELVM:Laplacan Eigenmap の確率化 [Lu NIPS07]
--- 状態遷移はランダムウォークでモデル化,入力なし
- Langfordの方法 {ICML2009]
-- 確率的な動的システムを非確率的な任意の回帰学習モデルで...
-- 確率的状態 xt が,決定論的な変数 st に依存して決まるも...
- 非定常Dynamic Bayesian Net [Robinson+ NIPS2008][Song NI...
-- 時変化のあるベイジアンネット
- 全般:非線形+入力なしモデル,次元削減+学習アルゴリズム...
システム同定分野の動向
- 部分空間同定法
-- 入出力データが張る部分空間上における幾何学的演算により...
-- 非線形への拡張もちょっとある
- 全般:入力あり+線形,系の性質に興味がある,SVD・QRなど...
* セッション2(テキストの世界の潜在変数) [#n3ee5eee]
** 潜在トピックモデルを用いたデータマイニング [#d6a42acd]
岩田具治(NTTコミュニケーション科学基礎研究所)
トピックモデル
- 応用範囲:情報検索,可視化,画像認識,推薦
- BoW表現が対象
- 多項分布:単語が出る回数の分布
- 混合多項分布:
- トピック z を選択したのち,トピックごとの多項分布で語 w...
P(w)=Σz P(z) Πn P(w_n|z)
- トピックモデル:複数のトピックが混合した文書もあつかえる
-- pLSA
P(w)=Πn^N Σz P(z|θ) P(w_n|z)
-- pLSAのベイズ版
P(w)=∫ P(θ) Πn^N Σz P(z|θ) P(w_n|z) dθ
- 周辺Gibbsサンプリング
-- 多項分布のパラメータ θ と φ を積分消去してGibbsサンプ...
P(z_n=k|W,Z{\n})=(N{dk\n} + α) [(N{kw_n\n} + β) / (N...
- 拡張
-- 観測データの種類を増やす 著者[Rosen-Zvi+ 04] 時間[Wang...
-- トピックの性質:相関や階層構造
時間変化の導入
- 時間の導入:推薦モデルの場合
P(i,u,t)=Σz P(z|u,t) P(i|z,t)=Σz φ{t,z,u} θ{t,z,i}
ユーザごとの興味とトピックの流行のモデル
- ベイズ拡張:LDAでは時間ダイナミクスがない
- Topic Tracking Model:時間変化を導入したLDA
-- 興味の事前分布が過去の興味に依存
P(φ{t,u}|^φ{t-1,u},α{t,u})∝Πφ{t,u,z}^{α{t,u} ^φ{t-1,u,z}...
-- 流行の分布も過去の興味に依存
- 確率的EMアルゴリズムを用いて推定
** Decoding in Latent Conditional Models: A Practically F...
Xu Sun (東京大学)
潜在構造
- 木構造(構文木が潜在状態に依存),線形連鎖
Latent-dynamic conditional random fields
- CRF [Lafferty+ ICML01]
P(y|x,θ)=1/Z exp[Σk θk Fk(y,x)]
- LDCRF:y の間の無向グラフがなくなり,潜在変数が同時刻の...
P(y|x,θ)=Σ{h:hj∈H{yj}} P(h|x,θ)=exp[Σ{h:hj∈H{yj}} 1/Z(...
- 推論:厳密解はNP困難 →遅い
- 近似手法
-- Best Hidden Path [Matsuzaki+ ACL05]
-- Best marginal Path [Morency+ CVPR07]
- 厳密推論を近似手法なみの時間で計算したい
-- NLPとかだと可能性のあるパターンは限定されている
-- 未知のパスの確率が,既知のパスの確率と比べて小さいとき...
- 実験
-- 固有表現抽出問題:データ数に対して線形ぐらい
潜在パーセプトロン
- 収束性などの議論
- コード: http://www.ibis.t.u-tokyo.ac.jp/XuSun
* セッション3(人間行動と潜在世界) [#b5e608e3]
** 潜在ダイナミクスとしての「都合」 [#pae77af6]
大澤幸生(東京大学)
チャンス発見
- ペンのノック部分のデザイン:クリック音がする → 数はすく...
- 冷蔵庫:野菜が全部見えるように
- 市場に顕在化するまえの状態を見つけたい
KeyGraph:可視化
- 高頻度が黒いキーワード,赤いキーワードは低頻度だが高頻...
- 可視化したものを専門化が見て潜在的なトピックを拾う
- 地震の例:群馬県北部 → あまり揺れないところだが目立って...
- 肝炎の例:肝臓の検査項目のパス → インターフェロンを投与...
- KeyGraphの距離:simpson係数(AND/MAX) 相互情報量
KDDプロセスの前に
- 専門化の意見を受け入れる心構えを作る
- レアイベントの意味についてじっくり考える心構えを作る
都合 (I,P,D)
- 意図 I:行動シナリオの背景にある目的意識
- 前提制約 P:意図達成するために必要な制約
- 派生制約 D:前提制約から生じる制約
** トラブルの経験と情報としての活用技術 [#b138dbe6]
宮野廣(法政大学、日本保全学会 特別顧問)
- 原発のトラブルデータ + 新設計データ(knowhowで非公開が多...
- 原子力プラントのDB:審議会資料,原子力施設運転管理年表...
-- 国際DB:iGALL (int'l Generic Ageing Lessons Learned Gu...
- データには主観があるので,それをどう扱うか
-- 結論にいたる過程で情報の取捨選択がある
-- 企業の競争力を左右するため,ノウハウ部分は公開されない
- タコマ橋:Kalmanが調査していた
- 双子渦:写真に撮れたりとか観測されてから分析が可能になる
- 知識を生かして知恵にするための方法論が必要
- 多くの記述的知識を予め組み込み知識化しておくことで,デ...
* セッション4(潜在世界の揺らぎ) [#a11af66c]
** 揺らぎと偏りから読み解く潜在構造 [#u594e01f]
前野義晴(Social Design Group)
発見とは?
- 19世紀の天文学
-- 天王星の挙動がニュートンの方程式と合わない → 海王星の...
-- 水星の歳鎖運動の異常 → アインシュタインの一般相対性理...
拡散 (diffusion)
- 確率的に時間発展する
- 自然現象・社会現象における拡散にはヘテロ性がある
- 例:感染症の拡散,交通ネットワークでの人の移動,ネット...
感染症の広がり
- ランダムネットの場合:一つのノードで発生した場合
- 順問題:システムの特徴から,観測結果をえる
- 逆問題:観測結果から,システムの特徴を得る → プロファイ...
プロファイリング
- 拡散現象を支配するパラメータを見つける
- SIRモデル:S(健康未感染),I(病気),R(回復後)
- 病気が直ったら免疫ができてもうかからない
- 各状態の人がノード間を移動する
- 感染者数の変化の微分が,全人口の感染可能性のある割合の...
-- ノイズはポワソン的になっている
- SARSの時の事例
ノード発見
- 観測されていないノードが原因となった拡散を観測可能な周...
- 既知データから観測ノードにたいするプロファイリングを実行
- 推定結果と観測結果の差が大きい部分から,観測されないノ...
** 潜在的グラフ構造からの異常検知 [#ob172748]
井手剛(IBM東京基礎研究所)
動機
- 異常検知:変数同士の関係の崩れを検出したい
-- 異常が起きたとき,どの変数が異常なのかを見つける
- 構造学習の難しさ
-- 安定かどうか?いろいろ関係は見つかるけど,ちょっとの変...
- 相関の強いペアについては関係が安定している → 本質的に関...
グラフィカル・ガウシアン・モデル
- 多変量ガウス分布の精度行列がグラフの隣接行列になっている
- 疎なグラフを作りたい
-- 共分散行列の逆行列を求めてしきい値できる → しきい値に...
-- 共分散構造選択 (Dempster 72):小さい値を0にして,残り...
- L1正則化を使って疎にする
- 観測モデルは独立な正規分布 + ラプラス事前分布
-- graphical lasso アルゴリズムで解く
-- [Meinshausen+ 06] の方法も試したがノイズがあり共線性の...
- 学習された確率モデルを使って,各変数の異常度をKL距離で...
終了行:
* 第1回電子情報通信学会 情報論的学習理論と機械学習研究会 ...
このページはしましまが[[第1回電子情報通信学会 情報論的学...
- [[IBISML 1日目>#DAY1]]
- [[IBISML 2日目>#DAY2]]
- [[LDワークショップ>#LDW]]
* &aname(DAY1);6月14日(月) [#a5d53a7e]
* 特別セッション1 [#pac4b8d4]
** 招待講演:複合ソート法による高速な全ペア類似度検索 [#y...
津田 宏治
全ペア類似度検索
- ε近傍内の点を列挙する.全ペアを計算すると O(n^2)
ハミング距離の場合
- 複合ソート法:基数ソートを再帰的につかって O(n+m),n 文...
-- ソートすると同値類がまとまる,基数ソートは O(n) ででき...
- 複合ソート (マスク)
-- d 個の文字を全通り選んでマスクし,Comb(l,d) 回基数ソー...
- ブロックマスク (ブロックマスク)
-- 全体を k 個のブロックに分割して,基数ソートをする
-- false positive が出るので,あとでちゃんと距離を計算
-- 重複要素を取り除いてメモリを節約する工夫も
コサイン距離
- LSH を二値の文字列に変換
--LSH:類似したベクトルは類似した文字列になる.符号付きラ...
- D次元のベクトルを長さ l の 0/1 文字列に
- N(0,1) からのサンプルで D×l の行列で射影すると,射影後...
- 単純ソート法
-- ソートしてウィンドウはば w でスキャン
- スケッチソート
-- 全体を Q 個のチャンクに分けて処理する.その他のフィル...
k 近隣の計算
- 複合ソートを改造
-- 閾値で排除する代わりに,ベスト h の近傍を保持
-- このグラフで,隣の隣まで見て,上位 k 個を選ぶ
編集距離の場合も
- コード: http://code.google.com/p/sketchsort/
** 招待講演:変数間因果関係に 関するリレーショナルデータ...
鷲尾 隆
グラフマイニング
- グラフの集合から,一定頻度以上存在する,部分グラフを見...
-- 多頻度で,ノード一つ以外は共通な二つのグラフから,1サ...
-- http://hms.liacs.nl/ gSpan, Gaston 近年の高速アルゴリ...
-- 猪口の初期のアルゴリズム AGM, PKDD2000
- 遺伝子ネットの部分関係を探したら小さな断片程度は見つか...
非ガウス性に基づく変数間依存性マイニング
- 同時分布をベイジアンネット型の有向非循環グラフに分解
- ガウス性を仮定すると,相関で関係の有無は分かるが,依存...
- 非ガウスのノイズを考えると依存性の向きが分かるようになる
-- 残差の小さな向きを選ぶ
テンソル分解によるランキング予測
- タグ×アイテム×利用者タグ予測モデルを作る
- 利用者×アイテムごとに,タグの対の相対嗜好を求める
- タグの対の順序関係をまとめるて,全体の嗜好順序の状況を...
- 嗜好の強さはテンソル分解で求める
リレーショナルデータマイニング
- RDBからjoinせずに分析
* 特別セッション2 [#b1dfdacd]
** 招待講演:代数幾何と学習理論への入門と新展開 [#c720d671]
渡辺 澄夫
学習理論
- 混合分布やグラフィカルモデルのような構造のあるモデル → ...
- データから生成モデルを考えると,もっともらしいものが複...
-- 生成モデルを,パラメータ空間中で考える代数
-- 複雑さのちがう入れ子構造で,特異点をもつようなモデル構造
- q(x): 情報源,p(x|w):モデル
- 正則モデル:事後分布は一点を中心に散らばる
- 非正則モデル:事後分布は複雑なちらばり
主定理
- q(x)=p(x|w0) をみたす w0 があるとき,実現可能
- 主定理1
-- 正則または,実現可能であるとする
-- (q,p,φ)から決まる定数λと自然数mが存在して確率的コンプ...
F=n β Ln + λ log(n) - (m-1) log Log(n) + Op(1)
-- 正則または実現可能とする
-- (q,p,φ)から決まる定数λと ν が存在して
E[G]=L0 + {(λ-ν)/β + ν} / n + o(1/n)
E[T]=L0 + {(λ-ν)/β - ν} / n + o(1/n)
E[V]=2 ν β + o(1)
** 招待講演:大規模文字列解 析の理論と実践 [#m90a9448]
岡野原 大輔
- 文字列データ:2000年 10^6単語 → 2010年 10^10〜10^12単語
- レジスタ・キャッシュ・メモリ・ディスクのうち,できるだ...
- 全部分文字列の統計量:出現頻度,重み付き出現頻度
-- O(n) 文書長に比例,n log_2 σ bit で計算可能
- Rank辞書:プレフィックス中に指定したbit列が存在する個数
- WaveletTree:bit列でなくてもOK,O(log σ)時間
-- 文字集合ごとに分割してゆき,分割を表すbit列を考える
文字列データのための構造
- 代表的な索引:FM-index, SA, ST
- SA: Suffix Array
-- 接尾辞を求めて,ソートして,その位置を記録しておく
-- あとは2分探索すれば,個数が見つかる
-- http://sites.google.com
- Burrows Wheeler変換 (BWT)
-- SAの各プレフィックスの前の文字を記録したものをB
-- B 中に文字が現れる順序は,SAの先頭文字として現れる文字...
-- この性質で,B からSAが復元できる
文書集合の統計量
- 文書を特殊文字を間にはさんで全部つないだ文字列を作る
-- あとはこれについて接尾辞木を作れば,部分文字列の数でOK
機械学習応用
- 文書分類:部分文字列頻度を素性として使える → ロジスティ...
-- 対数尤度の勾配が重み付きの頻度で表せるので,効率的に計...
- 言語モデル
-- Sequene Memoizer:無限長を扱える階層Pitman-Yor過程
* 一般講演(学習の理論) [#b1ed516d]
** 2次損失サポートベクトルマシンの非線形正則化パスに関す...
○烏山 昌幸・竹内 一郎(名工大)
- 2次損失の場合に,SVMの正則化パスを追跡する手法について
- 正則化パラメータ λ が変化したときに,他のパラメータ α ...
- ヒンジ損失では直線の変化点を見つける方法が一般的 → パス...
- Huber型の2次損失
- あるλ0で解が分かっているときにλを減らす → 非線形最適化...
- 有理近似:近似式の交点を逐次的に求める
** 階層Pitman-Yorトピックモデル [#xb452470]
○佐藤 一誠・中川 裕志(東大)
- LDAのレストラン表現:トピック分布でテーブルを作り,その...
-- 一人一つのテーブル
- Pitman-Yor過程のレストラン表現:すでにテーブルに着いて...
** 直交化と閾値化に基づくノンパラメトリック回帰の方法につ...
○萩原 克幸(三重大)
- 基底を直交化する行列が存在するとして,その基底で当ては...
- 推定後にしきい値よりちいさければ 0 にする処理をしてから...
-- このしきい値処理によってノイズ除去ができる (?)
* 一般講演(モデルとデータの統合) [#h28c8d30]
** オンライン予測におけるプライバシ保護 [#a910dceb]
○佐久間 淳・荒井ひろみ(筑波大)
- エキスパートがそれぞれ予測してそれを凝集して予測する
- 一番予測精度がよいエキスパートの予測を基準としたregret...
- エキスパートの予測が当たる確率に対して指数的な確率分布...
- この選択を秘密に計算できる oblivious roulette を使う
** 階層ベイズモデルによる協調フィルタリング [#d3cacf1c]
○麻生 英樹(産総研)
- Netflix型 μ + a_i + b_j の予測モデルを階層ベイズにした.
-- 利用者効果 a_i,アイテム効果 b_j
- さらにコンテキストを表す c_k を足した実験も
** カスタム価格設定推薦システム 〜簡単な実装と予備実験〜 ...
○神嶌 敏弘・赤穂 昭太郎(産総研)・佐久間 淳(筑波大)
質問
- 運用するときには,系の安定性やモジュール化が大切
- ダイナミックなシステムでないとダメ
- 最低の割引提示保障
** 生存時間研究における調整型ランダムフォーレスト法 [#zc0...
○下川 敏雄(山梨大)・辻 光宏(関西大)
- 死亡までの生存時間曲線の予測をRFで行う
-- データ取得期間が限られているので,期間中に死亡しない場...
** 影響伝播モデルIDMによる多面的データマイニング [#f006fc...
○松村 真宏(阪大)
- 影響伝播モデル (IDM):ネットワークの伝播に関わる情報の...
-- Twitter を対象に,スマートフォンに関した話題を分析
* &aname(DAY2);6月15日(火) [#n9bb94a8]
* 特別セッション3 [#xbd1afe0]
* 招待講演:ノンパラメトリッ クベイズに基づく統計的機械学...
牧野 貴樹
- ベイジアン確率論:「確からしさ」を確率で表現
-- 宇宙人がいるかどうかは頻度主義的には表せない
- 過学習
-- 頻度主義:モデル選択がまずい
-- ベイジアン:尤度だけを考えているのがまずい → 事後確率...
- 予測分布:p(x|D)=∫p(x|θ) p(θ|D) dθ
-- 予測の不確かさが分布から得られる
-- パラメータ空間の座標の取り方に依存しない
ベイズHMM
- 遷移確率に,Dirichlet分布を事前分布にしたもの
- 観測数が増えると,確率分布が集中してくる → 予測の不確か...
- Dirichlet分布:αが小さいと特定の値が出やすく,αが大きい...
- ベイズHMM:隠れ変数 S がある
-- p(S|θ,D) と p(θ|S,D) を交互に求める
-- 変分ベイズ:分布の形状を変分近似する.比較的高速だが,...
-- マルコフ連鎖モンテカルロ:サンプリングで分布を推定.サ...
- 周辺Gibbsサンプラー:隠れ状態一つに注目し,他の状態を固...
ノンパラメトリックベイズ
- 複数のパラメータ空間に対する事前分布を導入
- Dirichlet過程:Dirichlet分布を無限次元に拡張したもの
-- パラメータ:α→∞で,DP(α,G0)→G0,α→0+ で限られた種類の...
-- 基底測度 G0 は,実数とか,アルファベット列とかいろいろ...
- 棒折り過程:分布 G0 を明示的にサンプリング
-- 確率に相当する長さに「棒を折って」,それに G0 からサン...
- 中華料理店過程:G0 を計算せず,多項分布の予測分布を求める
-- 客=確率変数,料理=確率変数に割り当てられた値,テーブ...
- 無限混合正規分布:それぞれの料理が μ と σ で表される正...
-- 周辺MCMC:データを一つ取り外しては,周囲のデータに依存...
無限状態HMM(ノンパラベイズHMM)
- 単純にDirichlet過程を事前分布にすると,常に未知の空間か...
- 階層Dirichlet過程:最初に DP からサンプリングして,出て...
- iHMMの学習:変分ベイズ(Beal 2003),Blocked Gibbsサンプ...
* 招待講演:超多重検定によっ て分かること [#y1917a11]
大羽 成征
- 高次元システムを理解したい:脳のシステム,細胞の働き
-- 帰納的にいろいろ結果が得られた → 何か分かったことにな...
- 多重検定:ノイズを含む有限データ + 仮説群 → 各帰無仮説...
-- 可知:観測 Y
-- 未知:真の過程 P∈MM
-- 所与:帰無仮説 H{i0}, i=1...N,検定統計量帰無分布第i統...
- p値:有意水準 α,p<α ならば帰無仮説 H0 は棄却される
-- H0 の下では,p値は均一分布する
- Bonferroni補正:M個の全検定中に1個以上の擬陽性がふくま...
- False discovery rate (FDR):
経験ベイズ検定
- 帰無分布 と 対立分布の混合モデルを考える
- 最適判定関数(Optimal Discovery Procedure; ODP)の理論
* 招待講演:一般物体認識にお ける機械学習の利用 [#f8e955c3]
[[柳井 啓司>http://acc.cs.uec.ac.jp/yanai/index-j.html]]
- 物体認識,画像検索=狭義の画像認識
-- 特徴抽出の革新:2004年,Bag-of-Keypoints,Bag-of-Visual...
-- 学習データ収集の容易化:人間計算など
- 物体認識:画像中の物体を認識する技術・研究分野
- 特定物体認識:見た目が全く同じ物体を検出,剛体なら95%以...
-- 局所不変特徴量による特徴点マッチング
--- 特徴点検出をして,その周辺パターンから特徴をとる
-- Approximate Nearest Neighbor (ANN), LSH, Visual Words+...
- 一般物体認識
-- 一般的な実世界画像の認識,画像内容を言語(記号)で記述
-- BoF:特徴点の不変特徴ベクトルのベクトル量子化表現
2000年以降の一般物体認識の発展
- 局所特徴量による新しい画像表現の提案
- 機械学習の進歩
-- SVM, Booting, テキスト処理系(pLSA, LDA, HDP),最近隣 ...
- 大規模データ集合が入手可能
- 計算機の高速大容量化
- 顔画像認識:正方領域が顔かどうかを認識=スライディング...
-- 部分パターンの輝度の差に基づいた特徴量=数10万の弱学習...
- 画像全体のカテゴリ分類=他クラス分類,画像アノテーショ...
- 画像ラベリング:位置まで特定,物体検索:ウィンドウ探索...
- シーンカテゴリ認識:場所の記述,時間・季節,緯度・経度...
- 一般物体認識の難しさ
-- 認識対象の多様性:同一種類でもバリエーションが多い,撮...
-- 認識対象が多い:多クラス分類
- 食べ物画像をメールで送ると認識される
-- shokuji@mm.cs.uec.ac.jp
- Image Net:1123万枚の画像に人間計算でラベル付け
-- http://www.image-net.org/
- 大量画像がDBに揃う → 特に剛体はいろいろな方向からの画像...
* 招待講演:マルコフ連鎖モン テカルロ法の新展開 [#r26b389a]
[[福島 孝治>http://dbs.c.u-tokyo.ac.jp/~fukushima]]
マルコフ連鎖モンテカルロ
- 目的:大事尤度確率分布からのサンプリング・期待値評価,...
- 確率分布 P(X) から,点 X^(i) をサンプリング,期待値は (...
- 分布の密なところから多数サンプリングする,どこが密かは...
- 実質的なエルゴード条件の破れ≒遅い緩和:局所部分にとどま...
-- 多峰的な問題では,低密度部分を通りにくいとか,多数の局...
- 対策
-- 非局所的状態更新(クラスターアルゴリズム):大きく動かす
-- 拡張アンサンブル法:マルチカノニカル法と交換モンテカル...
交換モンテカルロ法
- 拡張された確率分布関数:温度 βm を含む,複数の分布を掛...
P_eq({X};{β})=Π^M P_eq(X_m, βm)
- レプリカ系:温度の異なる複数のサンプリング系列,隣の温...
-- 温度の高低の交換
マルチカノニカル法
- ギブス分布 exp(-β E(X)) の代わりに,状態密度 g(E) に反...
-- 連鎖は1個でよいが,指数分布族に限られたり,g(E) の学習...
-- エネルギーの高低の交換
応用
- 数え上げ問題
-- 多次元ベクトルの集合のうち,条件を満たすものの数を数える
--- 非線形連立方程式の解の個数,制約充足問題(K-SAT,グラ...
-- 確率分布の規格化定数を評価する問題に帰着できる
* 一般講演(物理現象と学習) [#f7722dc6]
** 交換モンテカルロ法による反射スペクトルにおける複合吸収...
○永田 賢二・杉田 精司・岡田 真人(東大)
- 光スペクトル解析:ピークを分析することで物質の化学組成...
- RBFネットワークでスペクトルをモデル化 → ベイズ化
- 交換モンテカルロ法で自由エネルギーを計算
** データ変換による位相応答曲線の効率的推定 [#f6db5de3]
○中江 健(総研大)
- 位相応答曲線:同期するような振動子集団の,0〜πの位相に...
* 一般講演(強化学習) [#dfa824c1]
** 一般化TD学習 〜 セミパラメトリック統計からのTD学習お一...
○植野 剛・前田 新一(京大)・川鍋 一晃(フランフォーファ...
- 方策反復:方策を価値関数で評価と方策改善を繰り返す
** New Feature Selection Method for Reinforcement Learnin...
○Hirotaka Hachiya・Masashi Sugiyama
- 状態を記述する特徴には報酬に関連したものと,そうでない...
- 報酬の和と,特徴の集合の独立性を条件付き相互情報量で調べる
-- 特徴の集合の探索は欲張り法
* 一般講演 (構造学習・ベイジアンネット・確率推論) [#de107...
** Dependence Minimizing Regression with Model Selection ...
○Makoto Yamada・Masashi Sugiyama(Tokyo Tech)
- 非線形・非ガウスノイズのモデル
- XからYを回帰しXと残差の独立性,逆にYからXを回帰しYと残...
-- 独立性の大きな向きを選ぶ
- 2乗損失相互情報量で独立性検定を行う.非線形回帰のモデル...
** 命題論理に基づく確率モデルのための二部決定グラフと順序...
○石畠 正和・亀谷 由隆・佐藤 泰介(東工大)・湊 真一(北大)
- 論理と確率の融合:logic-based probabilistic model (LBPM)
-- 多値変数を2値の命題変数に変換するとき,単純に各値を一...
-- すると BDD を使って論理表を記述するとコンパクトに記述...
** 2重潜在クラスモデルとベイジアンネットを結合した小売サ...
○石垣 司・竹中 毅・本村陽一(産総研)
- 顧客や商品のセグメントの自動発見
-- pLSAの変形モデルを使った
* 一般講演(符号化・モデル選択) [#zd8f1c24]
** 逐次的動的モデル選択の線形時間アルゴリズム [#v0578803]
○櫻井 瑛一・山西 健司(東大)
- モデルが動的に変化する状況:複数のモデルがありと逐次的...
-- 単一のモデルを選択するのではなく,モデルの系列の記述長...
- DMS:データの記述長 + モデル系列の記述長 → 最小化
- 逐次的に推定できるようにウィンドウを利用する
** 符号化ダイバージェンスによる2つの集合の異なり具合の定...
○杉山 麿人・山本 章博(京大)
- 符号化ダイバージェンス:二つのデータ集合間の異なり具合...
-- 空間を領域に分割してゆき,二つのデータが分離されるよう...
-- サンプルと,正例・負例のどちらの符号化ダイバージェンス...
** 正規化最尤符号化に基づくグラフクラスタリング [#d63f44a3]
○平井 聡・冨岡 亮太・山西 健司(東大)
- グラフクラスタリングのクラスタ数決定:正規化最尤(NML)符...
- NML:-log[ 最尤推定量 / 正規化項] → 正規化項の計算が難...
- クラスタを示す潜在変数を導入.この潜在変数が与えられた...
** モデル・アルゴリズム選択によって起こる誤分類率へのバイ...
○倉橋 一成 ・大橋 靖雄(東大)
- 交差確認による性能評価:アルゴリズム選択,変数選択,判...
* &aname(LDW);6月16日(水) Latent Dynamics ワークショッ...
* セッション1(潜在ダイナミクスのモデリング) [#l8bc04d3]
** Tracking Latent Dynamics ─ 潜在的構造変化検出の情報論...
山西健司(東京大学)
- 潜在変数の確率モデル:有限混合モデル
P(X)=Σ_Z P(X|Z) Pk(Z)
- Latent Dynamicsモデルの分類
-- 第1のLD:潜在変数の内容が変わる
-- 第2のLD:潜在変数を規定する世界の構造が変わる
潜在構造を扱うモデル
- 状態空間モデル
zt=F{z_t-1} + G{x_t}
y_t=H{z_t}
- 隠れマルコフモデルとノンパラメトリックベイズ
-- 状態が時変化するモデル
- レジームスイッチング [Hamilton 1994]
-- ARなどの時系列モデルが,時間によって変化
- 潜在空間の分布変動検出
-- 分布間の距離の変動を調べる [Hirose & Yamanishi]
潜在空間の構造的変化検出
- 応用:グラフの接続行列を時系列にしたテンソルなどを分析...
- Switching分布
-- 変化点 t1...tm を含むような予測モデル
-- 変化点を潜在変数とし,それを周辺化した分布が観測される
Latent Dynamicsの推定
- 確率的コンプレクシティ:
-log Σs P(x|s) P(s)≦min_s [ -log Σs P(x|s) - log P(s) ]
- MDL原理:データの符号長 -log Σs P(x|s) とモデルの符号長...
- 予測モデル:P(x_t|x{t-1})
-- plug-in分布:時刻 t-1 の最尤パラメータに基づいて x_t ...
-- ベイズ予測分布:x{t-1} が与えられたときの x_t の事後分布
-- SNML分布:(?)
- 予測符号長が -log P(x|s) + (k/2) log(n) が成立しない → ...
動的モデル選択
- 隣のモデルに確立 α/2,同じモデルに (1-α) で遷移する
- DMS(Dynamic Model Selection)規準
データ列の予測符号長 + Σ^n -log P_t(k_t|k^{t-1},^α)
-- バッチ型なら,O(n^2) の時間で計算できる.
-- 逐次型:若干の先読みを許してO(n)で計算できるが,上界は...
-- Resetting分布(モデルの変化点で予測分布をリセットする...
- モデルに変化がない場合を帰無仮説,モデルの変化がある場...
データマイニング応用
- syslog・なりすましログ の異常検出
-- 隠れマルコフの混合モデルで系列を表現 + 混合数が異なる...
-- 混合数の変化で異常検出を行う
- コールセンターテキスト:混合数=トピック数の変化を捉える
** 階層ベイズモデリングによる時系列からの再構成 [#ke21a16e]
石井信(京都大学)
遮蔽物を除去しながらのベイズ解像法
- 超解像:物理限界を超えた画像の生成
- マルチフレーム超解像:同じ場面をたくさんとった画像群か...
- 超解像のベイズ問題:データ画像 D が与えられたときの原画...
-- 原画像の事前分布:ガウス,尤度:線形変換 + ガウス [Har...
- 画像中にエッジがある → カメラ位置については見えなくなる...
-- 画素ごとに,見えてる・見えてないを示す潜在変数を持たせ...
-- 衛生画像で雲で遮蔽される場合なども
- ノイズの分布に周囲との相関性を表す項を導入 → 見える範囲...
- 計算が難しいので変分ベイズで近似
ブラインド信号分離
- 混合信号を原信号を復元:
-- パラメトリック独立成分分析:原信号の独立性と合成の線形...
- 原信号によって on/off は異なる
- Switching ICA:on/offを表す隠れ変数を導入
-- on/offに応じた混合モデルを仮定
ベイズフィルタによる脳における信念形成機構の解明
- 迷路の内部にいて,部分観測される問題.迷路の地図は知っ...
-- 迷路のどこにいるかを推定する課題
-- 脳のfMRI画像も撮る
- 行動パターンをHMMに基づく逐次推定モデルから,被験者の信...
-- 信念の強さと相関のある活発に活動している脳の部位 → 前...
** 非線形次元削減と動的システムの学習について [#f1ffede2]
矢入健久(東京大学)
動機
- 人工衛星のテレメトリ監視
- 次元削減によるロボット位置推定・地図作成
- どちらも動的システムで記述
-- モデルが分かっていれば:ベイジアンフィルタリングのスム...
-- モデルが未知の場合を扱う:第1種のLD
機械学習分野の動向
- Switching Linear Dynamical System (SLDS)
-- LDSの混合モデルをEMで推定 [Ghahramani 98] [Pavlovic 01]
-- 入力なし,状態モデルのみのスイッチングが多い
-- 局所モデルの自動決定:Dirichlet過程を事前分布に導入
- 状態遷移・観測モデルをRBFネットで記述 [Roweis & Ghahram...
-- 入力ありだが,小規模問題のみ
- Gaussian Process Dynamical Models [Wang 05]
-- 状態空間モデルのfとgをガウス過程で記述
-- GPIL [Turner 10]:疑似入力を用いて疎にすることで,全デ...
-- ロボット業界:Gp-Bayesfilter [Ko 09], GP-ADF[Deisenrot...
--- 入力あり,潜在状態が入手可能なのでちょっと違う問題
- Kernel Kalman Filter [Ralaivola 05]
-- カーネルによる非線形化,EMで学習
-- 特徴→観測空間への写像を別途学習しないといけない
-- Kernel部分空間同定法 [Kawahara 06]
- 多様体学習の確率モデル化
-- LELVM:Laplacan Eigenmap の確率化 [Lu NIPS07]
--- 状態遷移はランダムウォークでモデル化,入力なし
- Langfordの方法 {ICML2009]
-- 確率的な動的システムを非確率的な任意の回帰学習モデルで...
-- 確率的状態 xt が,決定論的な変数 st に依存して決まるも...
- 非定常Dynamic Bayesian Net [Robinson+ NIPS2008][Song NI...
-- 時変化のあるベイジアンネット
- 全般:非線形+入力なしモデル,次元削減+学習アルゴリズム...
システム同定分野の動向
- 部分空間同定法
-- 入出力データが張る部分空間上における幾何学的演算により...
-- 非線形への拡張もちょっとある
- 全般:入力あり+線形,系の性質に興味がある,SVD・QRなど...
* セッション2(テキストの世界の潜在変数) [#n3ee5eee]
** 潜在トピックモデルを用いたデータマイニング [#d6a42acd]
岩田具治(NTTコミュニケーション科学基礎研究所)
トピックモデル
- 応用範囲:情報検索,可視化,画像認識,推薦
- BoW表現が対象
- 多項分布:単語が出る回数の分布
- 混合多項分布:
- トピック z を選択したのち,トピックごとの多項分布で語 w...
P(w)=Σz P(z) Πn P(w_n|z)
- トピックモデル:複数のトピックが混合した文書もあつかえる
-- pLSA
P(w)=Πn^N Σz P(z|θ) P(w_n|z)
-- pLSAのベイズ版
P(w)=∫ P(θ) Πn^N Σz P(z|θ) P(w_n|z) dθ
- 周辺Gibbsサンプリング
-- 多項分布のパラメータ θ と φ を積分消去してGibbsサンプ...
P(z_n=k|W,Z{\n})=(N{dk\n} + α) [(N{kw_n\n} + β) / (N...
- 拡張
-- 観測データの種類を増やす 著者[Rosen-Zvi+ 04] 時間[Wang...
-- トピックの性質:相関や階層構造
時間変化の導入
- 時間の導入:推薦モデルの場合
P(i,u,t)=Σz P(z|u,t) P(i|z,t)=Σz φ{t,z,u} θ{t,z,i}
ユーザごとの興味とトピックの流行のモデル
- ベイズ拡張:LDAでは時間ダイナミクスがない
- Topic Tracking Model:時間変化を導入したLDA
-- 興味の事前分布が過去の興味に依存
P(φ{t,u}|^φ{t-1,u},α{t,u})∝Πφ{t,u,z}^{α{t,u} ^φ{t-1,u,z}...
-- 流行の分布も過去の興味に依存
- 確率的EMアルゴリズムを用いて推定
** Decoding in Latent Conditional Models: A Practically F...
Xu Sun (東京大学)
潜在構造
- 木構造(構文木が潜在状態に依存),線形連鎖
Latent-dynamic conditional random fields
- CRF [Lafferty+ ICML01]
P(y|x,θ)=1/Z exp[Σk θk Fk(y,x)]
- LDCRF:y の間の無向グラフがなくなり,潜在変数が同時刻の...
P(y|x,θ)=Σ{h:hj∈H{yj}} P(h|x,θ)=exp[Σ{h:hj∈H{yj}} 1/Z(...
- 推論:厳密解はNP困難 →遅い
- 近似手法
-- Best Hidden Path [Matsuzaki+ ACL05]
-- Best marginal Path [Morency+ CVPR07]
- 厳密推論を近似手法なみの時間で計算したい
-- NLPとかだと可能性のあるパターンは限定されている
-- 未知のパスの確率が,既知のパスの確率と比べて小さいとき...
- 実験
-- 固有表現抽出問題:データ数に対して線形ぐらい
潜在パーセプトロン
- 収束性などの議論
- コード: http://www.ibis.t.u-tokyo.ac.jp/XuSun
* セッション3(人間行動と潜在世界) [#b5e608e3]
** 潜在ダイナミクスとしての「都合」 [#pae77af6]
大澤幸生(東京大学)
チャンス発見
- ペンのノック部分のデザイン:クリック音がする → 数はすく...
- 冷蔵庫:野菜が全部見えるように
- 市場に顕在化するまえの状態を見つけたい
KeyGraph:可視化
- 高頻度が黒いキーワード,赤いキーワードは低頻度だが高頻...
- 可視化したものを専門化が見て潜在的なトピックを拾う
- 地震の例:群馬県北部 → あまり揺れないところだが目立って...
- 肝炎の例:肝臓の検査項目のパス → インターフェロンを投与...
- KeyGraphの距離:simpson係数(AND/MAX) 相互情報量
KDDプロセスの前に
- 専門化の意見を受け入れる心構えを作る
- レアイベントの意味についてじっくり考える心構えを作る
都合 (I,P,D)
- 意図 I:行動シナリオの背景にある目的意識
- 前提制約 P:意図達成するために必要な制約
- 派生制約 D:前提制約から生じる制約
** トラブルの経験と情報としての活用技術 [#b138dbe6]
宮野廣(法政大学、日本保全学会 特別顧問)
- 原発のトラブルデータ + 新設計データ(knowhowで非公開が多...
- 原子力プラントのDB:審議会資料,原子力施設運転管理年表...
-- 国際DB:iGALL (int'l Generic Ageing Lessons Learned Gu...
- データには主観があるので,それをどう扱うか
-- 結論にいたる過程で情報の取捨選択がある
-- 企業の競争力を左右するため,ノウハウ部分は公開されない
- タコマ橋:Kalmanが調査していた
- 双子渦:写真に撮れたりとか観測されてから分析が可能になる
- 知識を生かして知恵にするための方法論が必要
- 多くの記述的知識を予め組み込み知識化しておくことで,デ...
* セッション4(潜在世界の揺らぎ) [#a11af66c]
** 揺らぎと偏りから読み解く潜在構造 [#u594e01f]
前野義晴(Social Design Group)
発見とは?
- 19世紀の天文学
-- 天王星の挙動がニュートンの方程式と合わない → 海王星の...
-- 水星の歳鎖運動の異常 → アインシュタインの一般相対性理...
拡散 (diffusion)
- 確率的に時間発展する
- 自然現象・社会現象における拡散にはヘテロ性がある
- 例:感染症の拡散,交通ネットワークでの人の移動,ネット...
感染症の広がり
- ランダムネットの場合:一つのノードで発生した場合
- 順問題:システムの特徴から,観測結果をえる
- 逆問題:観測結果から,システムの特徴を得る → プロファイ...
プロファイリング
- 拡散現象を支配するパラメータを見つける
- SIRモデル:S(健康未感染),I(病気),R(回復後)
- 病気が直ったら免疫ができてもうかからない
- 各状態の人がノード間を移動する
- 感染者数の変化の微分が,全人口の感染可能性のある割合の...
-- ノイズはポワソン的になっている
- SARSの時の事例
ノード発見
- 観測されていないノードが原因となった拡散を観測可能な周...
- 既知データから観測ノードにたいするプロファイリングを実行
- 推定結果と観測結果の差が大きい部分から,観測されないノ...
** 潜在的グラフ構造からの異常検知 [#ob172748]
井手剛(IBM東京基礎研究所)
動機
- 異常検知:変数同士の関係の崩れを検出したい
-- 異常が起きたとき,どの変数が異常なのかを見つける
- 構造学習の難しさ
-- 安定かどうか?いろいろ関係は見つかるけど,ちょっとの変...
- 相関の強いペアについては関係が安定している → 本質的に関...
グラフィカル・ガウシアン・モデル
- 多変量ガウス分布の精度行列がグラフの隣接行列になっている
- 疎なグラフを作りたい
-- 共分散行列の逆行列を求めてしきい値できる → しきい値に...
-- 共分散構造選択 (Dempster 72):小さい値を0にして,残り...
- L1正則化を使って疎にする
- 観測モデルは独立な正規分布 + ラプラス事前分布
-- graphical lasso アルゴリズムで解く
-- [Meinshausen+ 06] の方法も試したがノイズがあり共線性の...
- 学習された確率モデルを使って,各変数の異常度をKL距離で...
ページ名: