![[PukiWiki]](image/ibisforest.png "[PukiWiki]")
2005年情報論的学習理論ワークショップ (IBIS2005) †このページはしましまがIBIS2005に参加してとったメモです． 私の主観や勘違いが含まれていたり，私が全く分かってなかったりしていますので，その点を注意してご覧ください．誤りがあれば，指摘してください． ホームページ： http://ibisml.org/ibis2005/
オーガナイズドセッション1「構造化データの機械学習」 †グラフ構造からの頻出パターンマイニング (チュートリアル講演） †猪口 明博 頻出アイテム集合列挙 †Aprioriアルゴリズムで，特定のアイテムを含むトランザクションで構成されるDBであるprojected DBを作ると，もとのDBにアクセスしなくてすむので高速． 頻出部分グラフマイニング †グラフの集合から，頻出する部分グラフを列挙． アイテム集合の場合と違って同一のグラフを重複列挙しないようにする工夫がカギ． 束を構成するときに，頂点を拡張するのと，辺を拡張するものがある． FSG †辺拡張，幅優先探索． 辺拡張なので，k+1個の辺を持つ候補はk個の辺が共通な二つのグラフから候補を生成． ここで共通な部分を見つけるためにグラフの同型問題を解かないといけないのが難点． AGM †頂点拡張，幅優先探索． グラフに辞書順を定義し，その中で最も前にあり，正準形とよぶものだけを考慮することで高速化． gSpan †辺拡張，深さ優先探索． GFSコードを使った辞書順を定義して枝狩り． GASTON †辺拡張，幅優先探索． パスと根無し木は重複なく列挙可能なので，これを使う． 処理できないcyclicなものだけ，別途処理する． 疎なグラフではcyclicな部分グラフは少ないので高速． どれがいいか？ †問題の拡張 †closed itemset mining †支持度が同じでアイテムに包含関係があるアイテム集合で最も大きなものがclosed pattern． closed patternがあれば，任意のアイテム集合の支持度が計算できる． 現在の最高速アルゴリズムLCM． sequence以上複雑な構造に一般化するのは高速化が困難． 汎化パターン †頂点ラベルや辺ラベルに階層構造がある場合． 3次元グラフ †グラフだと頂点間の距離や鏡像は扱えない． 単一のグラフ内で頻出する部分グラフの列挙 †支持度を，グラフが大きくなると非増加になるようにするには工夫が必要． ある部分グラフの埋め込みを考える．埋め込みを頂点とし，その埋め込み位置に共通部分がある場合を表す辺のグラフを考える．このグラフの頂点集合で，互いに隣接しない極大集合を抽出し，その頂点数を支持度とする． その他の応用 †グラフカーネルを用いた化学化合物の分類 †Liva Ralaivola，西郷 浩人，Sanjay Swamidass，Pierre Baldi finger print †化合物に含まれる部分構造に対応するビットが1になっているビット列． 全部の部分構造を見つけるのは大変なので，ここでは，ある原子から深さ優先で部分構造を探す．ループがあっても同じ辺は2度通らないようにする． finger printの類似度はバイナリベクトルの類似度で測る． 化学の分野で一般的なtanimoto係数(Jaccard係数)を表すカーネル． tanimotoカーネルと類似したMinMaxカーネル． tanimoto係数と，不一致を考えたときのtanimoto係数の加重平均のカーネル． 構造データのラベル付け学習モデルの設計 †坪井 祐太，鹿島 久嗣 構造ラベル付与問題 †構造を持つデータのノードにラベルを付与していく問題．
問題の枠組みは教師あり学習． 生成モデル型:隠れマルコフモデルによる方法 †ラベルが状態で，データが出力シンボルとして隠れマルコフモデルで定式化． モデルが学習できればViterbiアルゴリズムでラベルが付与できる． モデルの学習は単に頻度の数え上げで可能． 識別モデル型:多クラスのロジスティック回帰 †学習は最尤推定． 識別モデル型:条件付確率場 †観測組成(ラベルとデータの対)，遷移素性(遷移するラベルの対)に分解． 構造ラベル付与の損失 †
オーラルセッション１「基礎・理論」 †Generalization Error Estimation under Covariate Shift †Masashi Sugiyama，Klaus-Robert Muller 線形回帰問題で，テスト入力の分布q(x)が訓練の分布 p(x) に従って生じる場合 (共変量シフト)． 汎化エラーをテスト入力の分布について考えないといけない． 例：データが内部分を補うデータの外挿・内挿，データの分布を自分で決める能動学習など 最小2乗法 †モデルが正しいとバイアスは0になるが，正しくない場合は0にならない． q(x)/p(x)で重み付けするとバイアスは0にできるが，バリアンスは大きくなる． さらにパラメータを導入するとうまくバランスがとれる． ラムダの入った予測値と，真の内積をうまく近似計算して，パラメータをうまく推定． 修正赤池情報量(MAIC)，subspace ICなどの方法も． 長期予測のための階層的状態空間モデル †中田 貴之，竹内 純一 トレンド，周期，ARを含む時系列の予測 時系列モデル：トレンド，周期，ARの成分が加算になっモデル これを統一的に扱えるモデルが状態空間モデル． 式(9)と(10)のような潜在変数znを導入したモデルを考え，EMで解く． ベイジアンネットワークの構造学習における強一致性について †鈴木 譲 ベイジアンネットの構造推定問題． n個の変数があるとき2^n個のネットが考えられるが，サンプルから適切なものを情報量基準によって選ぶ． 強一致性を満たす情報量基準の罰則項の係数について． オーラルセッション２「アルゴリズム」 †ハイパパラメタを考慮した自然平滑化モデルによるオンラインベイズ学習の高精度化 †若原 牧生，中田 洋平，松本 隆 パラメータの変化のユークリッド距離を使ったガウス分布の代わりに， Fisher計量に基づく分布を使った平滑化モデル． パラメータの変化のモデルの変化に与える影響を一定にできるメリット． 疎な確率モデルによるクラス識別機の適応ＴＡＰ方程式に基づいたアルゴリズム †宇田 新介，樺島 祥介 平均場近似を用いてパーセプトロン型確率モデルのベイズ学習を効率的に行う． 自由エネルギー降下原理に基づく平均場方程式の解法 †外崎 幸徳，樺島 祥介 オーガナイズドセッション２「Intelligent Transportation Systems」 †ITS の最新動向と課題 †津川 定之，加藤 晋 自動車の問題点 †
解決：高度交通システムによる解消 (ITS) 最近の動向 †
全般的にITS通信の利用が発達
通信により把握できる状況の変化への対応した最適化技術が重要 交通全体の支援 †信号制御システム: 最も確率された交通流最適化の技術
経路誘導システム: 迷走，誤走の防止
VICSの発展動向: 道路交通情報，駐車場情報
車両走行支援 †運転支援システム
自動運転システム
ITSの課題 †
人間の行動予測モデルに基づく認知計算過程のモデル化とリスク評価 †水谷 健太郎，大森 隆司，石川 悟 ASV(先進安全自動車) †運転支援：追突防止，車線追従システム →人に応じた支援 他者の行動の意図推定 †
運転行動モデルの例 †視線移動による外界探索とステアリング操作とでモデルを構築 プローブカー情報を用いた動的経路案内システム「PRONAVI」の開発 †山本 俊行，三輪 富生，森川 高行 カーナビ †
この問題への対処法
PRONAVI †コンソーシアム体制での，プローブ情報に基づくナビゲーションの実験システム
リアルタイム情報 †プローブデータが連続ではない
プローブデータの蓄積DB †
最適経路探索 †
不確定な交通現象を最適化する需要予測型信号制御システム †宇佐美 勤，小林 雅文 信号制御の基礎 †
現行の信号制御方式 †
MODERATO †
オーラルセッション３「応用」 †経験ベイズ法に基づくスパイク時系列の解釈 †小山 慎介，篠本 滋 大脳皮質の層の違いによってスパイクパターンは異なるので，逆にパターンから活動している層が予測できるのではないか？ 脳のスパイク間隔データをスパイクの系列を分類する． 間隔はγ分布に従い，それが適宜リスケーリングされているモデル． γ分布のパラメータλは平滑であるとする事前分布を使って，超パラメータをMAP推定する． センサーネットにおける観測と通信の統計物理学 †村山 立人，ピーター, デイビス センサーネット: センサーを散布して無線でデータを集める． センサーネット全体の系についての解析． 計測ノイズへのロバスト性(センサーが多い方がいい)の データ伝送の省資源性(センサーが少ない方がいい)のトレードオフをレート歪み理論で解析する． センサーネット †
マネージャーに対してエージェントは多数なので，通信コストは高い． ⇒ 圧縮して送ろう トレードオフ: 高品質に圧縮したデータを少数⇔高圧縮率のデータを多数 リスク回避型学習 †鹿島 久嗣 コスト考慮型学習: 入力ベクトル x に対して有限個のアクション y のいずれかをとる． アクションの結果コスト c(x,y) が生じる．
通常は訓練データに対する平均コストを最小化⇒ バリュー・アト・リスク:トップ(1-β)%目のコスト 特別講演： Finding the Gobal Optimum using Belief Propagation - New Theoretical Results †Yair Weiss グラフィカルモデルのMAP推定をmax-product BPを使って解く
問題 †Belief Propagateion †通常のBP
Loopy max-product BP 従来のBPと違ってbeliefにタイがある場合について． オーガナイズドセッション３「変分ベイズ法」 †変分ベイズの基礎 †上田 修功 変分ベイズ †
生成モデルアプローチ †混合分布を考える．
ベイズ学習 †事後予測分布による推定 p(x|D)＝∫ p(x|θ) p(θ|D) dθ p(θ|D) をベイズ則で p(D|θ)で書くと積分の計算が大変
変分近似 †下限値の最大化で近似する方法． 分布qを新たに導入して，Jensenの不等式で下限に変換するのがポイント． MCMCは単調に振る舞わないが，変分は単調に振る舞う． MCMCと変分ベイズ †
変分ベイズによる MEG データ解析 †佐藤 雅昭，吉岡 琢，山下 宙人，梶原 茂樹，外山 敬介 脳科学で視覚，触覚，聴覚刺激に対する脳の反応を解析
MEG電流源推定問題： 観測される地場 B から，脳内の電流分布 J を B＝G J+ε の線形モデルを使って解く問題． Gは物理法則から機知． Jの事前分布の設計がミソ．
変動する環境下での独立成分分析と変分ベイズ法による解法 †平山 淳一郎，前田 新一，石井 信 オンライン変分ベイズ法 †オンライン学習のバッチ学習に対する利点
実現
独立成分分析 †変分ベイズを用いた音声認識 †渡部 晋治，南 泰浩，中村 篤，上田 修功 音声認識 †モデルと推定方法の改善点のうち，推定法を最尤推定→ベイズ推定して改良を試みる 音声認識のパラメータ数は数100万もあって，今までのモデルのパラメータそのままをベイズにするのは無理 ⇒音声認識をベイズの枠組みで再定式化 変分ベイズ学習理論入門 †渡辺 澄夫，渡辺 一帆，中島 伸一，星野 力 汎化誤差 †自由エネルギー †ハミルトニアン H(w)に対して p(w)=(1/Z)exp(-H(w))． 平衡状態で取り出すことができるエネルギー F＝-log(Z)． 相対エントロピー †二つの確率分布の差を表す ∫ q(x) log[ q(x) / p(x) ] dx KL情報量，平均対数尤度比ともいう ベイズ予測の分布 †汎化誤差の違い †
一般にF(n)≦F*(n)，事前分布が真ならば G(n)≦G*(n) 理論の応用に及ぼす影響 †オーガナイズドセッション４「音声・言語データコーパスとそれを用いた統計科学的手法による研究」 †文書検索・分類のための評価用データ †岩山 真 評価用データ †
プーリング: 正解のラベリングのコストを小さくするための評価手法 タグ付コーパスを用いたテキスト自動要約手法について †奥村 学，平尾 努
重要文抽出は重要文と非重要文の2値分類で処理する． 音声対話システムの運用と尤度に基づく音韻モデルの構築 †鹿野 清宏，Tobias Cincarek，加藤 智之 実環境での音声対話システム「たけまるくん」 †
コーパスに基づく雑音抑圧手法 †武田 一哉，李 衛鋒，チャン，フィ，ダット スペクトル減算法： 信号とノイズは加算されているだけなので，パワースペクトルも和になっていることを利用． 教師あり順序付け ― 手法の比較実験 †神嶌 敏弘（産総研）・賀沢秀人(NTT)・赤穂 昭太郎（産総研） |
