* 第8回 情報論的学習理論と機械学習研究会 [#sca4027d]
このページはしましまが[[第8回電子情報通信学会 情報論的学習理論と機械学習研究会>IBISML#IBISML008]] に参加してとったメモです．私の主観や勘違いが含まれていたり，私が全く分かってなかったりしていますので，その点を注意してご覧ください．誤りがあれば，指摘してください．
* 3月12日(月) 午前 ベイズ統計モデル [#y1c5f082]
** 非対称で個体差がある関係データ分析のための機会調整型無限関係モデル [#rc80a730]
○大濱 郁・飯田裕美（パナソニック）・喜田拓也・有村博紀（北大）
- 関係の非対称性：リンク・非リンクという対象ではなく，リンクと非リンク|Dont caare
-- リンクの有無を全体の背景分布とクラスタに固有の分布の混合分布でモデル化
- 対象の個体差：人にもアイテムにも影響の広がり・遭遇の可能性には差がある
-- 列側と行側の対象の遭遇率に応じた分布の論理積でリンクが生成されるとする
** 離散と連続の属性値が混在した場合のベイジアンネットワークの構造学習 [#s4ccde07]
○鈴木 譲（阪大）
- ベイジアンネットの変数が [0,1)∪{0,1,2,3…} みたいな離散と連続がまざった値域での構造学習
- 連続値は，階層的に二分していくヒストグラムを考えて扱う
** Latent Dirichlet Allocationを用いた潜在的構造変化検知 [#z19bf7cd]
○上田真士・冨岡亮太・山西健司（東大）・石黒勝彦・澤田 宏・上田修功（NTT）
- LDAで，単語はアイテム，トピックは嗜好パターンとみなす
- 時間区間ごとにモデルを作り，変化を区間の間の分布の類似性をヘリンジャー距離を使って測る
** 階層的構造を持つディリクレ過程混合モデルを用いたフルベイズ話者クラスタリング [#h2a66db6]
○俵 直弘・小川哲司（早大）・渡部晋治（NTT/MERL）・中村 篤（NTT）・小林哲則（早大）
- 話者クラスタリング：何人とか，誰が発話したかを見つけたい
- 従来法：階層的凝集的な手順で，BICが小さくなるようにクラスタにまとめてゆく
- 話者クラスタ内も，クラスタ間もディリクレ混合分布でモデル化，さらにディリクレ混合過程への拡張
** WAICを用いた無限混合ガウスモデルのハイパーパラメタ選択 [#j7939ba5]
○三木拓史・幸島匡宏・渡辺澄夫（東工大）
- WAIC：真のモデルが含まれていなくて，モデルが正則でなくてもOKな情報量規準
- 予測分布を利用したハイパーパラメータ選択手法の提案
* 3月12日(月) 午後 招待講演 (データマイニング) [#zef03e7e]
**［招待講演］サブシーケンスデータマイニングの再展開 [#he4b11df]
○安藤 晋（群馬大）
- Keogh の部分時系列のクラスタリングは無意味論文とか，部分系列の扱いでは既存手法が使えないことがある
- 応用：金融，医療，行動，バイオ
- 分類・クラスタリング：時系列が分割された状態でサンプルとして与えられている場合と，一つの時系列の部分系列を考える場合は区別すべき
- シンボル発見：特徴的な部分系列を発見する
- 異常検出：密度ベース手法，近傍の点密度をベースにする
- Keoghのスライディング部分時系列のクラスタリング結果には意味がないとする論文
-- 固有値問題と関連がある
-- 時系列部分系列の位相は低次部分構造から構成される．局所的には距離関数空間．
- 疎な領域では異常部分時系列が見つからない [Keogh 03]
-- スライディング窓を使うと，変化が徐々になってしまい，検出できなくなる
- BitSaveアルゴリズム
- スペクトラルクラスタリングの利用
- Referentialデータの利用：異常検出において，正常であるデータの例を補助データとして与える
* 3月12日(月) 午後 強化学習 [#va9f4777]
** 部分観測マルコフ決定過程ベルマン方程式のカーネル化 [#dc37528a]
○西山 悠（統計数理研）・Abdeslam Boularias（MPI）・Arthur Gretton（UCL）・福水健次（統計数理研）
- POMDP：HMMに行動と報酬を導入したもの
- カーネル化して，特徴空間での方策，価値関数，ベルマン方程式を考える
** 間接的価値関数推定におけるモデル選択 [#fe0275d8]
○幸島匡宏（東工大）
- 間接的価値関数推定：データが無限にはない場合→(状態,行動,次状態) にモデルの導入 + 状態+行動から次状態がでるブラックボックスを使って価値関数を学習
** Apprenticeship Learning for Model Parameters of Partially Observable Environments [#b90146db]
○Takaki Makino（Tokyo Univ.）・Johane Takeuchi（HRI-JP）
- 逆強化学習：エキスパートの適切な行動の例から，報酬関数を学習する．
-- さらに状態の観測にも不確定性がある場合
- 状態パラメータ推定に，決定の知識を利用する
** Efficient Sample Reuse in Policy Gradients with Parameter-based Exploration [#t0e3d9fb]
○Tingting Zhao・Hirotaka Hachiya・Masashi Sugiyama（Tokyo tech）
- 方策を価値関数に基づいて決める policy iteration と，方策を直接学習する policy search
- PGPE (policy gradient with parameter based exploration)：行動は状態の一般化線形モデルで決まる → 行動関数の学習を最急勾配で
- 探索行動もするためにサンプリングをするが，そのとき重点サンプリングを導入した IW-PGPE
* 3月12日(月) 午後 時系列解析 [#g49f5097]
** 高次元多重時系列データ解析のための正準多重整列法 [#o6cd5e7f]
○松原崇充（奈良先端大/ATR）・森本 淳（ATR）
- 人の歩行データをセンサーで収集し，フレームの対応付けを行う
-- フレームの対応付けがうまくできると，歩行パターンの特徴がうまく抽出できてうれしい
- ペア系列用の正準時間伸縮法 (CTW)：相関を高めるような系列の発見と，時間伸縮を動的計画法で行うDTWとの組み合わせ
-- これを，多重整列に拡張するため，目的関数を全てのペアについての和とする
** 無限長モデル距離を用いた異種時系列クラスタリング [#q5c7f9bf]
○広瀬俊亮・泉水克之（SAS）
- 長さや，位相が一定ではない時系列の集合をクラスタリング
- それぞれの系列を ARMA モデルあてはめて，モデルの表す分布間の距離をKLダイバージェンスで測ってクラスタリング
** ソーシャルネットワークにおける長期間拡散する話題の早期検出 [#v7fbdc09]
○斎藤翔太・冨岡亮太・山西健司（東大）
- Twitter で長期間に参照されるようなツイートを初期に予測
- トピックグラフ：ある話題の共有関係に基づくグラフ → ラプラス行列の固有値やコミュニティ数などいろいろ特徴量を計算 → その時間変化を調べる
- PCAで部分空間を求め，その補空間の要素が大きければ異常とみなす異常検出を利用
* 3月13日(火) 午前 統計数理 [#w14ec4ae]
** 高次元の判別分析におけるd一致性について [#ted5074b]
○綾野孝則（阪大）
- 各群が正規分布に従う判別分析で，次元数 d→∞ での振る舞い → どうのような判別器でも判別できないような分布のクラス
- θ→0 で d→∞ の条件下では誤判別率が期待的に 1/2 となるような，分布の差を表す指標θを提案
-- 二つの正規分布の分散が異なる場合
** An Accuracy Analysis of Bayes Latent Variable Estimation with Redundant Variables ○Keisuke Yamazaki（Tokyo Tech） [#ze064b6e]
- 混合分布など潜在変数 y がある分布で，観測変数 x から潜在変数を推定するモデル
-- 真のモデルでは潜在変数が 1 個だが，予測モデルでは潜在変数を2個考えたらどうなるか？
-- 誤差は，余分な潜在変数 Y2 が固定されている厳しいものと，二つ目は周辺化した分布で評価する緩いものを想定 → 事例数が増えたときの漸近評価
* 3月13日(火) 午前 学習法 [#q23dccdc]
** 能動学習における決定境界の安定性の検討 [#s929482b]
○高橋 洸・和泉勇治・橋本和夫（東北大）
- 能動学習の活用（現在の決定境界をより明確に）と探索（新たに有望な決定境界を調査）
-- 探索→活用に徐々に移行する戦略
- 活用と探索の規準の線形和を評価指標とするが，その重みをどう変化させるか？
-- 事例を加えたことでSVMのサポートベクトルが動いた量を評価基準として採用
** Semi-Supervised Learning of Class-Prior Probabilities under Class-Prior Change [#j13a71e3]
○Marthinus Christoffel du Plessis・Masashi Sugiyama（TokyoTech）
- テストと訓練でクラスの事前分布が変化する状況
- 訓練とテストのデータの分布をマッチさせるようにEMアルゴリズムを使うことで，テストデータのクラスの割合を推定
* 3月13日(火) 午後 招待講演 (統計数理) [#y3ef028f]
** ［招待講演］計算機代数を用いた情報幾何学と漸近的推定理論 [#af661dd6]
○小林 景（統計数理研）
- 統計的推定と代数方程式：最尤推定をするのに対数尤度関数微分が0になる方程式が多項式の方程式となる場合を考える
-- 多項式環やイデアルを導入し，代数の問題として扱う
* 3月13日(火) 午後 行列分解、応用 [#a6f0d254]
** 上位カテゴリにおける観測データが与えられる場合の行列およびテンソル分解法 [#k7aa3cff]
○相本佳史・鹿島久嗣（東大）
- 詳細なカテゴリが観測されるのではなく，よりカテゴリ階層の中で抽象的な値が観測される状況を想定
-- 最下位の抽象度の観測数を推定する
- 上位カテゴリの観測数の制約の下，上位カテゴリのみの観測数の推定と，ランクの制約下での総観測数の推定とを交互に反復する
** アクティブ計測とパッシブ計測を用いたパケットロス率推定法 [#o255e36d]
○宮本敦史・渡辺一帆・池田和司（奈良先端大）
- ネットワークに能動的にパケットを流して各パスの損失率を観測するアクティブ計測と，分からない経路でロス率を観測するパッシブ計測の両方がある場合
- パッシブ計測で，アクティブ計測で計測されていない経路のロス率を潜在変数としたモデル化
* 3月13日(火) 午後 能動学習、相互情報量、他 [#ydf5d13b]
** Improving Importance Estimation in Pool-based Batch Active Learning for Approximate Linear Regression [#la9baf3c]
○Nozomi Kurihara・Masashi Sugiyama（Tokyo Tech）
- 共変量シフト環境下での能動学習
- サンプル点を選択にあたって，包含確率の逆数を利用する改良
** Early Stopping Heuristics in Pool-Based Incremental Active Learning for Least-Squares Probabilistic Classifier [#h31c35b2]
○Tsubasa Kobayashi・Masashi Sugiyama（Tokyo Tech）
- 逐次的な能動学習を続けてゆくとある時点から汎化誤差が逆に増えてずっとやっていると受動学習と同じになってしまう → 途中でやめたい
- 般化誤差を交差確認で求めると，サンプル点をiidで選んでないので誤差を過大評価
- 経験誤差を般化誤差の代用にすると，最初は過小評価で，あとは過大評価になる
- 経験確率二乗誤差を指標として使う提案
** Feature Selection via L1-Penalized Squared-Loss Mutual Information [#p5c4a969]
○Wittawat Jitkrittum・Hirotaka Hachiya・Masashi Sugiyama（Tokyo Tech）
- 特徴選択は，特徴の評価基準と選択の最適化手法に分けられる
- 最小二乗相互情報量と呼ぶ規準に，疎という条件がついた重みを導入することで探索コストを減らつつよい選択ができる手法の提案
** Squared-loss Mutual Information Regularization [#w187a869]
○Gang Niu・Wittawat Jitkrittum・Hirotaka Hachiya（Tokyo Tech）・Bo Dai（Purdue Univ.）・Masashi Sugiyama（Tokyo Tech）
- 入出力の変数の相互情報量を最大化する原理で分類器を学習
- そのための規準である二乗相互情報量(SMI)．p(x,y)とp(x)p(y)のピアソンダイバージェンスに相当
- モデルと経験分布の一致 + SMI + 普通の正則化 の形の目的関数
![[PukiWiki]](image/ibisforest.png "[PukiWiki]")
