第5回 情報論的学習理論と機械学習研究会†
このページはしましまが第5回電子情報通信学会 情報論的学習理論と機械学習研究会 に参加してとったメモです．私の主観や勘違いが含まれていたり，私が全く分かってなかったりしていますので，その点を注意してご覧ください．誤りがあれば，指摘してください．
Direct Density-Ratio Estimation with Dimensionality Reduction via Hetero-Distributional Subspace Analysis†
○Makoto Yamada・Masashi Sugiyama（Tokyo Tech）
- 仮定：密度比の分母と分子は，部分空間 U でのみ異なる → 部分空間の密度比が全体の密度比
- 密度をカーネルを使って直接的にモデル化．部分空間はLFDA法を利用
- 密度比が1だと0になり，1から離れると大きくなるピアソンダイバージェンスを導入．
- 部分空間の探索と，ピアソンダイバージェンスの最大化を交互に繰り返す．
凸最適化に基づくテンソル分解の統計的性能について†
○冨岡亮太・鈴木大慈（東大）・林 浩平（奈良先端大）・鹿島久嗣（東大）
- サンプル数＜次元数 → スパース・低ランクを仮定して実際のパラメータがサンプル数より少なく → 今回は低ランク仮定
- Schattten 1-ノルム （核ノルム，traceノルム；特異値の和）を最小化して行列分解する（凸最適化で削減後の次元も決定できてうれしい） → テンソルへの拡張
- テンソルのモード k 展開
k) についてSchatten 1ノルムを考える．
- 観測値とテンソルのモデルの二乗誤差 + このSchtten 1ノルムの最小化で次元削減
Semi-supervised Metric Learning Paradigm with Hyper Sparsity†
○Gang Niu（Tokyo Tech）・Bo Dai（CAS）・Makoto Yamada・Masashi Sugiyama（Tokyo Tech）
- 距離学習：一部のペアに近づくべきと，遠ざかるべきのラベルがある．
- 近く・遠くのラベルを辺に付ける確率を考え，ラベルの伝搬問題として解く
- この確率のパラメータ化で，求める距離の重み A をパラメータとして，ラベルが付く確率が定式化されている
- 最大エントロピー法系の手法でパラメータを推定
［招待講演］Privacy Research Meets Machine Learning†
○佐久間 淳（筑波大）
- データプライバシ：（秘密情報→公開情報）⇒（公開情報→秘密情報）
- 秘密情報を直接秘密のまま通信するセキュリティの問題とは異なる
- input privacy / PPDM / output privacy の三つに分類 (その他クラウドが関連する系)
- input privacy：秘密情報を匿名化して公開．ただし，あとで公開した情報は分析に必要な情報は保持しているが，秘密にしたいところは守られる．
- privacy preserving data mining：複数の参加者が分散して秘密情報を保持．全体を合わせたデータを分析した結果を，互いに秘密情報を明かすことなく得る．
- output privacy：秘密情報から計算した結果を公開する．ただし，公開した情報から，元になった秘密情報が暴かれないように．
PPDM
- 秘匿関数評価 (secure function evaluation)
- A と B がそれぞれの秘密データで互いに知らせない．これらを結合した A∪B のデータに対する関数値 f(A∪B) を計算する
- ここでは準同形性公開鍵暗号を使う方法：元のメッセージを暗号化した状態から，それらの和や積を暗号化したものを復号化することなく計算可能
オンライン予測のPPDM
- エキスパートを選ぶタイプのregret最小化のオンライン予測 → 一番予測性能がましなエキスパートを選ぶ
- regret が期間 T について O(T) より小さくなるようにする (Hannan consistency)
- [Vovk 90] Exponential weighting learner の上界 √{2 T ln N}
- 部分情報モデル：1ステップで一人にエキスパートにしか聞けない
- [Auer+ 2003] Exp3 2√{e - 1} √{N T ln N}
- エキスパートと通信はするが，情報はもらわないという状況で予測は可能か？
- oblibious roulette 問題に帰着：Dealer はルーレットの番号をその当たり確率を決めることができる．プレイヤーは値だけ分かる
- 完全情報モデルと同等の √{2 T ln N} を達成
リンク予測問題
- ノードのラベルとリンクの有無が秘密で，ラベルが未知のノードのラベルを予測
output privacy
- 秘密のデータ D について，f(D) を公開するが，f(D) から D の内容を知られないように，f(D) の値をちょっと変えるその変え方 → differential privacy
- A さんのデータが D に入っているときと，入っていないときで f(D) の値があまり違わない
- 入っている場合と入っていない場合にある値を返す確率の比がたかだか exp(ε) で抑えられる
- クエリの結果にラプラス分布に従うノイズを加えることで達成可能
differentially private ERM minimization
- 秘密データから学習して，学習後の学習器を公開．ある学習器になる比率について exp(ε) で抑えられるように
- 学習後に摂動を加えるのではなく，ノイズ項を学習の目的関数に加えることでよりよいプライバシと精度のトレードオフを達成
手持ちのデータからの計算結果が半正定値行列（カーネルとか）になる場合
MLのprivacy researchへの応用可能性
- adversary と administrator の攻防
- SNS/Webサービスで，脱匿名化や属性推定を行う攻撃がクローリング・機械学習で御壊れている ← 機械学習で防げる？
- You miht also like privacy risks of collaborative filtering [Calandrino2011]
- Amazon の順位変動やおすすめアイテムの変化から購買行動を予測する
6月20日(月) 午後 構造学習 （14：30〜16：00）†
ネットワーク構造変化検出と広告効果測定への応用†
○早矢仕 裕・山西健司（東大）
○鈴木 譲（阪大）
- Krascalのアルゴリズム：相互情報量の大きなノード間に辺を作る．ただし，ループができるときは作らない．
- 相互情報量のベイズ的な拡張
- 相互情報量を最小記述長にする拡張 [Suzuki 1993]
- 離散と連続の特徴が混ざっている場合をでもユニバーサル測度を用いてOK
Estimation of Square-loss Mutual Information from Paired and Unpaired Samples†
○Marthinus Christoffel du Plessis・Makoto Yamada・Masashi Sugiyama（Tokyo Tech）
6月20日(月) 午後 符号・圧縮 （16：15〜17：45）†
○平井 聡・山西健司（東大）
- 混合ガウス分布の記述長を求めるのに正規化最尤符号を用いていたが，パラメータ依存性を減らす再正規化最尤符号を提案
- 混合数の推定問題に適用．
Efficient Algorithms for Universal Portfolio defined by Markov Models†
○Mariko Tsurusaki・Jun'ichi Takeuchi（Kyushu Univ.）
- 資産のポートフォリオの組み替え（リバランス）を行うCoverのユニバーサルポートフォリオ → 隠れ状態付きモデルとして解釈できる
- Constant Rebalanced Portfolio (CRP)：毎日自分のポートフォリオが一定になるように売買．この戦略で利益を最大化するポートフォリオが最適CRP
- 利得の比を確率とみなすと，隠れ状態のあるモデルと解釈可能
- ベルヌーイ分布になっている項をマルコフモデルに変える拡張．ずっと前の影響も考慮できるようになる．
ウェーブレット木によるバイナリコードの高速検索†
○田部井靖生（JST）・津田宏治（産総研）
- ε近傍検索：距離ε内にある点を高速に発見する
- 空間分割に基づく方法（高次元データに弱い，メモリ効率悪い）
- locality sensitive code：元の距離の近さがハミング距離（エラーと測度のトレードオフの調整が困難）→ 幾何制約をとりいれた方法の提案
- ウェーブレット木：整数配列のself-index(元を復元できる)．区間長に対して定数時間，n log sビット (配列長 n と整数の最大値 s)
- Range intersection：指定した二つの区間にある共通の要素を求める集合演算を高速に行う
- 幾何制約：クエリについて第1主成分に射影したデータについてもε以内にある → 高速化に活用
6月21日(火) 午前 物理学的アプローチ†
マルチカノニカル法によるレアイベントサンプリングとサロゲートデータ生成への応用†
○伊庭幸人（統計数理研）
- MCMC：1950〜物理学の分野で，1990〜：ベイズ統計を統計・情報処理で進展
- レアイベントのサンプリング
- x サンプル分布 π(x)，統計量 ξ(x) の分布 P(x) の裾での値を知りたい → 普通にサンプルしても出てこないので重み Q を使って π(x)Q(ξ(x)) をサンプル
- マルチカノニカル重み： Q(x) P(x) が一定になるような重みを設定
- レプリカ法と違って，シミュレーションは一つだけなことに注意
- P(x) にも一定の重みがあるので，この分布の密度が大きな部分も通って，異なる裾の部分を行き来できることがポイント
- マルチカノニカル重みの決め方
- 重みを逐次的に学習：観測されたξの値の分布を使って Q を変化させてゆく
- ワン・ランダウ法：物理でよく使われる
- サロゲート法
- データのうち注目する統計量だけが(近似的に)等しくなっているような仮想データ
- 例：時系列で順番をかえて各時点での周辺分布を変えず，2次の相関は保存されているようなデータ → 検定して有意差があれば2次の相関だけでは説明できないことが分かる
- レアイベントサンプリングの技術が必要に
適応信号処理の統計力学的解析†
○三好誠司・梶川嘉延（関西大）
- アクティブ・ノイズ・コントロール逆位相の波をぶつけて雑音を低減する
- ぶつける波を出すスピーカから耳までの部分が問題になる
- FIRフィルタ：部分時系列と重みの内積
- 誤差信号の2乗を最小化する LMS を使って重みを決める Filtered-X LMS アルゴリズム
- FIRフィルタは内積なので，パーセプトロンと類似 → この知見に基づく解析
量子アニーリングによる無限混合モデルの並列最適化†
○佐藤一誠（東大）・栗原賢一（Google）・田中 宗・宮下精二・中川裕志（東大）
- 観測されたデータ X が与えられたとき離散潜在変数 σ を最大化する計算を並列化
- 量子アニーリング：Suzuki-Trotter近似
- 複数のシミュレーションを，互いに相互作用を持たせる．相互作用の強さ f はだんだん強くする
- シュミレーションの時間軸と，複数のシミュレーションを表す循環しているTrotter軸とがある
- 量子CRPの直感的説明
- CRPだと，人を一人ずつ独立に別のテーブルに動かすが
- 複数のCRPを考えて，別のCRPで動かす人と同じテーブルに座っている人がいるテーブルに行く確率を exp(人数×f) 倍する
- f をだんだん強くしていくと，全てのCRPが同じに揃っていく
［招待講演］招待講演:みまもり工学への一歩 〜生活センシングデータの処理〜†
○森 武俊（東大）
- 健康科学と統計科学のイメージ：いろいろな要因の健康への影響を統計的に有意なエビデンスについての研究
- 看護学と統計科学：DESIGN-R (床ずれの度合いの定量指標) のシートがあり，治癒の経過などを分析したりする
- 少子高齢化
- 認知症の増加：80歳を超えると15%ぐらい，準認知症のMCIを含めると50%以上
みまもり支援
- 環境型システム
- ロボティックルーム1：ロボットアームが作業支援
- 人による指示を待つことしかできない．あらかじめ用意した作業しかできない．
- 人間行動計測・支援ルーム
- センサーのデータから，人間の行動を予測して，いろいろな提案を行う
- 床・ベッド・いすなどに設置した感圧センサーや，家具・家電にスイッチセンサーから，毎日の行動パターンをモデル化
- センサーでかなりの行動程度が把握できる
- 関連研究に共通の課題・なやみ
- 計測専用住居をつくるとよそ行きの行動になる．住居環境にセンサーを付けると長期のデータはとれない
- 緊急時に対処するため研究室の近く，実験機材を運用する場所・電気・通信の問題…
- 設置センサー：市販のセンサーで設置運用が容易なもの
- 焦電：人体の赤外線
- 接近：近づいたか
- 電流：家電を使ったか
- Laser Range Finder：周囲への距離センサー
- 行動正解データ：センサーの状況を見せながら，被験者に行動を思い出して筆記してもらう
- データの時間合わせは，サーバへのデータ到着時間で
- トラブルで訪問したのは，5年弱で10回程度
- 分析例
- レンジファインダーのデータから行動軌跡をとる
- クラスタリングするとセントロイドはうまく停留点に一致した．季節がかわってもほぼ同じ．
- 停留点間の移動で行動がほぼ把握できる
- より情報の少ない焦電センサーでもやってみたところ，各部屋について2〜3種程度の行動の検出はできそうだ
6月21日(火) 午後 強化学習†
Analysis and Improvement of Policy Gradient Estimation†
○Tingting Zhao・Hirotaka Hachiya・Gang Niu・Masashi Sugiyama（TokyoTech）
- 強化学習：価値関数を通じて方策を求める policy iterationと，方策を直接モデル化する policy search → 後者
- REINFORCE法に対するPGPE法の利点の理論的証明
論理制約付きトピックモデルのためのディリクレ森事前分布構成法†
○小林隼人・若木裕美・山崎智弘・鈴木 優（東芝）
- LDA-DF (Andrzejewki+ ICML2009)：同じトピックになるかどうかをしめす must-link と cannot-link を使える
- リンクの任意の論理表現を表す事前分布：ML は CL がリテラルで，それらの論理表現を扱えるよう拡張する
- ディリクレ木分布：木のノードでディリクレ分布に従って確率の分配を行う
- ML のときは木の先の方でリンクされた要素が同じ確率を持ちやすいようにパラメータを設定
- cannotリンクでは，同時にでないような別々の木で表現
- これらのプリミティブを，
○山崎啓介（東工大）
- 出力記号列の数が増えてきたときの潜在状態の精度解析
- 真のモデルを仮定．状態数は K*．モデルの状態数は K≧K* とする．
- 評価値：真のモデルと予測モデルのKLダイバージェンス + 余分な状態があるとペナルティ
- この誤差の下界を計算
- ディリクレ分布のハイパーパラメータを調整しても，状態数の推定については影響を与えることはできない．
![[PukiWiki]](image/ibisforest.png "[PukiWiki]")
