しましま/IBISML005
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
* 第5回 情報論的学習理論と機械学習研究会 [#z1b3db3b]
このページはしましまが[[第5回電子情報通信学会 情報論的学...
** Direct Density-Ratio Estimation with Dimensionality Re...
○Makoto Yamada・Masashi Sugiyama（Tokyo Tech）
- 仮定：密度比の分母と分子は，部分空間 U でのみ異なる → ...
- 密度をカーネルを使って直接的にモデル化．部分空間はLFDA...
- 密度比が1だと0になり，1から離れると大きくなるピアソンダ...
- 部分空間の探索と，ピアソンダイバージェンスの最大化を交...
** 凸最適化に基づくテンソル分解の統計的性能について [#m36...
○冨岡亮太・鈴木大慈（東大）・林 浩平（奈良先端大）・鹿島...
- サンプル数＜次元数 → スパース・低ランクを仮定して実際の...
- Schattten 1-ノルム （核ノルム，traceノルム；特異値の和...
- テンソルのモード k 展開 X(k) についてSchatten 1ノルムを...
- 観測値とテンソルのモデルの二乗誤差 + このSchtten 1ノル...
** Semi-supervised Metric Learning Paradigm with Hyper Sp...
○Gang Niu（Tokyo Tech）・Bo Dai（CAS）・Makoto Yamada・Ma...
- 距離学習：一部のペアに近づくべきと，遠ざかるべきのラベ...
- 近く・遠くのラベルを辺に付ける確率を考え，ラベルの伝搬...
- この確率のパラメータ化で，求める距離の重み A をパラメー...
- 最大エントロピー法系の手法でパラメータを推定
* ［招待講演］Privacy Research Meets Machine Learning [#h...
○佐久間 淳（筑波大）
- データプライバシ：（秘密情報→公開情報）⇒（公開情報→秘密...
-- 秘密情報を直接秘密のまま通信するセキュリティの問題とは...
- input privacy / PPDM / output privacy の三つに分類 (そ...
-- input privacy：秘密情報を匿名化して公開．ただし，あと...
-- privacy preserving data mining：複数の参加者が分散して...
-- output privacy：秘密情報から計算した結果を公開する．た...
PPDM
- 秘匿関数評価 (secure function evaluation)
-- A と B がそれぞれの秘密データで互いに知らせない．これ...
- ここでは準同形性公開鍵暗号を使う方法：元のメッセージを...
オンライン予測のPPDM
- エキスパートを選ぶタイプのregret最小化のオンライン予測 ...
-- regret が期間 T について O(T) より小さくなるようにする...
-- [Vovk 90] Exponential weighting learner の上界 √{2 T l...
- 部分情報モデル：1ステップで一人にエキスパートにしか聞け...
-- [Auer+ 2003] Exp3 2√{e - 1} √{N T ln N}
- エキスパートと通信はするが，情報はもらわないという状況...
-- oblibious roulette 問題に帰着：Dealer はルーレットの番...
-- 完全情報モデルと同等の √{2 T ln N} を達成
リンク予測問題
- ノードのラベルとリンクの有無が秘密で，ラベルが未知のノ...
output privacy
- 秘密のデータ D について，f(D) を公開するが，f(D) から D...
- A さんのデータが D に入っているときと，入っていないとき...
- 入っている場合と入っていない場合にある値を返す確率の比...
- クエリの結果にラプラス分布に従うノイズを加えることで達...
differentially private ERM minimization
- 秘密データから学習して，学習後の学習器を公開．ある学習...
-- 学習後に摂動を加えるのではなく，ノイズ項を学習の目的関...
手持ちのデータからの計算結果が半正定値行列（カーネルとか...
- 要素ごとに摂動させると半正定値性が崩れる
- 行列を特異値分解して，固有値はラプラス分布で摂動，固有...
MLのprivacy researchへの応用可能性
- adversary と administrator の攻防
-- SNS/Webサービスで，脱匿名化や属性推定を行う攻撃がクロ...
- You miht also like privacy risks of collaborative filte...
-- Amazon の順位変動やおすすめアイテムの変化から購買行動...
* 6月20日(月) 午後 構造学習 （14：30〜16：00） [#m2bab1b4]
** ネットワーク構造変化検出と広告効果測定への応用 [#nc7dc...
○早矢仕 裕・山西健司（東大）
- 複数の時系列データの系列間に潜在的な因子を含む関係(ベイ...
-- 関係の構造の時系列変化を求める
** Bayesian Chow-Liu アルゴリズム 〜 最も一般的なケース ...
○鈴木 譲（阪大）
- Krascalのアルゴリズム：相互情報量の大きなノード間に辺を...
-- Chow-Liuアルゴリズム：このグラフに基づくDendloid分布と...
- 相互情報量のベイズ的な拡張
- 相互情報量を最小記述長にする拡張 [Suzuki 1993]
- 離散と連続の特徴が混ざっている場合をでもユニバーサル測...
** Estimation of Square-loss Mutual Information from Pair...
○Marthinus Christoffel du Plessis・Makoto Yamada・Masashi...
- 二乗損失相互情報量
SMI＝(1/2) ∫∫ p(x) p(y) [ {p(x,y) / p(x) p(y)} - 1 ]^2 d...
- x と y の対応が分かっているサンプルと分かっていないサン...
* 6月20日(月) 午後 符号・圧縮 （16：15〜17：45） [#b8bc8...
** ガウス混合分布の再正規化最尤符号の効率的計算法とクラス...
○平井 聡・山西健司（東大）
- 混合ガウス分布の記述長を求めるのに正規化最尤符号を用い...
- 混合数の推定問題に適用．
** Efficient Algorithms for Universal Portfolio defined b...
○Mariko Tsurusaki・Jun'ichi Takeuchi（Kyushu Univ.）
- 資産のポートフォリオの組み替え（リバランス）を行うCover...
-- Constant Rebalanced Portfolio (CRP)：毎日自分のポート...
- 利得の比を確率とみなすと，隠れ状態のあるモデルと解釈可能
- ベルヌーイ分布になっている項をマルコフモデルに変える拡...
** ウェーブレット木によるバイナリコードの高速検索 [#ef503...
○田部井靖生（JST）・津田宏治（産総研）
- ε近傍検索：距離ε内にある点を高速に発見する
-- 空間分割に基づく方法（高次元データに弱い，メモリ効率悪...
-- locality sensitive code：元の距離の近さがハミング距離...
- ウェーブレット木：整数配列のself-index(元を復元できる)...
-- Range intersection：指定した二つの区間にある共通の要素...
- 幾何制約：クエリについて第1主成分に射影したデータについ...
* 6月21日(火) 午前 物理学的アプローチ [#ob8b4b12]
** マルチカノニカル法によるレアイベントサンプリングとサロ...
○伊庭幸人（統計数理研）
- MCMC：1950〜物理学の分野で，1990〜：ベイズ統計を統計・...
-- サンプリングしたい分布が定常分布になるようなマルコフ連...
-- サンプリング法であって，simulated annealing はあるが本...
-- 確率の低いパスがあると引っかかってしまう問題
- レアイベントのサンプリング
-- x サンプル分布 π(x)，統計量 ξ(x) の分布 P(x) の裾での...
- マルチカノニカル重み： Q(x) P(x) が一定になるような重み...
-- レプリカ法と違って，シミュレーションは一つだけなことに...
-- P(x) にも一定の重みがあるので，この分布の密度が大きな...
- マルチカノニカル重みの決め方
-- 重みを逐次的に学習：観測されたξの値の分布を使って Q を...
-- ワン・ランダウ法：物理でよく使われる
- サロゲート法
-- データのうち注目する統計量だけが(近似的に)等しくなって...
-- 例：時系列で順番をかえて各時点での周辺分布を変えず，2...
-- レアイベントサンプリングの技術が必要に
** 適応信号処理の統計力学的解析 [#g7d03776]
○三好誠司・梶川嘉延（関西大）
- アクティブ・ノイズ・コントロール逆位相の波をぶつけて雑...
-- ぶつける波を出すスピーカから耳までの部分が問題になる
- FIRフィルタ：部分時系列と重みの内積
-- 誤差信号の2乗を最小化する LMS を使って重みを決める Fil...
- FIRフィルタは内積なので，パーセプトロンと類似 → この知...
** 量子アニーリングによる無限混合モデルの並列最適化 [#r7d...
○佐藤一誠（東大）・栗原賢一（Google）・田中 宗・宮下精二...
- 観測されたデータ X が与えられたとき離散潜在変数 σ を最...
-- 特に事前分布がDirichlet過程のとき
- 量子アニーリング：Suzuki-Trotter近似
-- 複数のシミュレーションを，互いに相互作用を持たせる．相...
-- シュミレーションの時間軸と，複数のシミュレーションを表...
- 量子CRPの直感的説明
-- CRPだと，人を一人ずつ独立に別のテーブルに動かすが
-- 複数のCRPを考えて，別のCRPで動かす人と同じテーブルに座...
-- f をだんだん強くしていくと，全てのCRPが同じに揃っていく
** ［招待講演］招待講演:みまもり工学への一歩 〜生活センシ...
○森 武俊（東大）
- 健康科学と統計科学のイメージ：いろいろな要因の健康への...
- 看護学と統計科学：DESIGN-R (床ずれの度合いの定量指標) ...
- 少子高齢化
-- 認知症の増加：80歳を超えると15%ぐらい，準認知症のMCIを...
みまもり支援
- 環境型システム
- ロボティックルーム1：ロボットアームが作業支援
-- 人による指示を待つことしかできない．あらかじめ用意した...
- 人間行動計測・支援ルーム
-- センサーのデータから，人間の行動を予測して，いろいろな...
-- 床・ベッド・いすなどに設置した感圧センサーや，家具・家...
-- センサーでかなりの行動程度が把握できる
- 関連研究に共通の課題・なやみ
-- 計測専用住居をつくるとよそ行きの行動になる．住居環境に...
-- 緊急時に対処するため研究室の近く，実験機材を運用する場...
- 設置センサー：市販のセンサーで設置運用が容易なもの
-- 焦電：人体の赤外線
-- 接近：近づいたか
-- 電流：家電を使ったか
-- Laser Range Finder：周囲への距離センサー
- 行動正解データ：センサーの状況を見せながら，被験者に行...
-- 粒度は1分程度，非常に多くの欠損値
- データの時間合わせは，サーバへのデータ到着時間で
- トラブルで訪問したのは，5年弱で10回程度
- 分析例
-- レンジファインダーのデータから行動軌跡をとる
-- クラスタリングするとセントロイドはうまく停留点に一致し...
-- 停留点間の移動で行動がほぼ把握できる
- より情報の少ない焦電センサーでもやってみたところ，各部...
-- 外出・睡眠行動の時間帯ごとの異常検出
* 6月21日(火) 午後 強化学習 [#l38ad137]
** Analysis and Improvement of Policy Gradient Estimation...
○Tingting Zhao・Hirotaka Hachiya・Gang Niu・Masashi Sugiy...
- 強化学習：価値関数を通じて方策を求める policy iteration...
- REINFORCE法に対するPGPE法の利点の理論的証明
* 6月21日(火) 午後 潜在変数モデル [#ia13f584]
** 論理制約付きトピックモデルのためのディリクレ森事前分布...
○小林隼人・若木裕美・山崎智弘・鈴木 優（東芝）
- LDA-DF (Andrzejewki+ ICML2009)：同じトピックになるかど...
-- リンクの任意の論理表現を表す事前分布：ML は CL がリテ...
- ディリクレ木分布：木のノードでディリクレ分布に従って確...
-- ML のときは木の先の方でリンクされた要素が同じ確率を持...
-- cannotリンクでは，同時にでないような別々の木で表現
- これらのプリミティブを，
** 隠れマルコフモデルおけるベイズ状態推定とその精度解析 [...
○山崎啓介（東工大）
- 出力記号列の数が増えてきたときの潜在状態の精度解析
- 真のモデルを仮定．状態数は K*．モデルの状態数は K≧K* と...
- 評価値：真のモデルと予測モデルのKLダイバージェンス + 余...
- この誤差の下界を計算
- ディリクレ分布のハイパーパラメータを調整しても，状態数...
終了行:
* 第5回 情報論的学習理論と機械学習研究会 [#z1b3db3b]
このページはしましまが[[第5回電子情報通信学会 情報論的学...
** Direct Density-Ratio Estimation with Dimensionality Re...
○Makoto Yamada・Masashi Sugiyama（Tokyo Tech）
- 仮定：密度比の分母と分子は，部分空間 U でのみ異なる → ...
- 密度をカーネルを使って直接的にモデル化．部分空間はLFDA...
- 密度比が1だと0になり，1から離れると大きくなるピアソンダ...
- 部分空間の探索と，ピアソンダイバージェンスの最大化を交...
** 凸最適化に基づくテンソル分解の統計的性能について [#m36...
○冨岡亮太・鈴木大慈（東大）・林 浩平（奈良先端大）・鹿島...
- サンプル数＜次元数 → スパース・低ランクを仮定して実際の...
- Schattten 1-ノルム （核ノルム，traceノルム；特異値の和...
- テンソルのモード k 展開 X(k) についてSchatten 1ノルムを...
- 観測値とテンソルのモデルの二乗誤差 + このSchtten 1ノル...
** Semi-supervised Metric Learning Paradigm with Hyper Sp...
○Gang Niu（Tokyo Tech）・Bo Dai（CAS）・Makoto Yamada・Ma...
- 距離学習：一部のペアに近づくべきと，遠ざかるべきのラベ...
- 近く・遠くのラベルを辺に付ける確率を考え，ラベルの伝搬...
- この確率のパラメータ化で，求める距離の重み A をパラメー...
- 最大エントロピー法系の手法でパラメータを推定
* ［招待講演］Privacy Research Meets Machine Learning [#h...
○佐久間 淳（筑波大）
- データプライバシ：（秘密情報→公開情報）⇒（公開情報→秘密...
-- 秘密情報を直接秘密のまま通信するセキュリティの問題とは...
- input privacy / PPDM / output privacy の三つに分類 (そ...
-- input privacy：秘密情報を匿名化して公開．ただし，あと...
-- privacy preserving data mining：複数の参加者が分散して...
-- output privacy：秘密情報から計算した結果を公開する．た...
PPDM
- 秘匿関数評価 (secure function evaluation)
-- A と B がそれぞれの秘密データで互いに知らせない．これ...
- ここでは準同形性公開鍵暗号を使う方法：元のメッセージを...
オンライン予測のPPDM
- エキスパートを選ぶタイプのregret最小化のオンライン予測 ...
-- regret が期間 T について O(T) より小さくなるようにする...
-- [Vovk 90] Exponential weighting learner の上界 √{2 T l...
- 部分情報モデル：1ステップで一人にエキスパートにしか聞け...
-- [Auer+ 2003] Exp3 2√{e - 1} √{N T ln N}
- エキスパートと通信はするが，情報はもらわないという状況...
-- oblibious roulette 問題に帰着：Dealer はルーレットの番...
-- 完全情報モデルと同等の √{2 T ln N} を達成
リンク予測問題
- ノードのラベルとリンクの有無が秘密で，ラベルが未知のノ...
output privacy
- 秘密のデータ D について，f(D) を公開するが，f(D) から D...
- A さんのデータが D に入っているときと，入っていないとき...
- 入っている場合と入っていない場合にある値を返す確率の比...
- クエリの結果にラプラス分布に従うノイズを加えることで達...
differentially private ERM minimization
- 秘密データから学習して，学習後の学習器を公開．ある学習...
-- 学習後に摂動を加えるのではなく，ノイズ項を学習の目的関...
手持ちのデータからの計算結果が半正定値行列（カーネルとか...
- 要素ごとに摂動させると半正定値性が崩れる
- 行列を特異値分解して，固有値はラプラス分布で摂動，固有...
MLのprivacy researchへの応用可能性
- adversary と administrator の攻防
-- SNS/Webサービスで，脱匿名化や属性推定を行う攻撃がクロ...
- You miht also like privacy risks of collaborative filte...
-- Amazon の順位変動やおすすめアイテムの変化から購買行動...
* 6月20日(月) 午後 構造学習 （14：30〜16：00） [#m2bab1b4]
** ネットワーク構造変化検出と広告効果測定への応用 [#nc7dc...
○早矢仕 裕・山西健司（東大）
- 複数の時系列データの系列間に潜在的な因子を含む関係(ベイ...
-- 関係の構造の時系列変化を求める
** Bayesian Chow-Liu アルゴリズム 〜 最も一般的なケース ...
○鈴木 譲（阪大）
- Krascalのアルゴリズム：相互情報量の大きなノード間に辺を...
-- Chow-Liuアルゴリズム：このグラフに基づくDendloid分布と...
- 相互情報量のベイズ的な拡張
- 相互情報量を最小記述長にする拡張 [Suzuki 1993]
- 離散と連続の特徴が混ざっている場合をでもユニバーサル測...
** Estimation of Square-loss Mutual Information from Pair...
○Marthinus Christoffel du Plessis・Makoto Yamada・Masashi...
- 二乗損失相互情報量
SMI＝(1/2) ∫∫ p(x) p(y) [ {p(x,y) / p(x) p(y)} - 1 ]^2 d...
- x と y の対応が分かっているサンプルと分かっていないサン...
* 6月20日(月) 午後 符号・圧縮 （16：15〜17：45） [#b8bc8...
** ガウス混合分布の再正規化最尤符号の効率的計算法とクラス...
○平井 聡・山西健司（東大）
- 混合ガウス分布の記述長を求めるのに正規化最尤符号を用い...
- 混合数の推定問題に適用．
** Efficient Algorithms for Universal Portfolio defined b...
○Mariko Tsurusaki・Jun'ichi Takeuchi（Kyushu Univ.）
- 資産のポートフォリオの組み替え（リバランス）を行うCover...
-- Constant Rebalanced Portfolio (CRP)：毎日自分のポート...
- 利得の比を確率とみなすと，隠れ状態のあるモデルと解釈可能
- ベルヌーイ分布になっている項をマルコフモデルに変える拡...
** ウェーブレット木によるバイナリコードの高速検索 [#ef503...
○田部井靖生（JST）・津田宏治（産総研）
- ε近傍検索：距離ε内にある点を高速に発見する
-- 空間分割に基づく方法（高次元データに弱い，メモリ効率悪...
-- locality sensitive code：元の距離の近さがハミング距離...
- ウェーブレット木：整数配列のself-index(元を復元できる)...
-- Range intersection：指定した二つの区間にある共通の要素...
- 幾何制約：クエリについて第1主成分に射影したデータについ...
* 6月21日(火) 午前 物理学的アプローチ [#ob8b4b12]
** マルチカノニカル法によるレアイベントサンプリングとサロ...
○伊庭幸人（統計数理研）
- MCMC：1950〜物理学の分野で，1990〜：ベイズ統計を統計・...
-- サンプリングしたい分布が定常分布になるようなマルコフ連...
-- サンプリング法であって，simulated annealing はあるが本...
-- 確率の低いパスがあると引っかかってしまう問題
- レアイベントのサンプリング
-- x サンプル分布 π(x)，統計量 ξ(x) の分布 P(x) の裾での...
- マルチカノニカル重み： Q(x) P(x) が一定になるような重み...
-- レプリカ法と違って，シミュレーションは一つだけなことに...
-- P(x) にも一定の重みがあるので，この分布の密度が大きな...
- マルチカノニカル重みの決め方
-- 重みを逐次的に学習：観測されたξの値の分布を使って Q を...
-- ワン・ランダウ法：物理でよく使われる
- サロゲート法
-- データのうち注目する統計量だけが(近似的に)等しくなって...
-- 例：時系列で順番をかえて各時点での周辺分布を変えず，2...
-- レアイベントサンプリングの技術が必要に
** 適応信号処理の統計力学的解析 [#g7d03776]
○三好誠司・梶川嘉延（関西大）
- アクティブ・ノイズ・コントロール逆位相の波をぶつけて雑...
-- ぶつける波を出すスピーカから耳までの部分が問題になる
- FIRフィルタ：部分時系列と重みの内積
-- 誤差信号の2乗を最小化する LMS を使って重みを決める Fil...
- FIRフィルタは内積なので，パーセプトロンと類似 → この知...
** 量子アニーリングによる無限混合モデルの並列最適化 [#r7d...
○佐藤一誠（東大）・栗原賢一（Google）・田中 宗・宮下精二...
- 観測されたデータ X が与えられたとき離散潜在変数 σ を最...
-- 特に事前分布がDirichlet過程のとき
- 量子アニーリング：Suzuki-Trotter近似
-- 複数のシミュレーションを，互いに相互作用を持たせる．相...
-- シュミレーションの時間軸と，複数のシミュレーションを表...
- 量子CRPの直感的説明
-- CRPだと，人を一人ずつ独立に別のテーブルに動かすが
-- 複数のCRPを考えて，別のCRPで動かす人と同じテーブルに座...
-- f をだんだん強くしていくと，全てのCRPが同じに揃っていく
** ［招待講演］招待講演:みまもり工学への一歩 〜生活センシ...
○森 武俊（東大）
- 健康科学と統計科学のイメージ：いろいろな要因の健康への...
- 看護学と統計科学：DESIGN-R (床ずれの度合いの定量指標) ...
- 少子高齢化
-- 認知症の増加：80歳を超えると15%ぐらい，準認知症のMCIを...
みまもり支援
- 環境型システム
- ロボティックルーム1：ロボットアームが作業支援
-- 人による指示を待つことしかできない．あらかじめ用意した...
- 人間行動計測・支援ルーム
-- センサーのデータから，人間の行動を予測して，いろいろな...
-- 床・ベッド・いすなどに設置した感圧センサーや，家具・家...
-- センサーでかなりの行動程度が把握できる
- 関連研究に共通の課題・なやみ
-- 計測専用住居をつくるとよそ行きの行動になる．住居環境に...
-- 緊急時に対処するため研究室の近く，実験機材を運用する場...
- 設置センサー：市販のセンサーで設置運用が容易なもの
-- 焦電：人体の赤外線
-- 接近：近づいたか
-- 電流：家電を使ったか
-- Laser Range Finder：周囲への距離センサー
- 行動正解データ：センサーの状況を見せながら，被験者に行...
-- 粒度は1分程度，非常に多くの欠損値
- データの時間合わせは，サーバへのデータ到着時間で
- トラブルで訪問したのは，5年弱で10回程度
- 分析例
-- レンジファインダーのデータから行動軌跡をとる
-- クラスタリングするとセントロイドはうまく停留点に一致し...
-- 停留点間の移動で行動がほぼ把握できる
- より情報の少ない焦電センサーでもやってみたところ，各部...
-- 外出・睡眠行動の時間帯ごとの異常検出
* 6月21日(火) 午後 強化学習 [#l38ad137]
** Analysis and Improvement of Policy Gradient Estimation...
○Tingting Zhao・Hirotaka Hachiya・Gang Niu・Masashi Sugiy...
- 強化学習：価値関数を通じて方策を求める policy iteration...
- REINFORCE法に対するPGPE法の利点の理論的証明
* 6月21日(火) 午後 潜在変数モデル [#ia13f584]
** 論理制約付きトピックモデルのためのディリクレ森事前分布...
○小林隼人・若木裕美・山崎智弘・鈴木 優（東芝）
- LDA-DF (Andrzejewki+ ICML2009)：同じトピックになるかど...
-- リンクの任意の論理表現を表す事前分布：ML は CL がリテ...
- ディリクレ木分布：木のノードでディリクレ分布に従って確...
-- ML のときは木の先の方でリンクされた要素が同じ確率を持...
-- cannotリンクでは，同時にでないような別々の木で表現
- これらのプリミティブを，
** 隠れマルコフモデルおけるベイズ状態推定とその精度解析 [...
○山崎啓介（東工大）
- 出力記号列の数が増えてきたときの潜在状態の精度解析
- 真のモデルを仮定．状態数は K*．モデルの状態数は K≧K* と...
- 評価値：真のモデルと予測モデルのKLダイバージェンス + 余...
- この誤差の下界を計算
- ディリクレ分布のハイパーパラメータを調整しても，状態数...
ページ名:
![[PukiWiki]](image/ibisforest.png "[PukiWiki]")
