第28回 情報論的学習理論と機械学習研究会（IBISML）†
このページはしましまが 第28回電子情報通信学会 情報論的学習理論と機械学習研究会 に参加してとったメモです．私の主観や勘違いが含まれていたり，私が全く分かってなかったりしていますので，その点を注意してご覧ください．誤りがあれば，指摘してください．
3月6日(月) 午後 機械学習理論†
ノルム制約付き行列分解に基づいた行列補完問題に対する汎化誤差の導出†
○森富賢一郎・畑埜晃平・瀧本英二（九大）
- N×MのNMFで，セルが観測される確率の分布 D の存在（観測されない）
- 低ランク制約の既存研究
- 低ランク制約のとき，だいたい (N+M) K 個のサンプルで十分 [Srebro+,2005]
- 低ランクの代わりにトレースノルム {Shamir+,2011] O(√NM) (√N + √M) ぐらい
- ユーザベクトルのL1ノルムが1になる + 低ランク制約
- 一対比較データからの順位推定へ拡張
角転送行列法を用いた格子状マルコフ確率場の厳密計算†
○吉田智晴・渡辺一帆・梅村恭司（豊橋技科大）
- 分配関数・期待値の厳密計算の効率化と，近似計算の効率化
- 角転送行列法 (corner transfer matrix method)
- 分配関数は，要素格子ごとに定義されるボルツマン因子により記述できる
- 角転送行列：格子を四つに分割したときのそれぞれのブロックを四分面．四分面の縁のセルが与えられたときの，内部の分布を表すのが角転送行列
- 角転送行列は逐次的に拡大するときは効率的に計算できることを利用して，計算を効率化
- 分割CTM法：大きな行列を小さな行列に分解して，それぞれにCTM法を適用する近似解法
○南 賢太郎・駒木文保（東大）
- 劣モジュラは集合関数が対象で集合の有無を0/1で表す → 実数に緩和するのが Lovasz拡張
- 劣モジュラ正則化：パラメータの絶対値のLovasz拡張を正則化項とする
- 軸以外の部分にも頂点があるような多面体が実行可能領域になる
- グループlassoのようなもので，グループの重複を許したようなものを考えることができる
- この劣モジュラ正則化の自由度を求めた
吉田悠一（国立情報学研究所）
定数時間アルゴリズム
- 性質検査：入力がある性質 P を満たすかどうか判定したい → 緩和して，満たすにはほど遠いかどうかの判定 → 定数時間でできたりする
- 性質検査は理論的にはきれいなのだが，応用されていない：離散的な対象ばかり + 最適化を扱ってない
l∞損失最小化
- あるクラスのデータが 線形変換 + 有限区間上の一様分布 で生成
- x を中心とする矩形領域が，ある直線と交わるかどうかという l∞最小化問題で分類できる
- 受理→受理，拒否→拒否 で一定以上の正解率を達成しつつ，不明の解もゆるす
- 一部の事例について性質の有無を確かめるアルゴリズムで判定できる
3月6日(月) 午後 深層学習†
積分表現とKernel HerdingによるNeural Networkの学習†
○松原拓央・園田 翔・村田 昇（早大）
- 3層NNな任意の関数を表現できる．この関数表現は積分表現という形に書けるが，これはカーネルを用いた表現に書き換えることができる．
- Kernel Herding 法で，このカーネルを有限個のカーネルの足し合わせで近似できる
深層リカレントニューラルネットワークを用いたfMRIの解析及び脳機能の解読†
○大橋耕也・鈴木大慈（東工大）
- fMRIデータの分類を時間方向の情報をRNNで考慮することで精度を上げたい
- 短時間の分類精度では，時間情報を考慮しない方法に対して良かった
3月7日(火) 午前 最適化技法†
系列パターンマイニングよる予測モデリングのためのセーフプルーニングルールとバイオロギングデータ分析への応用†
○岸本 薫（名工大）・烏山昌幸（名工大/物質・材料研究機構/JST）・中川和也（名工大）・木村幸太郎（阪大）・依田 憲（名大）・梅津佑太・梶岡慎輔（名工大）・津田宏治（東大/理研/物質・材料研究機構）・竹内一郎（名工大/理研/物質・材料研究機構）
- バイオロギングで，生物が遠方の目的地にたどり着ける仕組みを調べる
- ログはBack，Leftなどのシンボル系列，この系列をクラス分類する
- 分類ではL1正則化で特徴を疎にするが，重みが 0 になることが分かる頻出パターンの探索を枝刈りして効率化する
Doubly Accelerated Stochastic Variance Reduced Gradient Method for Regularized Empirical Risk Minimization†
○Tomoya Murata・Taiji Suzuki（Tokyo Tech）
- 既存のバッチ最適化
- SVRG：SGD + variance reduction，最初はフル勾配，そのあとは単一事例勾配とフル勾配の差を考慮
- AccProxSVRG：SVRGに普通のNesterovモーメンタムを追加
- Katyusha：AccProxSVRG に現在点と初期点の中間に向かう負のモーメンタムを加えて，普通のモーメンタムの行き過ぎを防ぐ
- バッチサイズへの収束レートの依存を防ぎたい
- SVRGではなくSVRDA法にouter acceleration → DASVRDA
- batchごとの更新幅は，バッチ内の更新の重み付き平均になるが，その更新方向とバッチの最終位置との差の方向へ動くようにして，より積極的な更新をする
変数の保持と削除に関するセーフルールによるスパースモデル最適化問題のサイズ縮小と高速化に関する一考察†
○烏山昌幸（名工大/物質・材料研究機構/JST）・柴垣篤志（名工大）・竹内一郎（名工大/理研/物質・材料研究機構）
- エラスティックネットで確実に選ばれるであろう特徴を，最適化問題を解く前に予め選ぶ
- 残ると分かっている特徴については，L1正則化の外にだせて，それらの特徴については最適な係数が解析的に解ける → 最適化問題の規模を縮小できる
- しかし解析的に解く部分には逆行列が出てきてしまうのでL-BFGSで使う近似を使う
A stochastic optimization method and generalization bounds for voting classifiers by continuous density functions†
○Atsushi Nitanda（Tokyo Tech./NTTDATA MSI）・Taiji Suzuki（Tokyo Tech./JST/RIKEN）
- ユークリッド空間中のSGDを，確率測度空間中で論じる
3月7日(火) 午前 最適化技法†
系列パターンマイニングよる予測モデリングのためのセーフプルーニングルールとバイオロギングデータ分析への応用†
○岸本 薫（名工大）・烏山昌幸（名工大/物質・材料研究機構/JST）・中川和也（名工大）・木村幸太郎（阪大）・依田 憲（名大）・梅津佑太・梶岡慎輔（名工大）・津田宏治（東大/理研/物質・材料研究機構）・竹内一郎（名工大/理研/物質・材料研究機構）
- バイオロギングで，生物が遠方の目的地にたどり着ける仕組みを調べる
- ログはBack，Leftなどのシンボル系列，この系列をクラス分類する
- 分類ではL1正則化で特徴を疎にするが，重みが 0 になることが分かる頻出パターンの探索を枝刈りして効率化する
Doubly Accelerated Stochastic Variance Reduced Gradient Method for Regularized Empirical Risk Minimization†
○Tomoya Murata・Taiji Suzuki（Tokyo Tech）
- 既存のバッチ最適化
- SVRG：SGD + variance reduction，最初はフル勾配，そのあとは単一事例勾配とフル勾配の差を考慮
- AccProxSVRG：SVRGに普通のNesterovモーメンタムを追加
- Katyusha：AccProxSVRG に現在点と初期点の中間に向かう負のモーメンタムを加えて，普通のモーメンタムの行き過ぎを防ぐ
- バッチサイズへの収束レートの依存を防ぎたい
- SVRGではなくSVRDA法にouter acceleration → DASVRDA
- batchごとの更新幅は，バッチ内の更新の重み付き平均になるが，その更新方向とバッチの最終位置との差の方向へ動くようにして，より積極的な更新をする
変数の保持と削除に関するセーフルールによるスパースモデル最適化問題のサイズ縮小と高速化に関する一考察†
○烏山昌幸（名工大/物質・材料研究機構/JST）・柴垣篤志（名工大）・竹内一郎（名工大/理研/物質・材料研究機構）
- エラスティックネットで確実に選ばれるであろう特徴を，最適化問題を解く前に予め選ぶ
- 残ると分かっている特徴については，L1正則化の外にだせて，それらの特徴については最適な係数が解析的に解ける → 最適化問題の規模を縮小できる
- しかし解析的に解く部分には逆行列が出てきてしまうのでL-BFGSで使う近似を使う
A stochastic optimization method and generalization bounds for voting classifiers by continuous density functions†
○Atsushi Nitanda（Tokyo Tech./NTTDATA MSI）・Taiji Suzuki（Tokyo Tech./JST/RIKEN）
- ユークリッド空間中のSGDを，確率測度空間中で論じる
3月7日(火) 午後 機械学習応用†
階層トピックモデルを用いた週内・日内歩行活動パターンの類型化と欠測日における歩数補間†
○野村俊一（東工大）・渡辺美智子・小熊祐子（慶大）
- タニタの活動量計の日内データをトピックモデルで分類
- 週内活動パターンによって週内の欠測値を予測する
遺伝子発現データ解析のためのトピックモデル†
○岩山幸治・永野 惇（龍谷大）
- RNA-Seq：RNA の配列をシーケンサで読み込んで数え上げる → 精度・時間のトレードオフ → 短時間でとったデータから高精度のものを予測したい
- 発現量に規則性がある → トピックモデルでモデル化
- SAGE というトピックモデル（平均的な分布からの差をモデル化）に2項分布を導入したモデルの提案
マルコフ性を明示的に考慮したCTCネットワークの提案†
○河内祐太・浅見太一・山口義和・青野裕司（NTT）
- connectionist temporal classification (CTC)：音声でのend-to-endのNN．データを全部見てからでなくても更新でき実時間処理によい
- end-to-end のデータは少ないが，言語モデルだけを作るデータは多い →活用したい
- 言語モデル部分を n-gram モデルで残し，CTC と n-gram を合わせたモデルを作る
- CTC はシンボルをまとめることで入出力の長さを揃える(?)
![[PukiWiki]](image/ibisforest.png "[PukiWiki]")
