しましま/IBISML028
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
* 第28回 情報論的学習理論と機械学習研究会（IBISML） [#fed...
このページはしましまが [[第28回電子情報通信学会 情報論的...
- 日時：2017年 3月 6日(月)〜7日(火)
- 議題：統計数理，機械学習，データマイニング，一般
- 会場名：東京工業大学大岡山キャンパス南2号館S222講義室
- http://ibisml.org/ibisml028
- http://www.ieice.org/ken/program/index.php?tgs_regid=5d...
* 3月6日(月) 午後 機械学習理論 [#tb73178a]
** ノルム制約付き行列分解に基づいた行列補完問題に対する汎...
○森富賢一郎・畑埜晃平・瀧本英二（九大）
- N×MのNMFで，セルが観測される確率の分布 D の存在（観測さ...
- 低ランク制約の既存研究
-- 低ランク制約のとき，だいたい (N+M) K 個のサンプルで十...
-- 低ランクの代わりにトレースノルム {Shamir+,2011] O(√NM)...
- ユーザベクトルのL1ノルムが1になる + 低ランク制約
-- M K + N log K ぐらいのサンプル
- 一対比較データからの順位推定へ拡張
** 角転送行列法を用いた格子状マルコフ確率場の厳密計算 [#s...
○吉田智晴・渡辺一帆・梅村恭司（豊橋技科大）
- 分配関数・期待値の厳密計算の効率化と，近似計算の効率化
- 角転送行列法 (corner transfer matrix method)
-- 分配関数は，要素格子ごとに定義されるボルツマン因子によ...
-- 角転送行列：格子を四つに分割したときのそれぞれのブロッ...
--- 角転送行列は逐次的に拡大するときは効率的に計算できる...
- 分割CTM法：大きな行列を小さな行列に分解して，それぞれに...
** 劣モジュラ正則化の自由度 [#wfaa73ad]
○南 賢太郎・駒木文保（東大）
- 劣モジュラは集合関数が対象で集合の有無を0/1で表す → 実...
- 劣モジュラ正則化：パラメータの絶対値のLovasz拡張を正則...
-- 軸以外の部分にも頂点があるような多面体が実行可能領域に...
-- グループlassoのようなもので，グループの重複を許したよ...
- この劣モジュラ正則化の自由度を求めた
* 機械学習における定数時間アルゴリズム [#h1c1e54c]
吉田悠一（国立情報学研究所）
定数時間アルゴリズム
- 性質検査：入力がある性質 P を満たすかどうか判定したい →...
-- 二部グラフかどうか：頂点の大きさ定数の部分集合について...
- 性質検査は理論的にはきれいなのだが，応用されていない：...
l∞損失最小化
- あるクラスのデータが 線形変換 + 有限区間上の一様分布 で...
- x を中心とする矩形領域が，ある直線と交わるかどうかとい...
- 受理→受理，拒否→拒否 で一定以上の正解率を達成しつつ，不...
- 一部の事例について性質の有無を確かめるアルゴリズムで判...
* 3月6日(月) 午後 深層学習 [#meed7f05]
** 積分表現とKernel HerdingによるNeural Networkの学習 [#n...
○松原拓央・園田 翔・村田 昇（早大）
- 3層NNな任意の関数を表現できる．この関数表現は積分表現と...
- Kernel Herding 法で，このカーネルを有限個のカーネルの足...
** 深層リカレントニューラルネットワークを用いたfMRIの解析...
○大橋耕也・鈴木大慈（東工大）
- fMRIデータの分類を時間方向の情報をRNNで考慮することで精...
-- 短時間の分類精度では，時間情報を考慮しない方法に対して...
* 3月7日(火) 午前 最適化技法 [#o3958ab3]
** 系列パターンマイニングよる予測モデリングのためのセーフ...
○岸本 薫（名工大）・烏山昌幸（名工大/物質・材料研究機構/...
- バイオロギングで，生物が遠方の目的地にたどり着ける仕組...
- ログはBack，Leftなどのシンボル系列，この系列をクラス分...
-- 系列からPrefixSpanで頻出系列パターンを抽出し，その有無...
- 分類ではL1正則化で特徴を疎にするが，重みが 0 になること...
** Doubly Accelerated Stochastic Variance Reduced Gradien...
○Tomoya Murata・Taiji Suzuki（Tokyo Tech）
- 既存のバッチ最適化
-- SVRG：SGD + variance reduction，最初はフル勾配，そのあ...
-- AccProxSVRG：SVRGに普通のNesterovモーメンタムを追加
-- Katyusha：AccProxSVRG に現在点と初期点の中間に向かう負...
- バッチサイズへの収束レートの依存を防ぎたい
- SVRGではなくSVRDA法にouter acceleration → DASVRDA
-- batchごとの更新幅は，バッチ内の更新の重み付き平均にな...
** 変数の保持と削除に関するセーフルールによるスパースモデ...
○烏山昌幸（名工大/物質・材料研究機構/JST）・柴垣篤志（名...
- エラスティックネットで確実に選ばれるであろう特徴を，最...
- 残ると分かっている特徴については，L1正則化の外にだせて...
- しかし解析的に解く部分には逆行列が出てきてしまうのでL-B...
** A stochastic optimization method and generalization bo...
○Atsushi Nitanda（Tokyo Tech./NTTDATA MSI）・Taiji Suzuki...
- ユークリッド空間中のSGDを，確率測度空間中で論じる
* 3月7日(火) 午前 最適化技法 [#xd11de0f]
** 系列パターンマイニングよる予測モデリングのためのセーフ...
○岸本 薫（名工大）・烏山昌幸（名工大/物質・材料研究機構/...
- バイオロギングで，生物が遠方の目的地にたどり着ける仕組...
- ログはBack，Leftなどのシンボル系列，この系列をクラス分...
-- 系列からPrefixSpanで頻出系列パターンを抽出し，その有無...
- 分類ではL1正則化で特徴を疎にするが，重みが 0 になること...
** Doubly Accelerated Stochastic Variance Reduced Gradien...
○Tomoya Murata・Taiji Suzuki（Tokyo Tech）
- 既存のバッチ最適化
-- SVRG：SGD + variance reduction，最初はフル勾配，そのあ...
-- AccProxSVRG：SVRGに普通のNesterovモーメンタムを追加
-- Katyusha：AccProxSVRG に現在点と初期点の中間に向かう負...
- バッチサイズへの収束レートの依存を防ぎたい
- SVRGではなくSVRDA法にouter acceleration → DASVRDA
-- batchごとの更新幅は，バッチ内の更新の重み付き平均にな...
** 変数の保持と削除に関するセーフルールによるスパースモデ...
○烏山昌幸（名工大/物質・材料研究機構/JST）・柴垣篤志（名...
- エラスティックネットで確実に選ばれるであろう特徴を，最...
- 残ると分かっている特徴については，L1正則化の外にだせて...
- しかし解析的に解く部分には逆行列が出てきてしまうのでL-B...
** A stochastic optimization method and generalization bo...
○Atsushi Nitanda（Tokyo Tech./NTTDATA MSI）・Taiji Suzuki...
- ユークリッド空間中のSGDを，確率測度空間中で論じる
* 3月7日(火) 午後 機械学習応用 [#e5437816]
** 階層トピックモデルを用いた週内・日内歩行活動パターンの...
○野村俊一（東工大）・渡辺美智子・小熊祐子（慶大）
- タニタの活動量計の日内データをトピックモデルで分類
- 週内活動パターンによって週内の欠測値を予測する
-- 週の他の日のパラメータから補間して歩数を予測する
** 遺伝子発現データ解析のためのトピックモデル [#t14cd076]
○岩山幸治・永野 惇（龍谷大）
- RNA-Seq：RNA の配列をシーケンサで読み込んで数え上げる →...
- 発現量に規則性がある → トピックモデルでモデル化
- SAGE というトピックモデル（平均的な分布からの差をモデル...
** マルコフ性を明示的に考慮したCTCネットワークの提案 [#r3...
○河内祐太・浅見太一・山口義和・青野裕司（NTT）
- connectionist temporal classification (CTC)：音声でのen...
- end-to-end のデータは少ないが，言語モデルだけを作るデー...
- 言語モデル部分を n-gram モデルで残し，CTC と n-gram を...
-- CTC はシンボルをまとめることで入出力の長さを揃える(?)
終了行:
* 第28回 情報論的学習理論と機械学習研究会（IBISML） [#fed...
このページはしましまが [[第28回電子情報通信学会 情報論的...
- 日時：2017年 3月 6日(月)〜7日(火)
- 議題：統計数理，機械学習，データマイニング，一般
- 会場名：東京工業大学大岡山キャンパス南2号館S222講義室
- http://ibisml.org/ibisml028
- http://www.ieice.org/ken/program/index.php?tgs_regid=5d...
* 3月6日(月) 午後 機械学習理論 [#tb73178a]
** ノルム制約付き行列分解に基づいた行列補完問題に対する汎...
○森富賢一郎・畑埜晃平・瀧本英二（九大）
- N×MのNMFで，セルが観測される確率の分布 D の存在（観測さ...
- 低ランク制約の既存研究
-- 低ランク制約のとき，だいたい (N+M) K 個のサンプルで十...
-- 低ランクの代わりにトレースノルム {Shamir+,2011] O(√NM)...
- ユーザベクトルのL1ノルムが1になる + 低ランク制約
-- M K + N log K ぐらいのサンプル
- 一対比較データからの順位推定へ拡張
** 角転送行列法を用いた格子状マルコフ確率場の厳密計算 [#s...
○吉田智晴・渡辺一帆・梅村恭司（豊橋技科大）
- 分配関数・期待値の厳密計算の効率化と，近似計算の効率化
- 角転送行列法 (corner transfer matrix method)
-- 分配関数は，要素格子ごとに定義されるボルツマン因子によ...
-- 角転送行列：格子を四つに分割したときのそれぞれのブロッ...
--- 角転送行列は逐次的に拡大するときは効率的に計算できる...
- 分割CTM法：大きな行列を小さな行列に分解して，それぞれに...
** 劣モジュラ正則化の自由度 [#wfaa73ad]
○南 賢太郎・駒木文保（東大）
- 劣モジュラは集合関数が対象で集合の有無を0/1で表す → 実...
- 劣モジュラ正則化：パラメータの絶対値のLovasz拡張を正則...
-- 軸以外の部分にも頂点があるような多面体が実行可能領域に...
-- グループlassoのようなもので，グループの重複を許したよ...
- この劣モジュラ正則化の自由度を求めた
* 機械学習における定数時間アルゴリズム [#h1c1e54c]
吉田悠一（国立情報学研究所）
定数時間アルゴリズム
- 性質検査：入力がある性質 P を満たすかどうか判定したい →...
-- 二部グラフかどうか：頂点の大きさ定数の部分集合について...
- 性質検査は理論的にはきれいなのだが，応用されていない：...
l∞損失最小化
- あるクラスのデータが 線形変換 + 有限区間上の一様分布 で...
- x を中心とする矩形領域が，ある直線と交わるかどうかとい...
- 受理→受理，拒否→拒否 で一定以上の正解率を達成しつつ，不...
- 一部の事例について性質の有無を確かめるアルゴリズムで判...
* 3月6日(月) 午後 深層学習 [#meed7f05]
** 積分表現とKernel HerdingによるNeural Networkの学習 [#n...
○松原拓央・園田 翔・村田 昇（早大）
- 3層NNな任意の関数を表現できる．この関数表現は積分表現と...
- Kernel Herding 法で，このカーネルを有限個のカーネルの足...
** 深層リカレントニューラルネットワークを用いたfMRIの解析...
○大橋耕也・鈴木大慈（東工大）
- fMRIデータの分類を時間方向の情報をRNNで考慮することで精...
-- 短時間の分類精度では，時間情報を考慮しない方法に対して...
* 3月7日(火) 午前 最適化技法 [#o3958ab3]
** 系列パターンマイニングよる予測モデリングのためのセーフ...
○岸本 薫（名工大）・烏山昌幸（名工大/物質・材料研究機構/...
- バイオロギングで，生物が遠方の目的地にたどり着ける仕組...
- ログはBack，Leftなどのシンボル系列，この系列をクラス分...
-- 系列からPrefixSpanで頻出系列パターンを抽出し，その有無...
- 分類ではL1正則化で特徴を疎にするが，重みが 0 になること...
** Doubly Accelerated Stochastic Variance Reduced Gradien...
○Tomoya Murata・Taiji Suzuki（Tokyo Tech）
- 既存のバッチ最適化
-- SVRG：SGD + variance reduction，最初はフル勾配，そのあ...
-- AccProxSVRG：SVRGに普通のNesterovモーメンタムを追加
-- Katyusha：AccProxSVRG に現在点と初期点の中間に向かう負...
- バッチサイズへの収束レートの依存を防ぎたい
- SVRGではなくSVRDA法にouter acceleration → DASVRDA
-- batchごとの更新幅は，バッチ内の更新の重み付き平均にな...
** 変数の保持と削除に関するセーフルールによるスパースモデ...
○烏山昌幸（名工大/物質・材料研究機構/JST）・柴垣篤志（名...
- エラスティックネットで確実に選ばれるであろう特徴を，最...
- 残ると分かっている特徴については，L1正則化の外にだせて...
- しかし解析的に解く部分には逆行列が出てきてしまうのでL-B...
** A stochastic optimization method and generalization bo...
○Atsushi Nitanda（Tokyo Tech./NTTDATA MSI）・Taiji Suzuki...
- ユークリッド空間中のSGDを，確率測度空間中で論じる
* 3月7日(火) 午前 最適化技法 [#xd11de0f]
** 系列パターンマイニングよる予測モデリングのためのセーフ...
○岸本 薫（名工大）・烏山昌幸（名工大/物質・材料研究機構/...
- バイオロギングで，生物が遠方の目的地にたどり着ける仕組...
- ログはBack，Leftなどのシンボル系列，この系列をクラス分...
-- 系列からPrefixSpanで頻出系列パターンを抽出し，その有無...
- 分類ではL1正則化で特徴を疎にするが，重みが 0 になること...
** Doubly Accelerated Stochastic Variance Reduced Gradien...
○Tomoya Murata・Taiji Suzuki（Tokyo Tech）
- 既存のバッチ最適化
-- SVRG：SGD + variance reduction，最初はフル勾配，そのあ...
-- AccProxSVRG：SVRGに普通のNesterovモーメンタムを追加
-- Katyusha：AccProxSVRG に現在点と初期点の中間に向かう負...
- バッチサイズへの収束レートの依存を防ぎたい
- SVRGではなくSVRDA法にouter acceleration → DASVRDA
-- batchごとの更新幅は，バッチ内の更新の重み付き平均にな...
** 変数の保持と削除に関するセーフルールによるスパースモデ...
○烏山昌幸（名工大/物質・材料研究機構/JST）・柴垣篤志（名...
- エラスティックネットで確実に選ばれるであろう特徴を，最...
- 残ると分かっている特徴については，L1正則化の外にだせて...
- しかし解析的に解く部分には逆行列が出てきてしまうのでL-B...
** A stochastic optimization method and generalization bo...
○Atsushi Nitanda（Tokyo Tech./NTTDATA MSI）・Taiji Suzuki...
- ユークリッド空間中のSGDを，確率測度空間中で論じる
* 3月7日(火) 午後 機械学習応用 [#e5437816]
** 階層トピックモデルを用いた週内・日内歩行活動パターンの...
○野村俊一（東工大）・渡辺美智子・小熊祐子（慶大）
- タニタの活動量計の日内データをトピックモデルで分類
- 週内活動パターンによって週内の欠測値を予測する
-- 週の他の日のパラメータから補間して歩数を予測する
** 遺伝子発現データ解析のためのトピックモデル [#t14cd076]
○岩山幸治・永野 惇（龍谷大）
- RNA-Seq：RNA の配列をシーケンサで読み込んで数え上げる →...
- 発現量に規則性がある → トピックモデルでモデル化
- SAGE というトピックモデル（平均的な分布からの差をモデル...
** マルコフ性を明示的に考慮したCTCネットワークの提案 [#r3...
○河内祐太・浅見太一・山口義和・青野裕司（NTT）
- connectionist temporal classification (CTC)：音声でのen...
- end-to-end のデータは少ないが，言語モデルだけを作るデー...
- 言語モデル部分を n-gram モデルで残し，CTC と n-gram を...
-- CTC はシンボルをまとめることで入出力の長さを揃える(?)
ページ名:
![[PukiWiki]](image/ibisforest.png "[PukiWiki]")
