しましま/IBIS2019
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
* 第22回 情報論的学習理論ワークショップ (IBIS 2019) [#rb6...
COLOR(#00AA00){このページはしましまが [[IBIS2019>IBIS#IBI...
#contents
* 11月20日(水):ワークショップ1日目 [#s0d3c2ef]
* 企画セッション1: 機械学習と離散数学 [#ua3a02c2]
** グラフ文法を用いたグラフ生成 [#u072c2b5]
梶野洸(IBM)
- 利用例:生成可能なグラフの集合を記述したい.ハード制約...
- 形式言語
-- 言語的観点:アルファベット集合 Σ* で記述可能な記号列の...
-- 生成的観点:文法により生成可能な記号列の集合
- グラフ文法:形式言語で記号列がグラフにあたる生成規則
- 文脈自由文法 (context-free grammar)
-- 非終端記号 V,終端記号 Σ,生成規則 R,開始記号 S∈V
-- S から生成規則のいずれかを適用して置き換えてゆき,全て...
- 超グラフ:辺が超辺になっている,超辺は二つに限らず任意...
- HRG (hyperedge replacement grammar)
-- 超グラフ版の文脈自由文法,記号が超辺に該当する
- HRGの推論
-- 超グラフの集合 → HRG,出来たHRGは元のグラフ集合より大...
-- 入力超グラフを,一定の条件を満たす超グラフの部分グラフ...
--- 木の中で同じ中間ノードに繋がっている枝をくっつけてゆ...
--- 木の枝を足すような生成規則を考えてゆくと生成文法にで...
-- 木分解を全て計算 → 生成規則を抽出 → まとめるとHRGになる
- 分子グラフ生成へのHRGの適用 → molecular hypergraph gram...
-- 単純に適用すると,分子の結合数を超えてしまったりする
-- 分子の結合数の制限をHRGに組み込む → 分子=超辺,結合=...
--- ノードの度数を2に制限,長辺は分子の価数と同じ連結数に...
-- HRGの推論アルゴリズムをこれらの制限を満たすようにする...
--- ある種の冗長性を禁止した木分解を導入することで実現
- MHGを使ったVAE:MHGで記述した分子 → VAEで数値ベクトルに
- https://github.com/ibm-research-tokyo/graph_grammar
** 回帰による再帰型ニューラルネットワークからの重み付きオ...
関山太朗(NII)
- スライド https://bit.ly/37epjGm
- RNNの問題点:解釈可能性が低い,入力を変えたときの挙動が...
-- 有限オートマトン (FA):これらの問題点を回避しつつ,系...
- RNNをFAで置き換える研究が進展している
-- 既存研究:入出力が二値,決定的FA
- 連続値入出力で,重み付きFAを獲得する → RNN と学習のFAが...
-- このクエリを実現する手法の開発が寄与
- RNN:有限長の記号列を入れると,最終状態で実数値を返すも...
-- 初期状態 α,状態遷移関数 g,(最終)出力関数 β
- 重み付き有限オートマトン (WFA)
-- 各状態で,初期重みから最終重みになる
-- 状態遷移も重みに比例して遷移
-- 初期ベクトル α,最終ベクトル β,遷移関数 g(状態×状態...
- L*(m,e)アルゴリズム:ブラックボックス B からWFAを抽出す...
-- メンバーシップクエリ:入力文字列に対するBの出力
-- 等価性クエリ:BとWFAの等価性,等しくないときには反例
- RNNでのこれらのクエリの実現
-- メンバーシップクエリはRNNの推論するだけ
-- 等価性クエリの近似アルゴリズムを開発した
- RNNとWFAの等価性クエリ
-- 反例を探して,十分な時間を探してみつからなかったら等価...
-- 短い文字列から順に1文字ずつ足して文字列を長くしてゆく→...
--- この入力文字列が反例になるかどうかを検査する
-- 効率化のための仮説:RNNとWFAの最終関数は同じで,最終状...
--- RNN最終状態からWFA最終状態への写像を近似的に計算(回...
--- 反例でなかったら近似関数を更新
-- 十分に探索したことの判定
--- すでに調べた文字列と十分に近い文字列が反例でないこと...
** 隣接代数と双対平坦構造を用いた学習 [#uf3d78bb]
杉山麿人(NII)
- スライド https://mahito.nii.ac.jp
- 行列のバランス化(matrix balancing)
-- 行列の両側に対角行列をかけて,どの行・列の和も1になる...
--- 対角行列以外の正方では可能
-- Sinkhorn-Knoppアルゴリズム:行と列を交互に総和を1にに...
--- エントロピー正則化付きの最適輸送などに利用されている
- η:行列中で,自身の下方・右方にある要素の和
-- バランス化されていれば η_11 は行数と等しくなる
- θ:エントロピーのような量(?)
- ηとθは,情報幾何の座標系と対応している
- 行列のセルに半順序関係を導入,下隣や右隣のセルは次に小...
-- 何かしら半順序集合があればいろいろ使える
- 隣接代数 (incidence algebla)
-- 半順序上の関数上で定義,乗算が畳み込みになる
-- デルタ関数=単位元,ゼータ関数,メビウス関数
-- メビウス反転公式:逆関数のようなもの
-- inclusion-exclusion原理:集合の結び・交わりを定義する...
- 半順序集合上の確率分布を考える
-- θは情報量っぽいもの,ηは確率そのもの,積分・微分の関係...
-- θは自然パラメータ,ηは指数パラメータに対応
-- 対数線形モデルが表せる
- mixed座標系:θ(真の分布から出てくる)で表した多様体とη...
- 隠れ変数をどうやってモデルに入れるか
-- 半順序構造の外側に隠れ状態を入れると,EMのようなことを...
− ホモロジー,位相とも関係しちえる
* 招待講演1:Data-Efficient Reinforcement Learning of Mec...
Marc Deisenroth (Imperial College London)
- https://github.com/ICL-SML/pilco-matlab
- 自律ロボット:少数データからの強化学習を実現してゆく必要
-- モデルベースRL:データ効率的
-- モデル予測的RL:オンラインプランニングの導入で,さらな...
-- メタ学習:あたらしい状況を作りだして対応
- 強化学習:長期コストを最小にする方策を獲得
-- モデルベースRL
-- PILCOフレームワーク:状態遷移確率推定,長期予測の計算...
-- 状態確率モデルの推定:予測の不確実性が必要なのでGPを使う
-- 長期予測の計算:全ての状態についての積分が必要で大変 →...
- モデル予測的RL
-- 安全な探索:実世界での故障・死亡しない探索 → 安全性制約
--- 制御パラメータを直接推定
--- 短期の予測をして,そうなるように制御するパラメータを...
--- 不確実性を伝播させることで,安全性制約を満たせるように
- メタ学習:既知のタスクを新規タスクに一般化
-- 共通の大域パラメータとタスク依存パラメータに分ける
-- タスク依存パラメータは潜在変数で,学習済みモデルを切り...
- Key references
-- Marc P. Deisenroth, Dieter Fox, Carl E. Rasmussen, Gau...
-- Steindór Sæmundsson, Katja Hofmann, Marc P. Deisenroth...
* Stacked Capsule Auto-encoders [#hc95c86b]
Geoffrey Hinton
- CNNは同じプール内の変化に対して不変 → 最終結果が不変に...
-- 視点を変えたときに等価なものを同様に扱うようにしなけれ...
- CNNは物体を認識せず,部分的な記述子を獲得する → 敵対的...
- 科学はcoincidence 一致性によっている(方程式の両辺など)
-- 現状のNNは一致性を検出できない.
- CNNの問題:coordinate frame → 座標系の向きとかそういう...
-- Irvin Rock:向きによってアフリカとオーストラリアに見え...
-- 向きによって全く違ってみえる立体は存在
- 人間の心理内では,部品を認識し,その関係を認識している ...
-- このグラフ構造を見いだせるようになる必要
- stacked capsule autoencoder
-- 教師なしの枠組みで,全体から部分への認識,識別的なモデ...
-- カプセル:対象とか部品
-- カプセルに対応するネットがあり,その有無を位置・スケー...
-- カプセルの混合モデルとして全体の生成モデルが記述されて...
-- transformerの類似ベクトルを検索する機能はcoincidenceに...
- カプセルの混合率に基づいてMNISTの数字を記述すると,同じ...
* 11月21日(木):ワークショップ2日目 [#l8f443dd]
* 企画セッション2:データ駆動科学と機械学習 [#bdb9a946]
** サンプリングによるデータ駆動科学 [#h2c3f5fa]
福島孝治(東大)
- データ科学とデータ駆動科学
-- 第3の方法:実験・理論に加えてシミュレーション → 第4の...
-- データ科学による仮説生成を,理論,実験,シミュレーショ...
- 自然科学データ:観測(大規模化,高次元化)シミューレシ...
-- 超伝導:構造から理由はおいておいて,機械学習で超伝導の...
- ベイズ統計的アプローチ
-- 尤度には,物理の知見に基づいていろいろ制約を入れてきた...
- データから逆問題を解く事例
-- 操作トンネル顕微鏡,画像から原子の位置推定 → 原子位置...
-- scanning tunneling spectroscopy
-- Hamiltonian reconstruction
- ノイズ付き線形方程式:y = A x + ε
-- データがパラメータより少ないので不定問題
-- ベイズ的に推定するにはサンプリングが必要に
--- 課題:線形→非線形,単峰→多峰への対応,規格化定数が計...
--- population annealing:粒子フィルタの定常分布版
--- サンプリングをやりすぎると過学習 → エビデンスを使った...
- 原子の層を作った物質:第一原理家計算で結晶時期異方性の...
-- 各層のパラメータの相関 → 6層のうち第2層と3層の相関は大...
** データ駆動科学の立場からみた物質科学と情報科学の接点 [...
安藤康伸(産総研)
- 情報科学 × 物質科学
-- 多くの分子の中から反応しているものを目で探していた → ...
-- 変化の原因を調べる組織的な手法が必要
- Materials Genome Initiative (2011):物質を作るだけでな...
- 情報的視点からの物質科学
-- スモールデータ:100あれば非常に多い,高精度
-- 汎用的な物質表現・処理方法がない
- 胚スループット計測データ解析:単一シートに複数の素性を...
- 準粒子干渉測定のダウンサンプリング
- 触媒の設計:計測データを計算データであてはめ
- 第一原理計算
-- 原子・分子シミュレーション:安定構造の探索,分子振動の...
- NNの利用:表面化学反応のシミュレーション → 1995,2004に...
-- 課題:特徴量をどう作るか,分子の数の変更などが難しい
- Behler-Parrineloの方法:汎用的な手法の開発
-- 原子配置をそのまま入れても並進不変性を考えていない sym...
-- 各原子にサブネットをつけて,さらに原子の番号置換に不変...
- 機械学習ポテンシャル作成の構成技術:不変性を考えた構造...
- アモルファス:第一原理計算しか信頼できない
-- 今までの機械学習は結晶が対象で,不規則性に対応できない...
- アモルファス構造を作る温度管理 → シミュレーションでは計...
- 実験の人への貢献
-- スペクトルのピークの位置が多すぎて分からない → 混合ガ...
** 集団運動におけるデータ駆動科学 [#wfef30c3]
藤井慶輔(名大)
- スライド https://bit.ly/2OsiKaK
- 集団中の個人の行動データを集積 → 集団運動
-- 大陸の移動 ⇔ 分子の移動:いろいろなスケールである
-- 要素間の相互作用が不規則
- 課題1 動的システムとしての理解:系の遷移関数 f が分かっ...
- 課題2 マルチスケール:部品 < 個人 < 部分グループ < ...
- モデル駆動(方程式に基づく,原理の理解) ⇔ データ駆動(...
- 経験・理論基づく ⇔ 学習に基づく
- 経験+データ駆動:特徴工学 + 分類・回帰 → 小規模データに...
-- チームワーク評価,子供の集団評価
- 経験+モデル駆動:マルチエージェントモデル,解釈性は良い...
- 経験+モデル・データ駆動:スポーツデータ解析などの結果が...
- 学習+データ駆動:データから特徴抽出(教師なし学習,あて...
-- クラスタリング(DTW, 1DCNN, LDA)分類(潜在因子モデル)
- 学習+データ駆動:パラメータの学習
-- 科学的に有用なモデル:現象を予測,現象の説明,新しい理...
-- クープマン作用素のスペクトル解析を利用 → DMDモデルを使...
-- RNN系の非線形モデルによる軌道予測モデル
* 招待講演2:空間視聴触覚技術の社会実装 [#z07bdcea]
落合陽一(筑波大)
- 記事化禁止なので非公開
* 11月22日(金):ワークショップ3日目 [#ccd034a1]
* 企画セッション 3: 深層学習の理論 [#x90f7fef]
** 深層学習の汎化誤差のための近似性能と複雑性解析 [#bd22b...
今泉允聡(統計数理研究所 / 理化学研究所 / JST)
- スライド http://ibisml.org/ibis2019/files/2019/11/slide...
- 汎化誤差:近似誤差(DNNの表現力),複雑性誤差(DNN集合...
- 近似誤差:モデルが表現できるデータの構造
-- 普遍近似定理:3層以上なら,十分な数のパラメータがあれ...
-- 深層に限った話しではない
- パラメタ数に対して指数的に近似誤差は減少速度が速くなる
-- 微分可能な活性化関数の方が近似レートはよい → 多項式関...
--- 滑らかな場合はテイラー近似になるが,そうでない場合はΔ...
-- 目的関数が滑らかではなく,急速に変化するような状況では...
--- 局所的に滑らかさを変化させることができるところで有利
-- 特徴量抽出器:フーリエ変換など既存の変換はだいたい近似...
--- γ回とβ回微分可能な関数の合成で目的関数が表されるとき...
--- 特徴量抽出が1段目のγ回微分可能な関数にあたる
-- 以上の理論でも〜10層までは正当化できるが,100層などの...
- 複雑性誤差:汎化誤差と訓練誤差の差
-- 汎化誤差では可能な全てのデータの平均を考える必要
-- 一般的な理論に基づくと 重み数と総数の対数に大して大き...
-- 仮説:データ依存のモデル部分集合が存在,可能なデータの...
-- ノルムに基づく議論:各層ごとのパラメータのノルムが限定...
--- ノルムはいったい何なのか?NNに限らない議論
-- 学習アルゴリズムの影響:アルゴリズムによって探索される...
--- どれだけ学習を早期に停止してもいいという訳ではない
** 学習アルゴリズムの大域収束性と帰納的バイアス [#x41079d1]
二反田篤史(東京大学 / 理化学研究所 / JST)
- スライド http://ibisml.org/ibis2019/files/2019/11/slide...
- 非凸最適化 → 局所解がいろいろある → しかし,DNNでは大域...
- 最適化法に依存しないLandscape解析:肯定的と否定的な結論...
- DNNは違う学習法で同等の経験誤差を達成しても汎化誤差は違...
-- 学習法によって選択されるモデルが変わる,暗黙的な正則化...
- 回帰問題での議論:勾配法の大域収束性はいくつかの条件下...
-- パラメータ数がデータが大きければニューラルタンジェント...
- 勾配法は勾配ノルムの分だけ1回の反復で目的関数は減る → ...
-- 目的関数の勾配に依存して決まるニューラルタンジェントカ...
- NTK regime:NTKは正定値,初期点でカーネルが決まる
-- カーネル法の特徴空間中での更新則に類似するようになる
- 同じ3層NNでも設定要因によっては,NTK regime,mean field...
- 分類問題,ロジスティック損失で,識別誤差の収束の議論
- 分類でのNTKは,ラベルの符号できまる象限内での正性のみが...
- その他の仕事
-- RKHSでのSGD:識別面に近い部分に事例がなければ収束が早い
-- mean field regimeやactive regimeなどがある
** 群対称性を用いた深層学習 [#bcac4604]
三内顕義(理化学研究所 / 慶應大学 )
- スライド http://ibisml.org/ibis2019/files/2019/11/slide...
- タスクを数学的に見て,具体的には対称性の有無に応じてモ...
- 同変性:仲間はずれ発見タスク,物の並びを変えるとその並...
- データを入力する順番は無関係な不変性
- 群:かけ算に対して,結合則,単位元と逆元が存在,
- 対称群:順列とか
- 不変な関数=置換に対して結果が買わない/同変な関数=変...
- 置換同変なNN:同じ層のノードの置換に対して同変になる → ...
- Kolmogorov-Arnoldの表現定理:0/1からの実数への連続関数...
-- 同変ネットにこの定理を適用して不変ネットを構成できる
* 企画セッション4: 機械学習工学 [#pc924cd7]
- 機械学習工学 = 機械学習のためのソフトウェア工学
-- 土木工学によって橋が安全・効率的に作れるようになった →...
-- 設計開発手法,信頼性担保,検証,責任所在,知財,運用・...
** 機械学習に対するソフトウェア工学の技術動向 [#u6fd4565]
石川 冬樹(国立情報学研究所) @fyufyu
- ソフトウェア科学会内での機械学習工学研究会,QA4AIコンソ...
- 要求工学:システムの要求定義,合意,記述して,その妥当...
-- 仕様書は場合分けだった → 機械学習では場合分けが不明瞭
-- 不変条件,事前の約束はできない=精度95%とかを事前には...
--- Proof-of-Concept:お試し,これだけで終わることが多い
-- 技術的負債,現状のソフトは7〜8のコストは保守費,機械学...
-- 不確かさ:想定を尽くしきれない
- テスト技術の例
-- テスト不可能:正解の作成コスト,正解自体を決められない...
--- テストに失敗してもすぐに誤りとはいえない.誤りがあっ...
-- 従来のテスト:単体テストやカバレッジでは対応できない
- メタモルフィック・テスティング
-- 入力にある特定の変換をしたとき出力がどう代わるかを検証...
- サーチベースド・テスティング:望ましいテストの評価指標...
-- 画像にノイズを入れて分類結果が変わったら再調査するなど
-- システムレベルの要求に基づくテスト:不確実な予測結果
** 機械学習と知財・契約 [#r3da748e]
柿沼 太一(STORIA法律事務所)
- データの収集(個人情報・著作権法)開発(検収をどうする...
- データの収集:データの入手方法や種類で制度が違う
-- データの種類(個人情報,著作物,肖像権,事実を示すデー...
-- データの取得(自身で正性,利用契約外で第3者から,契約...
--- これらの組合せで,法律や契約の規制
- 個人情報と著作権にはよく注意
-- 医療データ:個人情報,個人情報の第3者提供
-- 店頭カメラで撮影した顔画像 → 個人情報
-- ネットでクロールした著作物を解析する場合には著作物だけ...
- 通常のシステム開発と,学習済みモデルの違い
-- 機械学習では,納めるモデルの他に見,発明やノウハウも出...
-- 契約外で出来た物は,発注・開発の両者が権利を主張 → 派...
- 対象の範囲:生データ(特許 ×,著作権 △,不正競争 ○)学...
-- 「学習済みモデル」はよく揉めるので,すりあわせをちゃん...
-- これらは法律によるデフォルトで開発者に,契約で変更可能
- 成果物をどう使うか詰めてから契約の詳細に入ること
-- ユーザ:データを供出 ⇔ ベンダ:ノウハウを供出 → 権利で...
-- 権利帰属と利用条件それぞれを明確に
- 契約分類:領域ごとに分割,全部共有(どう使えるかを曖昧...
** 継続的改善をし続けるための機械学習基盤の課題 [#a59055c4]
有賀 康顕( Arm Treasure Data )
- スライド http://bit.ly/mlssys-ibis2019
- [Sculley, 2015] 機械学習システム全体での,機械学習時代...
- 機械学習のプロジェクト:課題 → サーベイ → 機械学習利用...
- 機械学習システムは確率的に挙動が決定する
-- コードではなくデータで挙動が変わる,何かを変えると全体...
-- 学習とデプロイ環境が違ったり概念ドリフトで,挙動が全く...
- DevOps:開発と運用で → infrastructure as code で一致さ...
- ML Ops:機械学習はブラックボックスのままで,運用までも...
- うまくいっているかどうかの監査技術がある
- ML開発でのマニフェスト:reproducible(実行環境によらず...
- MLシステムの課題
- data/model management:1万個とかモデルがあると実験ノー...
-- Uberのデータブックなどのツール,データバージョンコント...
- experiment tracking
-- モデル選定の条件,ツール:kubeflow piplines ML flow tr...
- reproducible experiment
-- ハード,ソフト,乱数,データが変わると実行環境
-- dockerなどのコンテナ,polynote(jupyter notebook で実...
- pipeline management
-- 出荷の手順,ツール:kubeflow, Argo, ArgoCD
- ML frameworks abstraction
- model serving deployment
-- コードにちょと書き足すと,予測モデルが自動でデプロイさ...
-- Apple の Overton,ドメインエンジニアが調整できる
-- data validation: デプロイ環境が想定通りのものか検証す...
- explaining model/data
-- 性能指標の向上の原因をさぐる,納得できそうな手がかりが...
- model serving / deployment
-- 一部のリリースをやりやすく,ABテストの実行環境
- monitoring / observability
-- 機械学習の性能指標とビジネス指標とを追いかけてくる
-- 人間の介在でシステムへのフィードバックが遅れることへの...
* 招待講演3: 日本におけるデータサイエンスの現状と今後 [...
竹村彰通(滋賀大)
- データサイエンスの3要素:情報学 + 数学・統計学 + 領域知...
-- 日本には統計の学部・学科がなかった,アメリカの統計学の...
-- 中国の leapfrogging 技術段階を超えた進展
- データサイエンティストの必要性:2016年ぐらいから政府文...
- AI戦略2019:50万人/年にリテラシ教育
- データサイエンス:ビッグデータを対象して,そこから知見...
-- 5G=通信が100倍高速に・2025年頃に普及,LPWA (Low Power...
-- GPS:衛星 みちびき=10cmぐらいの精度
- ビッグデータ:21世紀の石油 [The Economist]
-- 人々の動き,IoT → 分析技術が必要に,日本は海外にデータ...
-- IoT:出荷後のデータをメーカが取得できる.
- 滋賀大学
-- 日本最初のデータサイエンス教育拠点@彦根,学部 100人,...
-- カリキュラム:統計系が多い,情報,演習,社会調査
-- 共同研究:車載機器から運転の安全性予測 → テレマティク...
-- 企業へのレクチャー
- ビッグデータとデータサイエンスの諸側面
- データからの価値創造の流れ
-- 課題駆動型アプローチとデータ駆動型アプローチ → 前者が...
-- 課題駆動型:課題 → データ収集 → モデルの決定・計算 → ...
--- PPDAC:Problem → Plan → Data Analysis → Conclusion
-- データ駆動型:可視化・記述統計 → 仮説生成 → 検証データ...
-- 成功の条件:整理されたデータがあり必要に応じて取得でき...
- 相関と因果
-- メーカーからの相談:だんだん因果の要素が増えて困難に ...
-- 『Prediction Machines』経済学者,予測だけでも役立つよ...
-- 『The Book of Why』Peral & Mackenzie,因果が大事
- 統計不正:取りにくいデータと取りやすいデータがある → 調...
- 公平性:ジェイスコア 性別で差がついた
- Martin Ford『Architechts of Intelligence』Singularityが...
終了行:
* 第22回 情報論的学習理論ワークショップ (IBIS 2019) [#rb6...
COLOR(#00AA00){このページはしましまが [[IBIS2019>IBIS#IBI...
#contents
* 11月20日(水):ワークショップ1日目 [#s0d3c2ef]
* 企画セッション1: 機械学習と離散数学 [#ua3a02c2]
** グラフ文法を用いたグラフ生成 [#u072c2b5]
梶野洸(IBM)
- 利用例:生成可能なグラフの集合を記述したい.ハード制約...
- 形式言語
-- 言語的観点:アルファベット集合 Σ* で記述可能な記号列の...
-- 生成的観点:文法により生成可能な記号列の集合
- グラフ文法:形式言語で記号列がグラフにあたる生成規則
- 文脈自由文法 (context-free grammar)
-- 非終端記号 V,終端記号 Σ,生成規則 R,開始記号 S∈V
-- S から生成規則のいずれかを適用して置き換えてゆき,全て...
- 超グラフ:辺が超辺になっている,超辺は二つに限らず任意...
- HRG (hyperedge replacement grammar)
-- 超グラフ版の文脈自由文法,記号が超辺に該当する
- HRGの推論
-- 超グラフの集合 → HRG,出来たHRGは元のグラフ集合より大...
-- 入力超グラフを,一定の条件を満たす超グラフの部分グラフ...
--- 木の中で同じ中間ノードに繋がっている枝をくっつけてゆ...
--- 木の枝を足すような生成規則を考えてゆくと生成文法にで...
-- 木分解を全て計算 → 生成規則を抽出 → まとめるとHRGになる
- 分子グラフ生成へのHRGの適用 → molecular hypergraph gram...
-- 単純に適用すると,分子の結合数を超えてしまったりする
-- 分子の結合数の制限をHRGに組み込む → 分子=超辺,結合=...
--- ノードの度数を2に制限,長辺は分子の価数と同じ連結数に...
-- HRGの推論アルゴリズムをこれらの制限を満たすようにする...
--- ある種の冗長性を禁止した木分解を導入することで実現
- MHGを使ったVAE:MHGで記述した分子 → VAEで数値ベクトルに
- https://github.com/ibm-research-tokyo/graph_grammar
** 回帰による再帰型ニューラルネットワークからの重み付きオ...
関山太朗(NII)
- スライド https://bit.ly/37epjGm
- RNNの問題点:解釈可能性が低い,入力を変えたときの挙動が...
-- 有限オートマトン (FA):これらの問題点を回避しつつ,系...
- RNNをFAで置き換える研究が進展している
-- 既存研究:入出力が二値,決定的FA
- 連続値入出力で,重み付きFAを獲得する → RNN と学習のFAが...
-- このクエリを実現する手法の開発が寄与
- RNN:有限長の記号列を入れると,最終状態で実数値を返すも...
-- 初期状態 α,状態遷移関数 g,(最終)出力関数 β
- 重み付き有限オートマトン (WFA)
-- 各状態で,初期重みから最終重みになる
-- 状態遷移も重みに比例して遷移
-- 初期ベクトル α,最終ベクトル β,遷移関数 g(状態×状態...
- L*(m,e)アルゴリズム:ブラックボックス B からWFAを抽出す...
-- メンバーシップクエリ:入力文字列に対するBの出力
-- 等価性クエリ:BとWFAの等価性,等しくないときには反例
- RNNでのこれらのクエリの実現
-- メンバーシップクエリはRNNの推論するだけ
-- 等価性クエリの近似アルゴリズムを開発した
- RNNとWFAの等価性クエリ
-- 反例を探して,十分な時間を探してみつからなかったら等価...
-- 短い文字列から順に1文字ずつ足して文字列を長くしてゆく→...
--- この入力文字列が反例になるかどうかを検査する
-- 効率化のための仮説:RNNとWFAの最終関数は同じで,最終状...
--- RNN最終状態からWFA最終状態への写像を近似的に計算(回...
--- 反例でなかったら近似関数を更新
-- 十分に探索したことの判定
--- すでに調べた文字列と十分に近い文字列が反例でないこと...
** 隣接代数と双対平坦構造を用いた学習 [#uf3d78bb]
杉山麿人(NII)
- スライド https://mahito.nii.ac.jp
- 行列のバランス化(matrix balancing)
-- 行列の両側に対角行列をかけて,どの行・列の和も1になる...
--- 対角行列以外の正方では可能
-- Sinkhorn-Knoppアルゴリズム:行と列を交互に総和を1にに...
--- エントロピー正則化付きの最適輸送などに利用されている
- η:行列中で,自身の下方・右方にある要素の和
-- バランス化されていれば η_11 は行数と等しくなる
- θ:エントロピーのような量(?)
- ηとθは,情報幾何の座標系と対応している
- 行列のセルに半順序関係を導入,下隣や右隣のセルは次に小...
-- 何かしら半順序集合があればいろいろ使える
- 隣接代数 (incidence algebla)
-- 半順序上の関数上で定義,乗算が畳み込みになる
-- デルタ関数=単位元,ゼータ関数,メビウス関数
-- メビウス反転公式:逆関数のようなもの
-- inclusion-exclusion原理:集合の結び・交わりを定義する...
- 半順序集合上の確率分布を考える
-- θは情報量っぽいもの,ηは確率そのもの,積分・微分の関係...
-- θは自然パラメータ,ηは指数パラメータに対応
-- 対数線形モデルが表せる
- mixed座標系:θ(真の分布から出てくる)で表した多様体とη...
- 隠れ変数をどうやってモデルに入れるか
-- 半順序構造の外側に隠れ状態を入れると,EMのようなことを...
− ホモロジー,位相とも関係しちえる
* 招待講演1:Data-Efficient Reinforcement Learning of Mec...
Marc Deisenroth (Imperial College London)
- https://github.com/ICL-SML/pilco-matlab
- 自律ロボット:少数データからの強化学習を実現してゆく必要
-- モデルベースRL:データ効率的
-- モデル予測的RL:オンラインプランニングの導入で,さらな...
-- メタ学習:あたらしい状況を作りだして対応
- 強化学習:長期コストを最小にする方策を獲得
-- モデルベースRL
-- PILCOフレームワーク:状態遷移確率推定,長期予測の計算...
-- 状態確率モデルの推定:予測の不確実性が必要なのでGPを使う
-- 長期予測の計算:全ての状態についての積分が必要で大変 →...
- モデル予測的RL
-- 安全な探索:実世界での故障・死亡しない探索 → 安全性制約
--- 制御パラメータを直接推定
--- 短期の予測をして,そうなるように制御するパラメータを...
--- 不確実性を伝播させることで,安全性制約を満たせるように
- メタ学習:既知のタスクを新規タスクに一般化
-- 共通の大域パラメータとタスク依存パラメータに分ける
-- タスク依存パラメータは潜在変数で,学習済みモデルを切り...
- Key references
-- Marc P. Deisenroth, Dieter Fox, Carl E. Rasmussen, Gau...
-- Steindór Sæmundsson, Katja Hofmann, Marc P. Deisenroth...
* Stacked Capsule Auto-encoders [#hc95c86b]
Geoffrey Hinton
- CNNは同じプール内の変化に対して不変 → 最終結果が不変に...
-- 視点を変えたときに等価なものを同様に扱うようにしなけれ...
- CNNは物体を認識せず,部分的な記述子を獲得する → 敵対的...
- 科学はcoincidence 一致性によっている(方程式の両辺など)
-- 現状のNNは一致性を検出できない.
- CNNの問題:coordinate frame → 座標系の向きとかそういう...
-- Irvin Rock:向きによってアフリカとオーストラリアに見え...
-- 向きによって全く違ってみえる立体は存在
- 人間の心理内では,部品を認識し,その関係を認識している ...
-- このグラフ構造を見いだせるようになる必要
- stacked capsule autoencoder
-- 教師なしの枠組みで,全体から部分への認識,識別的なモデ...
-- カプセル:対象とか部品
-- カプセルに対応するネットがあり,その有無を位置・スケー...
-- カプセルの混合モデルとして全体の生成モデルが記述されて...
-- transformerの類似ベクトルを検索する機能はcoincidenceに...
- カプセルの混合率に基づいてMNISTの数字を記述すると,同じ...
* 11月21日(木):ワークショップ2日目 [#l8f443dd]
* 企画セッション2:データ駆動科学と機械学習 [#bdb9a946]
** サンプリングによるデータ駆動科学 [#h2c3f5fa]
福島孝治(東大)
- データ科学とデータ駆動科学
-- 第3の方法:実験・理論に加えてシミュレーション → 第4の...
-- データ科学による仮説生成を,理論,実験,シミュレーショ...
- 自然科学データ:観測(大規模化,高次元化)シミューレシ...
-- 超伝導:構造から理由はおいておいて,機械学習で超伝導の...
- ベイズ統計的アプローチ
-- 尤度には,物理の知見に基づいていろいろ制約を入れてきた...
- データから逆問題を解く事例
-- 操作トンネル顕微鏡,画像から原子の位置推定 → 原子位置...
-- scanning tunneling spectroscopy
-- Hamiltonian reconstruction
- ノイズ付き線形方程式:y = A x + ε
-- データがパラメータより少ないので不定問題
-- ベイズ的に推定するにはサンプリングが必要に
--- 課題:線形→非線形,単峰→多峰への対応,規格化定数が計...
--- population annealing:粒子フィルタの定常分布版
--- サンプリングをやりすぎると過学習 → エビデンスを使った...
- 原子の層を作った物質:第一原理家計算で結晶時期異方性の...
-- 各層のパラメータの相関 → 6層のうち第2層と3層の相関は大...
** データ駆動科学の立場からみた物質科学と情報科学の接点 [...
安藤康伸(産総研)
- 情報科学 × 物質科学
-- 多くの分子の中から反応しているものを目で探していた → ...
-- 変化の原因を調べる組織的な手法が必要
- Materials Genome Initiative (2011):物質を作るだけでな...
- 情報的視点からの物質科学
-- スモールデータ:100あれば非常に多い,高精度
-- 汎用的な物質表現・処理方法がない
- 胚スループット計測データ解析:単一シートに複数の素性を...
- 準粒子干渉測定のダウンサンプリング
- 触媒の設計:計測データを計算データであてはめ
- 第一原理計算
-- 原子・分子シミュレーション:安定構造の探索,分子振動の...
- NNの利用:表面化学反応のシミュレーション → 1995,2004に...
-- 課題:特徴量をどう作るか,分子の数の変更などが難しい
- Behler-Parrineloの方法:汎用的な手法の開発
-- 原子配置をそのまま入れても並進不変性を考えていない sym...
-- 各原子にサブネットをつけて,さらに原子の番号置換に不変...
- 機械学習ポテンシャル作成の構成技術:不変性を考えた構造...
- アモルファス:第一原理計算しか信頼できない
-- 今までの機械学習は結晶が対象で,不規則性に対応できない...
- アモルファス構造を作る温度管理 → シミュレーションでは計...
- 実験の人への貢献
-- スペクトルのピークの位置が多すぎて分からない → 混合ガ...
** 集団運動におけるデータ駆動科学 [#wfef30c3]
藤井慶輔(名大)
- スライド https://bit.ly/2OsiKaK
- 集団中の個人の行動データを集積 → 集団運動
-- 大陸の移動 ⇔ 分子の移動:いろいろなスケールである
-- 要素間の相互作用が不規則
- 課題1 動的システムとしての理解:系の遷移関数 f が分かっ...
- 課題2 マルチスケール:部品 < 個人 < 部分グループ < ...
- モデル駆動(方程式に基づく,原理の理解) ⇔ データ駆動(...
- 経験・理論基づく ⇔ 学習に基づく
- 経験+データ駆動:特徴工学 + 分類・回帰 → 小規模データに...
-- チームワーク評価,子供の集団評価
- 経験+モデル駆動:マルチエージェントモデル,解釈性は良い...
- 経験+モデル・データ駆動:スポーツデータ解析などの結果が...
- 学習+データ駆動:データから特徴抽出(教師なし学習,あて...
-- クラスタリング(DTW, 1DCNN, LDA)分類(潜在因子モデル)
- 学習+データ駆動:パラメータの学習
-- 科学的に有用なモデル:現象を予測,現象の説明,新しい理...
-- クープマン作用素のスペクトル解析を利用 → DMDモデルを使...
-- RNN系の非線形モデルによる軌道予測モデル
* 招待講演2:空間視聴触覚技術の社会実装 [#z07bdcea]
落合陽一(筑波大)
- 記事化禁止なので非公開
* 11月22日(金):ワークショップ3日目 [#ccd034a1]
* 企画セッション 3: 深層学習の理論 [#x90f7fef]
** 深層学習の汎化誤差のための近似性能と複雑性解析 [#bd22b...
今泉允聡(統計数理研究所 / 理化学研究所 / JST)
- スライド http://ibisml.org/ibis2019/files/2019/11/slide...
- 汎化誤差:近似誤差(DNNの表現力),複雑性誤差(DNN集合...
- 近似誤差:モデルが表現できるデータの構造
-- 普遍近似定理:3層以上なら,十分な数のパラメータがあれ...
-- 深層に限った話しではない
- パラメタ数に対して指数的に近似誤差は減少速度が速くなる
-- 微分可能な活性化関数の方が近似レートはよい → 多項式関...
--- 滑らかな場合はテイラー近似になるが,そうでない場合はΔ...
-- 目的関数が滑らかではなく,急速に変化するような状況では...
--- 局所的に滑らかさを変化させることができるところで有利
-- 特徴量抽出器:フーリエ変換など既存の変換はだいたい近似...
--- γ回とβ回微分可能な関数の合成で目的関数が表されるとき...
--- 特徴量抽出が1段目のγ回微分可能な関数にあたる
-- 以上の理論でも〜10層までは正当化できるが,100層などの...
- 複雑性誤差:汎化誤差と訓練誤差の差
-- 汎化誤差では可能な全てのデータの平均を考える必要
-- 一般的な理論に基づくと 重み数と総数の対数に大して大き...
-- 仮説:データ依存のモデル部分集合が存在,可能なデータの...
-- ノルムに基づく議論:各層ごとのパラメータのノルムが限定...
--- ノルムはいったい何なのか?NNに限らない議論
-- 学習アルゴリズムの影響:アルゴリズムによって探索される...
--- どれだけ学習を早期に停止してもいいという訳ではない
** 学習アルゴリズムの大域収束性と帰納的バイアス [#x41079d1]
二反田篤史(東京大学 / 理化学研究所 / JST)
- スライド http://ibisml.org/ibis2019/files/2019/11/slide...
- 非凸最適化 → 局所解がいろいろある → しかし,DNNでは大域...
- 最適化法に依存しないLandscape解析:肯定的と否定的な結論...
- DNNは違う学習法で同等の経験誤差を達成しても汎化誤差は違...
-- 学習法によって選択されるモデルが変わる,暗黙的な正則化...
- 回帰問題での議論:勾配法の大域収束性はいくつかの条件下...
-- パラメータ数がデータが大きければニューラルタンジェント...
- 勾配法は勾配ノルムの分だけ1回の反復で目的関数は減る → ...
-- 目的関数の勾配に依存して決まるニューラルタンジェントカ...
- NTK regime:NTKは正定値,初期点でカーネルが決まる
-- カーネル法の特徴空間中での更新則に類似するようになる
- 同じ3層NNでも設定要因によっては,NTK regime,mean field...
- 分類問題,ロジスティック損失で,識別誤差の収束の議論
- 分類でのNTKは,ラベルの符号できまる象限内での正性のみが...
- その他の仕事
-- RKHSでのSGD:識別面に近い部分に事例がなければ収束が早い
-- mean field regimeやactive regimeなどがある
** 群対称性を用いた深層学習 [#bcac4604]
三内顕義(理化学研究所 / 慶應大学 )
- スライド http://ibisml.org/ibis2019/files/2019/11/slide...
- タスクを数学的に見て,具体的には対称性の有無に応じてモ...
- 同変性:仲間はずれ発見タスク,物の並びを変えるとその並...
- データを入力する順番は無関係な不変性
- 群:かけ算に対して,結合則,単位元と逆元が存在,
- 対称群:順列とか
- 不変な関数=置換に対して結果が買わない/同変な関数=変...
- 置換同変なNN:同じ層のノードの置換に対して同変になる → ...
- Kolmogorov-Arnoldの表現定理:0/1からの実数への連続関数...
-- 同変ネットにこの定理を適用して不変ネットを構成できる
* 企画セッション4: 機械学習工学 [#pc924cd7]
- 機械学習工学 = 機械学習のためのソフトウェア工学
-- 土木工学によって橋が安全・効率的に作れるようになった →...
-- 設計開発手法,信頼性担保,検証,責任所在,知財,運用・...
** 機械学習に対するソフトウェア工学の技術動向 [#u6fd4565]
石川 冬樹(国立情報学研究所) @fyufyu
- ソフトウェア科学会内での機械学習工学研究会,QA4AIコンソ...
- 要求工学:システムの要求定義,合意,記述して,その妥当...
-- 仕様書は場合分けだった → 機械学習では場合分けが不明瞭
-- 不変条件,事前の約束はできない=精度95%とかを事前には...
--- Proof-of-Concept:お試し,これだけで終わることが多い
-- 技術的負債,現状のソフトは7〜8のコストは保守費,機械学...
-- 不確かさ:想定を尽くしきれない
- テスト技術の例
-- テスト不可能:正解の作成コスト,正解自体を決められない...
--- テストに失敗してもすぐに誤りとはいえない.誤りがあっ...
-- 従来のテスト:単体テストやカバレッジでは対応できない
- メタモルフィック・テスティング
-- 入力にある特定の変換をしたとき出力がどう代わるかを検証...
- サーチベースド・テスティング:望ましいテストの評価指標...
-- 画像にノイズを入れて分類結果が変わったら再調査するなど
-- システムレベルの要求に基づくテスト:不確実な予測結果
** 機械学習と知財・契約 [#r3da748e]
柿沼 太一(STORIA法律事務所)
- データの収集(個人情報・著作権法)開発(検収をどうする...
- データの収集:データの入手方法や種類で制度が違う
-- データの種類(個人情報,著作物,肖像権,事実を示すデー...
-- データの取得(自身で正性,利用契約外で第3者から,契約...
--- これらの組合せで,法律や契約の規制
- 個人情報と著作権にはよく注意
-- 医療データ:個人情報,個人情報の第3者提供
-- 店頭カメラで撮影した顔画像 → 個人情報
-- ネットでクロールした著作物を解析する場合には著作物だけ...
- 通常のシステム開発と,学習済みモデルの違い
-- 機械学習では,納めるモデルの他に見,発明やノウハウも出...
-- 契約外で出来た物は,発注・開発の両者が権利を主張 → 派...
- 対象の範囲:生データ(特許 ×,著作権 △,不正競争 ○)学...
-- 「学習済みモデル」はよく揉めるので,すりあわせをちゃん...
-- これらは法律によるデフォルトで開発者に,契約で変更可能
- 成果物をどう使うか詰めてから契約の詳細に入ること
-- ユーザ:データを供出 ⇔ ベンダ:ノウハウを供出 → 権利で...
-- 権利帰属と利用条件それぞれを明確に
- 契約分類:領域ごとに分割,全部共有(どう使えるかを曖昧...
** 継続的改善をし続けるための機械学習基盤の課題 [#a59055c4]
有賀 康顕( Arm Treasure Data )
- スライド http://bit.ly/mlssys-ibis2019
- [Sculley, 2015] 機械学習システム全体での,機械学習時代...
- 機械学習のプロジェクト:課題 → サーベイ → 機械学習利用...
- 機械学習システムは確率的に挙動が決定する
-- コードではなくデータで挙動が変わる,何かを変えると全体...
-- 学習とデプロイ環境が違ったり概念ドリフトで,挙動が全く...
- DevOps:開発と運用で → infrastructure as code で一致さ...
- ML Ops:機械学習はブラックボックスのままで,運用までも...
- うまくいっているかどうかの監査技術がある
- ML開発でのマニフェスト:reproducible(実行環境によらず...
- MLシステムの課題
- data/model management:1万個とかモデルがあると実験ノー...
-- Uberのデータブックなどのツール,データバージョンコント...
- experiment tracking
-- モデル選定の条件,ツール:kubeflow piplines ML flow tr...
- reproducible experiment
-- ハード,ソフト,乱数,データが変わると実行環境
-- dockerなどのコンテナ,polynote(jupyter notebook で実...
- pipeline management
-- 出荷の手順,ツール:kubeflow, Argo, ArgoCD
- ML frameworks abstraction
- model serving deployment
-- コードにちょと書き足すと,予測モデルが自動でデプロイさ...
-- Apple の Overton,ドメインエンジニアが調整できる
-- data validation: デプロイ環境が想定通りのものか検証す...
- explaining model/data
-- 性能指標の向上の原因をさぐる,納得できそうな手がかりが...
- model serving / deployment
-- 一部のリリースをやりやすく,ABテストの実行環境
- monitoring / observability
-- 機械学習の性能指標とビジネス指標とを追いかけてくる
-- 人間の介在でシステムへのフィードバックが遅れることへの...
* 招待講演3: 日本におけるデータサイエンスの現状と今後 [...
竹村彰通(滋賀大)
- データサイエンスの3要素:情報学 + 数学・統計学 + 領域知...
-- 日本には統計の学部・学科がなかった,アメリカの統計学の...
-- 中国の leapfrogging 技術段階を超えた進展
- データサイエンティストの必要性:2016年ぐらいから政府文...
- AI戦略2019:50万人/年にリテラシ教育
- データサイエンス:ビッグデータを対象して,そこから知見...
-- 5G=通信が100倍高速に・2025年頃に普及,LPWA (Low Power...
-- GPS:衛星 みちびき=10cmぐらいの精度
- ビッグデータ:21世紀の石油 [The Economist]
-- 人々の動き,IoT → 分析技術が必要に,日本は海外にデータ...
-- IoT:出荷後のデータをメーカが取得できる.
- 滋賀大学
-- 日本最初のデータサイエンス教育拠点@彦根,学部 100人,...
-- カリキュラム:統計系が多い,情報,演習,社会調査
-- 共同研究:車載機器から運転の安全性予測 → テレマティク...
-- 企業へのレクチャー
- ビッグデータとデータサイエンスの諸側面
- データからの価値創造の流れ
-- 課題駆動型アプローチとデータ駆動型アプローチ → 前者が...
-- 課題駆動型:課題 → データ収集 → モデルの決定・計算 → ...
--- PPDAC:Problem → Plan → Data Analysis → Conclusion
-- データ駆動型:可視化・記述統計 → 仮説生成 → 検証データ...
-- 成功の条件:整理されたデータがあり必要に応じて取得でき...
- 相関と因果
-- メーカーからの相談:だんだん因果の要素が増えて困難に ...
-- 『Prediction Machines』経済学者,予測だけでも役立つよ...
-- 『The Book of Why』Peral & Mackenzie,因果が大事
- 統計不正:取りにくいデータと取りやすいデータがある → 調...
- 公平性:ジェイスコア 性別で差がついた
- Martin Ford『Architechts of Intelligence』Singularityが...
ページ名: