第36回 情報論的学習理論と機械学習研究会（IBISML）†
このページはしましまが 第36回電子情報通信学会 情報論的学習理論と機械学習研究会 に参加してとったメモです．私の主観や勘違いが含まれていたり，私が全く分かってなかったりしていますので，その点を注意してご覧ください．誤りがあれば，指摘してください．
3月5日（火）†
A connection between Kida's optimal signal approximation and the signal classification by maximizing margin†
○Takuro Kida（Tokyo Tech. Prof.EM）・Yuichi Kida（Ohu Univ.）
- Y ← F H S Z の信号処理，H と S はgivenで，F は族のみ与えられ，Z を最適化して F と Y を近づける → F (1 - A Z) ＝ 0
- F ← 入力，H ←観測フィルタ，S ← サンプリングフィルタ，A ← H S
残差スキップ接続の表現力とネットワークの設計†
○長瀬准平・石渡哲哉（芝浦工大）
- スキップ接続：元入力を加算するResNetと，ベクトルの要素として追加するDenseNet
- 表現力：ネットが表現できる関数集合 → 線形回帰を台として1層のパーセプトロンを表せる
- Res と Dense は，正則性（重みの左逆Affine関数の存在）を導入すると対応が付けられる
強化学習におけるVariational Information Maximizing Explorationに基づく状態探索の効率化†
○土井一輝・大川慧悟（岐阜大）・志賀元紀（岐阜大/JST/理研）
- VIME：探索-活用のトレードオフのために，報酬に加え，新たな観測データ (a_t, s_t+1) を得たことによる情報量を考慮する
- TRPO：方策の勾配法による更新方法，過剰な更新を抑えるために変更の前後のKLダイバージェンスを制約する
招待講演「機械学習工学への誘い」†
丸山 宏 (Preferred Networks)
- Software 2.0：今までのソフトウェアを深層学習が食べている → 2020年には50%のソフトに深層学習が関連する
- 先験的な知識を用いたもの → 入出力のペアから学習する
- 例 摂氏から華氏への変換：摂氏から華氏への変換式をプログラムにする → 摂氏・華氏のデータから作る
- 深層学習は過学習しにくい，任意の関数を近似できる
- 限界
- 訓練とテストで環境が同じではない
- 訓練データにない状況は対応できない
- 訓練データをうまくサンプリングすることは難しい
- ソフトウェア危機への対応としてソフトウェア工学ができた → 機械学習にも工学的な見地の研究分野が必要
- 土木工学：安全係数 → 理論値からのマージン
- 開発プロセス
- 機械学習の製品開発：顧客とのコミュニケーションの次に，品質保証で困っている
- Proof of Concept：データの量や質は足りているかの検討段階が必要 → PoC貧乏：ずっとPoCから前に進まない
- 機械学習を使った成果が出たら，最後は準委任契約ではなく，Joint Ventureに
- 品質
- 機械学習の解く問題自体には形式的な正解はない → ソフトウエア工学的なテストは掛けない
- 入出力の例だけで示す → 入出力の対応を強制することは困難
- 組み込み系のV字開発では対応できない → ソフトウエアにはバグが必ずある → コードレビューなどの所定の手続きを行ったことで品質保証とする
- 再利用
- 公開モデルを使う→ホワイトボックス再利用，内容の分からないモデルのアンサンブルや蒸留→ブラックボックス再利用
- 経産省はモデルの再利用についてのガイドラインを出している
- 計算環境
- スパコン + スケジューラなどの管理環境 → クラウド環境では今はできない
- 要求
- 強化学習で衝突のペナルティを∞にすると動かない車ができる → 効用と安全性のバランスを定量的に要件として書き出す必要
- オープンな世界ではフレーム問題があるので不可能
- アーキテクチャ
- データベースのB-Tree（キーからデータの位置を返す）→ 深層学習に置き換えるとコンパクトにできる
- 普通のソフトと深層学習を組み合わせるアーキテクチャの例
- インバリアント：ソフトウェア工学でループを幾ら回っても変わらない点
- 機械学習では，実行可能解のような満たすべき制約を考える
- 基礎理論
- 計算機は離散値しか扱えない → 連続値を扱うための基礎理論
Set Transformerによるファッションコーディネート選択†
中村拓磨・○斎藤侑輝（ZOZO研）
- ファッションでのデータ適用：スタイルの分類，コーディネートの適切さ
- IQON：コーディネートの共有サイト，利用者のフィードバックを返す
- fill in the blank：欠けているものの穴埋めタスク
- set transformer：encoderは順列置換に不変なモデルで，encoder-decoder のモデル
- decoder の出力に近いものを選ぶ方法や，encoder と候補アイテムから得た出力をdecoderに通す方法
コネクテッドカーサービスに対する虚偽情報混入攻撃の強化学習による自動生成の検討†
○彈 雄一郎・長谷川慶太・原田貴史・鷲尾知暁・大嶋嘉人（NTT）
- コネクティッドカーのセンサー情報に偽情報を入れる → 所用時間を虚偽報告して交通の混乱をまねく
- 検知手法：攻撃データの生成と分析 ＋ 攻撃の検知
- 渋滞が起きたら報酬を与えるような設計で強化学習を導入
3月6日（水）†
Batch-normalizationがResNetのフィッシャー情報行列に与える影響の理論解析 ![[smile]](image/face/smile.png)
†
○古庄泰隆・池田和司（奈良先端大）
- ResNet とバッチ正規化付きの ResNet の，初期化時点でのフィッシャー情報行列の最大固有値
- ResNet は固有値が逆数を層数に対して指数的に増えるが，バッチ正規化を導入するとサブリニアにできる → 学習率を大きくして収束を早くすることができる
○古庄泰隆・池田和司（奈良先端大）
- モデルが複雑になるのに経験誤差と訓練誤差の差が小さくなる現象について
- 中間層の幅を広くするとクラス内の距離を小さくできる
Shapelet-based Multiple-Instance Learning†
○Daiki Suehiro・Kohei Hatano（Kyushu Univ./RIKEN AIP）・Eiji Takimoto（Kyushu Univ.）・Shuji Yamamoto・Kenichi Bannai（Keio Univ./RIKEN AIP）・Akiko Takeda（The Univ. of Tokyo/RIKEN AIP）
- マルチインスタンス学習：インスタンスの集合であるバッグ（複数のものが写っている画像で，そのものを構成する画素がインスタンスでもの全体でバッグを作る）にラベルが付いている．
- 時系列の短い部分列をshapeletと呼び，その集合をバッグとみなす
○山崎遼也・田中利幸（京大）
深層学習超解像を用いた磁気共鳴血管画像の復元†
○北崎自然・川喜田雅則・實松 豊（九大）・久原重英（杏林大）・樋渡昭雄・竹内純一（九大）
- MRI画像の撮影時間が長いので観測を減らす + 圧縮センシングによる → 計算時間が長いので深層学習を使う
- CNN を使うが，複数の解像度ごとにCNNを作り解像度を合わせて最終画像に合成する提案
領域分割学習を用いたブースティング判別器の高速化と顔検出器への応用†
○森 健・竹内純一・川喜田雅則（九大）
- ブースティング識別の高速化
- γ打ち切り法：全ての弱識別器を評価しなくても識別結果が分かるように
- 順序構造学習：打ち切るのだが，さらに平均評価回数が最小になるように，識別器の評価順序を変更する
- 提案→領域分割学習：特徴空間を分割して，それぞれの領域ごとに順序構造学習をする
- 領域によっては，弱識別器の結果が定数になる場合もある
囲碁プログラムにおけるRAVEを用いたLGRFの評価†
○清水達哉・葉山雄太・中村あすか・前川仁孝（千葉工大）
- プレイアウトの方法LGRF：定石的な応手を扱うため，決まった応手を行う
- 評価値の更新方法 RAVE：UCB に基づく評価項を加える
![[PukiWiki]](image/ibisforest.png "[PukiWiki]")
