* 第32回 情報論的学習理論と機械学習研究会（IBISML） [#e4debdf2]
このページはしましまが [[第32回電子情報通信学会 情報論的学習理論と機械学習研究会>http://ibisml.org/ibisml032]] に参加してとったメモです．私の主観や勘違いが含まれていたり，私が全く分かってなかったりしていますので，その点を注意してご覧ください．誤りがあれば，指摘してください．
- 日時：2017年 3月 5日(月)〜6日(火)
- 会場：九州大学 西新キャンパス
- http://ibisml.org/ibisml032
- http://www.ieice.org/ken/program/index.php?tgs_regid=e308876a78830ad9e1d02c5e019be8248c80e1d50c2e7c318176b86db7481f8d
* 3月5日(月) [#x0bce485]
* 学習理論 [#y064879f]
** 混合ポアソン分布の実対数閾値とベイズ汎化誤差について [#f36e49df]
○佐藤件一郎・渡辺澄夫（東工大）
- 真の分布とモデルとの乖離を評価する自由エネルギーと汎化損失を混合多次元ポアソン分布について求めた
** 最頻値線形回帰の情報幾何 [#z37da691]
○三戸圭史（筑波大）・赤穂昭太郎（産総研）・村田 昇（早大）・日野英逸（筑波大）
- 情報幾何：モデル多様体（モデルが表す分布）データ多様体（潜在変数の値）これらの間の m と e の射影
- 最頻値線形回帰：期待値ではなく，最頻値が線形モデルで表される，ロバスト推定 → 情報幾何の枠組みでとらえる
- Yaoの最頻値線形回帰と一致するモデル・データ多様体の記述法の提案
-- 分布のモデルの記述がないところが難しいが，誤差分布が0になるような多様体を用いることで，この問題に対応
** 複数の距離計量を用いたk近傍推定のための距離学習 [#e2714d73]
○關 翼人・村田 昇（早大）
- 非構造的なデータを対象に複数の距離（いろんなグラフ距離とか）を考えて，それらをまとめて，別の一つの距離でのk近隣を導けるようにしたい
-- 全体として無矛盾な距離空間を考えるのではなく，近隣になるかどうかといった局所的な構造に注目する
- ランダムフォレストと同様の手続きで作ったいろいろな決定木のノードで同じ集合になるかどうかでの近隣性を評価
- 近さの順位ということだけに注目することで，ロバスト性を達成できる
** Exponential Family of Markov Kernels and Asymptotic Exponential Family of Markov Sources [#x78eec60]
○Jun'ichi Takeuchi（Kyushu Univ.）・Hiroshi Nagaoka（Univ. of Electro-Communications）
- IIDの指数型分布族に従うn個のデータ → 指数型分布族に従うことはよく知られている
- IIDじゃなくてもMarkovとかなら o(1)の項を除いて指数型分布族 [ito&amari 1988]
-- 2005年に e-family of Markov kernel というのを定義すると一般化できる
-- これが 漸近型指数分布族 と等価であることを示す
* 招待講演：連続多腕バンディット問題とその周辺 [#i63c0dd0]
熊谷亘（理研AIP）
- bandit：過去の報酬のみ
- contextual bandit：過去の報酬と文脈（特徴）
- combinatorial bandit：腕がd次元
- dueling bandit：フィードバックが比較結果
- フィードバック（報酬）：確率的，時系列，敵対的
- 行動空間 A（腕の選択肢）→ 連続⇔離散，制約なし⇔制約あり
- 以下 フィードバックは確率的，連続，制約あり
- 数値最適化の手法
-- 2次（ヘッセまで使える）1次（勾配のみ）0次（直接評価するだけ）と（2点以上を評価して比較）
-- 0次：微分無し最適化やバンディット最適化などとも呼ばれる
- 連続フィードバック：真値 + ノイズ
- バンディット＝リグレット最小化＝T回ごに良ければOK ⇔ 関数最適化＝収束レート最大化＝途中が速くないとダメ
- [Flexman+ 2005]：関数値しか返ってこない状況でもその近傍を一様ランダムにサンプリングして決める関数を考えればその勾配は推定できる → SGDの枠組みで連続フィードバックに対する行動決定にできる O( T^{3/4} )
- FTRL (follow the regularized leader) アルゴリズム (self-concordant + α な制限のある関数をうまく使う）→ 勾配降下法と関連
-- 勾配が一様ランダムではなくて，self-concordantな関数のヘシアンをうまく使う → 上界：O[ √{T log T} ]，下界：O[ √{T} ]
- 比較バンディット：行動として二つの値を与えると，報酬関数値はどちらが大きいかを返す（ベルヌーイに従う）
-- minimum win probability：最も勝ちにくい相手に勝てる確率 → その和を最小にするようにリグレットを定義
- [Yue+ 2009] SGDを使った活動 [Yue+ 2009]
- mirror descent：勾配法の拡張，concordant な関数 R で写して勾配法をしてから，R の逆関数で戻してくる
- mirror descent はある条件の下で FTRL と等価とみなせる
* モデリングと機械学習 [#ke45af29]
** ブートストラップ分布に基づく外れ値検定 [#e20ec029]
渡邊隼人（早大）・○日野英逸（筑波大/理研）・赤穂昭太郎（産総研）・村田 昇（早大）
- k番目に近い点までの距離で行うはずれ値検出を修正
-- k番目に近い点までの距離と，k番目までの点の平均ははずれ値でないなら，この差は小さな値になるはず
- 実際に計算したこの差が，ブートストラップで求めた分布での差と比較することで検定する → はずれ値の閾値を考えなくてよくなった
** Classification of Intra-Week and Intra-Day Walking Patterns and Their Effect on Body-Composition Changes Using A Hierarchical Model [#u4ab2eba]
○Shunichi Nomura（ISM）・Michiko Watanabe・Yuko Oguma（Keio Univ.）
- タニタ製の活動量計の行動パターンの分類
-- 一日のうちの行動パターンをLDAで分類する
-- 週内の行動パターンは，週間パターンを生成してから，各曜日の日内モデルを生成する pachinko allocation モデルで分類
- 状態空間モデルで体重の変動を歩行数から，パターンごとにあてはめた → はっきりとした傾向のあるパターンは少なかった
** 異種データ活用のための変換複合行列分解 [#cac8cce0]
○土屋 平（早大）・岩田具治（NTT）・小川哲司（早大）
- 推薦でアイテムや利用者の特徴が付いている評価値行列が入力で，未評価部分を補完する
-- アイテムと利用者の潜在表現を，これらの特徴を表す場合と，評価値行列とで個別に用意するモデル
-- 利用者・アイテム双方に，それぞれ二つの潜在ベクトルがあるが，利用者・アイテムにそれぞれ一つの共通ベクトルを考え，二つの潜在ベクトルはNNで表現した非線形変換で共通潜在ベクトルから得られる
** 潜在変数に階層モデルを仮定したベイズ独立成分分析 [#m0e455d7]
○浅葉 海・齋藤翔太・堀井俊佑・松嶋敏泰（早大）
- ICA は普通は独立成分には分布の非ガウス性以外の仮定はしないが，ラプラス分布であることを仮定して精度を向上させるモデル → ラプラス分布の事後計算は，分布関数の不連続性から難しい
- スパース推定で，モデルを階層化することで事後分布を変分近似する手法があるので，これを使ってこの問題に対処
* 3月6日(火) [#ha61ea1e]
* 最適化と学習理論 [#n2d995e1]
** セーフパターンプルーニングによるルールベースモデルの学習 [#zfc51d18]
加藤宏樹・○花田博幸（名工大）・竹内一郎（名工大/理研/物質・材料研究機構）
- ルール：数値がある範囲にあるかで真偽値が決まる → ルールの選択をスパース学習で行う
-- 必要なルールの選択は離散最適化になるが，安全に枝刈りできる条件を提示
** Krawczyk-Hansenによる精度保証つき大域的最適化法の局所解を用いた高速化 [#x893507d]
○高田浩彰（東大）・美添一樹（理研）・石井大輔（福井大）・津田宏治（東大）
- 精度保証付きの大域最適化手法である Krawczyk-Hansen法 の新たな枝刈りによる高速化手法
** 学習係数の解析による特異ベイズ情報量基準の改良 [#hf9a6dea]
鈴木沙也加・椎名颯太・○青柳美輝（日大）
- BIC はフィッシャー情報量行列が特異だと成立しないので，これを修正した Dorton の sBIC
-- この Dorton の方法を混合分布モデルに適用できるようにする．
** 系列データからのクラス特異的代表パターン選出: 分類モデルとMorse Complexによるアプローチ [#t6c47eb6]
○烏山昌幸（名工大/物質・材料研究機構/JST）・竹内一郎（名工大/物質・材料研究機構/理研）
- いくつかのクラスに分けられている時系列で，各クラスに特有の変化パターンを見つけ出す．
- 系列を系列の断片の重み付き和としてモデル化 → 各クラスを分類できるようにあてはめ
- あるクラスについて特異的に発生しやすい断片パターンを評価する指標を提案し，抽出したパターンをクラスタリングしてその代表的なものを選び出す
* 深層学習 [#u6341797]
** Sonar2image: 敵対的生成モデルを用いた養殖魚暗視システム [#o9253798]
○辛 剣徳・寺山 慧・水野勝紀・津田宏治（東大）
- 養殖魚の魚群をソナーと水中カメラを組み合わせて監視したい → 二つの画像から鮮明な画像を生成
- conditional GAN：ラベル情報を生成器・識別器に追加入力することで，ラベル情報に対応する画像を生成できるようになる
-- pix2pix：ラベルとして抽象的な線画などを入れると，それを詳細にした画像を生成できたりする
- これを，ソナー・水中カメラの二つの画像から，詳細な画像を生成する枠組みに拡張
-- きれいな画像が撮れる水族館でカメラ画像を取得し，対応する低精度画像をノイズを加えて生成
** 高速デシメーションアルゴリズムの開発 ～ スパース2パラメータボルツマンマシンをベンチマーク関数として ～ [#ed05247d]
○元木大介・渡部昌平・二国徹郎（東京理科大）
- 反応項目理論に加えて，二人の回答がカンニングなどで似ているかどうかの関係を導入して，テストと被験者の二組のパラメータがあるボルツマンマシン
- パラメータ空間を逐次削減するデシメーションアルゴリズム [Decelle 2014] で解く → 計算をうまく打ち切ることで高速化するアルゴリズム
** 複素ニューラルネットワークにおけるデータの対称性を用いた自然勾配法 [#g234b2bd]
○椋野純一・松井 一（豊田工大）
- 複素NNでの自然勾配法：実・虚部を独立に扱うのではなく，複素フィッシャー行列を導入する方法の提案．
![[PukiWiki]](image/ibisforest.png "[PukiWiki]")
