Loading [MathJax]/extensions/TeX/boldsymbol.js
しましま/IBIS2013
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
* 第16回 情報論的学習理論ワークショップ (IBIS2013) [#x2a9...
COLOR(#00AA00){このページはしましまが [[IBIS2013>IBIS#IBI...
#contents
* 11月10日 (日) [#e07ed0be]
* チュートリアル1：機械学習概要 [#k035fd5c]
村田 昇（早稲田大学）
- 学習とは『賢くなる手続き』
- スパムメール，Googleの検索，推薦システム，Watson，将棋...
- 計算論的学習理論
-- 人工知能とアルゴリズムの初期研究：決定的 → 確率的・非...
-- 80年代の Valiant 十分な確率で正解に達すればよい → PAC...
- 統計的学習理論
-- 確率的近似法（統計的探索に確率探索の手法を導入）→ 学習...
学習問題の枠組み
- 教師あり（回帰，識別）・教師なし（クラスタリング，異常...
- 学習モデル
- パラメトリック：有限個のパラメータで決まるモデル
-- 少ないデータで予測できるが，現実と乖離することが多い
-- 大数の法則と中心極限定理に基づいた解析 → 比較的容易
-- 決定木，ニューラルネット
- ノンパラメトリック：データに依存して決まるモデル
-- 多数のデータが必要になるが，低バイアス・高バリアンス
-- 一様収束定理とAzuma-Hoeffdingの不等式に基づいた解析 → ...
-- カーネルを使ったときのサポートベクトルマシン
損失による定式化
- 損失：データ z に対してパラメータθの機械が被る罰金で，...
- 期待損失：L_P(θ)＝E{Z〜P}[ l(Z;θ) ] → 最小化したいけれ...
- 経験損失：データ D に対する損失 L_D(θ)＝(1/n) Σ{z_i∈D} ...
- 経験損失と期待損失の差は，データや損失の種類に依存して...
- 損失から距離へ：D(P,θ)＝L_P(θ) - L_P(θ*) ← 最適なパラメ...
-- 統計の分野では discrepancy や divergence と呼ぶ
- 学習モデルも確率分布とみなせる：回帰だと Y＝Normal( f(X...
-- 分布の空間を考え，学習モデルのパラメータを動かすと曲面...
-- 最適モデルは観測データから，この曲面上の最も近い点
- 訓練損失（学習に使ったデータに対する損失）と予測損失（...
-- 分布の空間中で，観測データと真の分布はちょっと違う → ...
-- 経験損失最小化だと予測損失の方が訓練損失より大きくなり...
バッチ学習とオンライン学習
- バッチ学習：経験損失最小化による学習
-- 大数の法則：訓練データ数が無限大になれば経験損失は期待...
-- 中心極限定理：経験損失最小化で学習した結果は，最適モデ...
- 勾配法：曲面の勾配の方向に少しずつ移動しながら最適なと...
- ニュートン法：勾配の曲がりを補正して，速く収束するように
- オンライン学習：確率近似法 → 勾配法は全データに対する勾...
-- データを全て記憶しておく必要がない，局所解に捉えられに...
- トレードオフ：学習係数が大きいほど真の値への収束は早い...
- 学習係数の最適な大きさ：時間の逆数にヘシアンの逆行列を...
学習モデルの評価と過学習への対応
- 過学習：訓練損失は小さいが，予測損失は大きい → 構造的な...
- 過学習の評価：情報量規準→→再サンプリング（交差確認・ブ...
-- 再サンプリング：データを変えることによる学習結果の散ら...
- 過学習の抑制：モデルの自由度を制限する，損失の正則化を...
-- 自由度の大きさはモデルの次元だけではきまらずに，確率分...
* チュートリアル2：機械学習に基づく自然言語処理 — 全体概...
松本 裕治（奈良先端科学技術大学院大学）
- 典型的な自然言語解析：形態素解析 → Chunking → 統語解析 ...
- 統語解析：依存構造（係り受け）→単語間の依存関係（係り受...
-- 依存構造の分析：交差を許す場合とそうでない場合とがある
-- 動的計画法による効率的な計算
- 確率の推定：
-- HMM
-- MEMM (HMMとはことなり観測が与えられたときの隠れ状態の...
-- CRF：文全体をみながら分析
* チュートリアル3：機械学習に基づく自然言語処理 — 教師な...
持橋 大地（統計数理研究所）
教師なし学習
- 教師情報なしに，データだけから予測する
-- 教師情報を与えるのが大変，厳密に正解を定義することが困難
- 単純ベイズ：p(W|y) = p(k) Π p(w|y) それぞれの確率は単純...
- ユニグラム混合：ラベルが分からないので，クラス y で周辺...
-- 特にクラスがなくても，かなり話題ごとにうまく分けられる
-- あるトピックで一度も出ない単語があるとその p(w|y) は 0...
-- 超パラメータは経験ベイズで推定．p(W|α) は Polya分布(DC...
- 隠れマルコフモデルを使った教師なしの形態素解析
-- 通常のEMアルゴリズムは局所解に陥りやすいため有望な方法...
-- オンラインの計算手法：SGDでMステップを実行
- トピックは一意に決まらなかったりする → トピックといった...
- トピックモデル：文書 W を話題の混合で表す → LDA
-- 最初の解法：VB-EMアルゴリズム （p(y|w) と p(w|y) との...
- LDAの拡張
-- visual wordを使った画像処理とかにも適用され，画像の領...
-- 方言と関連するように地理情報を加えたりできる
-- 人間が介入できるように識別モデルと組み合わせ：レビュー...
発展的内容
- 混合モデルの限界：自然言語はトピック以外に文法的制約が...
- いろいろな制約を考慮した定式化 → 制約を各制約を満たす確...
-- 積モデルの正規化定数の計算は難しい → MCMCなどのサンプ...
- 収束するまでではなく1度だけサンプリング (Contrastive Di...
-- RBM も積モデルなので学習に利用されている ← 階層化した...
-- 現在は積モデルといえばRBMだが，別にそれに限るわけでは...
* 11月11日 (月) [#x85c2a9c]
* チュートリアル4：機械学習とクラウドソーシング — 機械の...
鹿島 久嗣（東京大学）
- 分析のプロセスのほとんどが人力
-- CRISP-DM：1990〜2000年代 データ解析業務プロセスの標準...
-- データサイエンティストの不足 → データ解析の労働集約性...
-- いろいろ知的システムの成功例があるが，『データの外側』...
- クラウドソーシング
-- reCAPTCHA：二つキャプチャ画像のあるうち，もう一つは機...
-- アウトソーシング（見知った特定の少数の相手に発注）⇔ク...
- クラウドソーシングの形態
-- 間接的：タスクを，reCAPCHA ややゲーム化するという風に...
-- 直接的：対価を払うか，ボランティアを募って仕事を頼む
- オンライン労働市場：Amazon Mechanical Turk, oDesk, elan...
-- メリット：オンデマンドで発注でき，余暇的な時間で仕事を...
-- タスク：マイクロタスク（画像のラベル付け，住所の確認な...
-- Amazon Mechanical Turk：2005年に登場，190ヶ国50万人の...
- 計算機科学におけるクラウドソーシングの利用
-- 自然言語処理（アノテーション，翻訳）画像処理（アノテー...
-- 2006 にクラウドソーシングの提案，2013 専門の国際会議 H...
クラウドソーシングによるデータ解析
- 米ビックデータ研究イニシアティブの3要素：機械学習，クラ...
- 入力に対する人間の判断：選択式，数値，自由記述
- ゲーム化：出力一致，入力一致，関数評価 → 面白いゲームを...
-- 出力一致：ESPゲーム → ランダムに選ばれた二人が画像に対...
-- 入力一致：Tag-A-Tune → 各プレイヤーはそれぞれ楽曲の一...
-- 関数評価：Peekaboom → 答え画像を知っている人が，見れば...
クラウドソーシングの品質保証
- 不特定多数の人に依頼するので，いいかげんな答えをして，...
- 品質管理機能：資格条件や事前テストによるフィルタリング ...
- 冗長化：同じタスクを複数の依頼し，結果を統計処理して品...
-- ワーカーごとに仕事の質を判定する ← 仮定：採用された解...
-- Dawid&Skene：ワーカーの質を潜在変数として，その質で重...
-- Whitehill+：ワーカーの質に加えて，タスクの品質を考慮
-- Welinder+：ワーカーとタスクの相性も考慮
-- 冗長化の限界 → 統計処理ができる定型タスクは限られる
- 冗長化の限界への挑戦
-- Lin+：無限の可能性のあるタスクへの対応：確率過程を使っ...
-- 馬場+：多数決以外に，評価自体もクラウドソーシングする
クラウドソーシングデータからの学習
- Rayker+：ワーカーの質と真の正解を両方とも潜在因子と考え...
- 予測モデリングのクラウドソーシング
-- モデリングにはデータの特徴をうまく捉える必要があるが，...
-- データ分析コンペティション：Kaggle, CroudSolving → 上...
今後の展望
- 協調によるデータ分析：コンペティション型の解析では互い...
-- 現状のトップモデルを改善した量に対して報酬を決める，早...
- 予測以外のタスク
-- 大規模ネット講義で，宿題を相互レビューする
- セキュリティ・プライバシ
-- 紙のカルテの書き起こしとかはできない
-- PPDM 技術を応用できる可能性
-- データの分割により文脈を隠す：プライバシ保護のために顔...
- 機械と人間の協調作業
-- 人間と機械が共同してチェスをすると，機械だけや，人間だ...
-- Branson+：鳥の種の名前の認識 → 人間が画像をみて鳥の特...
-- Yan+：同じ対象が写った画像の識別 → 機械がフィルタリン...
-- Kulkarni+：コンテンツ作成は修正と評価を繰り返したりす...
* 企画セッション：ビッグデータ時代の機械学習研究 [#i6cbe4...
** 趣旨説明 [#k053a8f0]
杉山 将 (東京工業大学)
- 2008年と較べて規模も拡大し，産業界からの参加も増えた
- 学習アルゴリズムの相対的役割は低下し，前処理や解釈が重...
** ビッグデータ時代における機械学習研究の光と影 [#vb72695e]
上田 修功 (NTTコミュニケーション科学基礎研究所)
- ビッグデータの経済価値，米ビックデータイニシアティブ
- 従来の分析とは異なり，膨大な量を利用した分析
- 仮説検証 → 仮説発見
- 機械学習は分析の対象に依存しない部分
-- 機械学習：50-80 人工知能の開花，1980：エキスパートシス...
-- でも現場に行ってみるとそういう非構造データを扱うような...
- 批判
-- Wagstaffの批判：アルゴリズムだけでなく，要求や各分野で...
-- John Chambers "Greater or Lesser Statistics"：対象問題...
- 期待すること：異種データ融合，超スケーラブル，信憑性
- 真のML研究は，退屈？な計算理論ではなく，20世紀以前の探...
** ビッグデータへの同床異夢 [#n9f13f12]
樋口 知之 (統計数理研究所)
- 統計科学と情報科学の言葉の違い
-- データ⇔情報，情報⇔知識，知識⇔暗黙的な知 → 1階層思い描...
-- 個々のステップを続けていくが，その間で思い込みやずれが...
- データサイエンティスト
-- 統計科学の30年 北川敏男 ( http://ebsa.ism.ac.jp/ で読...
--- 地理・歴史のような記述的な学問が好きであり，かつ，数...
-- 技術（客観的，絶対的）⇔ 価値（主観的，相対的，人によっ...
-- Data Scientists are actually T-shaped：Rodriguez，Data...
--- 米では，データ分析の一部である統計だけで4000人も毎年...
- 内への期待
-- ベンチマークテストの性能向上からの離脱
-- 人とマシンの協調：エキスパートの持つ経験知のモデル化，...
-- 周辺領域への浸潤，縁のない領域への進出（データサイエン...
-- 学生・若手の呼び込み，数学との協働，温故知新
- 外への疑問
-- 可視化の研究はどれだけ有益か？ ← 疑問視している
-- モデルは不要か？ ← 演繹法の限界があるだろう
-- 全探索は必要か？
-- Hadoop のできる人材はどれくらい必要？
** 岐路に立つ機械学習・データマイニング ー新しい展開に向...
鷲尾 隆 (大阪大学)
- ビックデータ：ペタ・テラバイトのデータ → 機械学習を扱え...
- NIPS → コミュニティとしてビックデータとはあまり関係ない
- KDD → 主催者側はビッグデータを扱うものが多かったが，発...
- BigData → ML/DM の研究はほとんどない
- ビッグデータは多様で雑多 → 全探索や全アクセスが困難，サ...
- ML/DM研究の現状：大成功して延びてきた → 問題設定が陳腐...
- ML/DM研究の今後
-- 原理を追求する研究は，物理の大統一理論のようなインパク...
-- シミュレーションなどの他の分野と組み合わせ
- GWASへのグラフマイニング技術の紹介 → 先験的な知識をいろ...
-- 機械学習は一般性を追求してきたが，一般ではない状況の知...
- 量子状態異常検知への応用 → 物理学会で発表 → 横方向の発...
- 原理を追求する方向と，他分野への融合展開を図る方向に，...
** 非機械学習屋から見たビッグデータ [#ld886778]
喜連川 優 (国立情報学研究所・東京大学)
- 迷える機械学習屋をはげまして欲しい → 迷って何が悪い，研...
- 最先端研究開発支援プログラム『超巨大データベース時代に...
-- 大規模データの基盤とかを使うのは難しい → 顔認識とかが...
- BOPヘルスケア：バイタル測定器をずっと付けてもらってデー...
- 非順序型エンジン：IOの利用密度を向上
- 保険レセプト：400億レコードを処理，現状では処理に10日と...
- Watson：ビッグデータが知に化けた ← だが，ここまでくるの...
- ビッグデータの醍醐味はテール
- （いろいろ危ない発言はけずったのでこれなら大丈夫だと…）
** マルチエージェントシミュレーションの力 [#g3b18608]
中島 秀之 (はこだて未来大学)
- 大域カーナビゲーション
-- カーナビの全データを集積して，将来の交通状況をシミュレ...
-- 混雑情報のフィードバックをすると系は振動するけど，将来...
- フルデマンドバス：呼ばれたところに行くバス，高知県中村...
--シミュレーションでやってみると台数が増えたときの所要時...
-- 函館で実証もしようと計画中 → 数台でやると悪くなるのは...
-- 市民の行動データが効率の鍵だがは小規模のデータしかとれ...
- Demand Responsive Transport (DRT)：デマンドが少ないと成...
- バスは観光客などに利用されない ← 路線が見えない，時間効...
-- バスとタクシーで乗客を取り合うのではなく，公共交通のシ...
** システム制御と機械学習，そしてエネルギーマネジメントへ...
藤田 政之 (東京工業大学)
- ロボット群の協調制御：被覆制御，互いの縄張りを保つよう...
-- 局所最適が全体最適ではないが，分散的にやって全体最適を...
- 強化学習：探索・活用のトレードオフ調整ではうまくいかな...
-- Learning in Games：Nash均衡解の計算プロセス → Nash均衡...
CREST：分散協調型エネルギー管理システム構築のための理論及...
- 家庭での電力消費のパターンのクラスタリング：混合ガウス...
** パネルディスカッション [#p34ab991]
基礎研究を続けたいと思ってるが，応用にいくべきか？
- 中：役に立つかどうかは分からないし，役に立つと分かって...
- 喜：今壇上にいる人は基礎をやってきて，今は応用に来てい...
- 樋：ずっと迷っていて実績のない人がいるとき，将来化ける...
-- 藤：基礎はないとまずい，解ける問題ではなく解くべき問題...
-- 中：研究者：大きなことをしようとしている，研究屋：地道...
-- 喜：二つのことをしよう → 一個は自分が楽しむこと，もう...
理論研究は表に出てやるものではない？
- 上：機械学習では理論の裏付けがあってこそのもの → ただガ...
-- 文字認識で苦手なデータだけの分類器を組み合わせるという...
- 鷲：まず基礎をがっちりやってみて，その後，基礎で走れる...
- 中：個人ですることと，集団ですることは違う
- 樋：理解のあるグループに入る．価値観を共有できる人をソ...
- 藤：最近はそれほど理論への逆風は減ってる
国際的なプレゼンスを出すには？
- 中：国際会議とかで目立ついは海外の人の論文を改良すると...
- 喜：ずっと論文を出し続けて，地道に顔を売っていく．大き...
- 上：EMアルゴリズムみたいな，本当に大きなインパクトを与...
- 鷲：世界中で理論先端に届く人は減っているので，そういう...
最後に若い研究者に一言
- 樋：若い人が多いのは多様性があるということ
- 上：最後は覚悟と祈りしかない
- 鷲：煮詰まってると思ったら，他の人がやってないことを勇...
- 藤：漸次的な改良の理論ではなく，大きく分野を起こす理論...
- 中：若い人には面倒見のいいボスを見つけよう．年寄りの人...
- 喜：インクリメンタルかどうかの線引きは難しい．先人の研...
* 特別講演：東京とシカゴを往復しながら考えていること [#x8...
古井 貞熙
東工大：博士課程の幅を広げる
- 専門能力，俯瞰力，コミュニケーション・倫理観，行動力・...
シカゴ大 TTIC
- よくディスカッションする
- 理論から，バイオや音声など多様な教員
- シカゴ大がCSのレベルを上げたいという意向
- 機械学習は，大学が多額の報酬で取り合いをしている状況だ...
- リスペクトの精神：存在を認める
日本の大学教育へ
- 基本的な知識は教えないといけないけど，それを使いこなす...
* 11月12日 (火) [#i851c066]
* 企画セッション：ディープラーニング [#qb7b08c3]
** 画像認識分野でのディープラーニングの研究動向 [#a0e812ea]
岡谷 貴之 (東北大学)
- ニューラルネット：1960年代，1980年代，2010年 の3回目の...
- DNNの過学習とその克服：学習最適化の工夫，ネット構造の工...
- DNNの成功例
-- IMAGENET Large Sale Visual Recognition Challenge 2012 ...
-- 画像特徴の教師なし学習（Googleの猫） YouTubeの画像1000...
ディープラーニングによる画像認識のパラダイム変化
- 顔認識とかはできていたが，一般物体認識はうまくいってな...
- 画像認識：特徴抽出と分類の大きく2段階
-- 今までうまくいったかどうかいい特徴を作れていたかどうか
- DNNは特徴自体も学習によって獲得するというパラダイムシフト
- 画像のDNN：普通の階層的ニューラルネットを多層にしたもの...
-- 通常の勾配に加え，モメンタム（今までの勾配方向）や進み...
- レイヤーごとの初期化：DNNで学習がうまくいかないのは初期...
- スパースオートエンコーダ：中間層が疎に活性化するように...
-- 得られる特徴がそれぞれはっきりしたパターンを持つように...
-- Googleの猫では3層のこうしたネットを使った
- プレトレーニングはなぜ有効か？ → 同じクラスの画像は複雑...
- 全結合NNの学習
-- ドロップアウト：ランダムに隠れユニットを省いて学習し正...
-- 識別的プレトレーニング：層をだんだん足していく
たたみ込みネットワーク
- 歴史
-- 福島のネオコグニトロンに始まるが，当時は大規模化ができ...
-- LeCun はBPで多層ネットの学習に成功し，手書き文字認識で...
- 構造：フィルタでたたみ込む段階と複数の画素をまとめて画...
-- たたみ込み層は学習する必要
-- プーリングは固定の配線で実現できるので学習は不要：荒く...
-- 特徴が学習できたら，最後に普通の多層ニューラルネットで...
-- たたみ込みネットは，パラメータを十分に調整してあれば，...
脳の視覚情報処理
- V1→V4→PIT→CIT→AIT と経路を得るに従って複雑な構造特徴が...
-- V1層：ガボールウェーブレット，特定の位置・向き・スケー...
DNN
- 長所：圧倒的な性能で，向上しそう
- 短所：パラメータの調整が非常に難しい，ネットの設計と学...
** 音声認識分野における深層学習技術の研究動向 [#n164e73a]
久保 陽太郎 (NTT コミュニケーション科学基礎研究所)
音声認識の基礎
- 言語，辞書，隠れ状態（音素）音響の四つのモデル
- NNと音声認識：1989:Time delay NN → 1995:Hybrid MLP-HMM ...
- Time-Delay NN
-- 時間方向のシフトを解消する工夫をしたNN．たたみ込みネッ...
-- プーリングは最終層だけで，たたみ込みを繰り返す
-- 固定長セグメントの分類には効果的だったが，系列ラベルは...
- Hybrid MLP-HMM
-- 音響モデルを，P(音素|音響)/P(音素) に分けてそれぞれを...
- MLP-HMM Tandem
-- NNが特徴抽出の機械として使い，その後はHMMで認識
- 音声認識では RBM を使うことが多い
音声分析とNN
- （音声関係でDNNのセッションは部屋に入れないくらいの人気）
- Sequential Discriminative Criterion
-- 単語列全体の一致考える損失 Single-level MMI，MPE → HMM...
-- 最適化は難しくなる → 全ての系列についての和などが必要...
- リカレントNN
-- 文脈を入力する代わりに，前の時刻で得られた中間状態を利...
-- 明示的に文脈を決める必要がなくなるメリット
-- Connectionist Temporal Classification：RNNは，入力が短...
音声の多様性の考慮
- 話者適応
-- KL正則化：少量・特定話者への識別率を上げるが，不特定話...
- 多言語音声認識
-- 複数の言語の音響モデル学習だけを別にして，他を共通にす...
** 自然言語処理分野におけるディープラーニングの現状 [#u2d...
渡邉 陽太郎 (東北大学)
- NLPにおける深層学習：言語解析・構造予測，言語モデルの構...
言語モデル・分散表現
- フィードフォワードNN と RNN の比較 → FFNNは層を増やすと...
言語構成性のモデル化
- オートエンコーダをツリー状に組み合わせた RecursiveNN
- Syntactically United RNN → 構文解析
- Recursive Neural Tensor Network → 文の評価極性分類（否...
自然言語処理にDNNは必要か？
- 対数線形モデルでも結構いけてる → CRFのような線形に対し...
- 比較した研究では，特徴ベクトルが高次元離散入力だとCRF，...
現状のまとめ
- DNNは一定の成果は出ているが，従来手法からの大幅な改善は...
- 分散表現：離散ベクトルとの組み合わせは有効，意味的な類...
- 表現学習：言語処理の特徴は単純なので，画像や音声ほどの...
- 言語の構成性のモデル化：Recursive NNは強力なフレームワ...
* 招待講演：Recent Advances in Deep Learning: Learning St...
Ruslan Salakhutdinov (University of Toronto)
- Webやビデオの大量データ → 背後の構造，意味的関係，制約...
- 特徴表現の学習 → 入力空間だと非線形の識別面が，特徴空間...
-- 教師なしで，データをみるだけで意味のある特徴を獲得したい
深層モデルの学習
- Restricted Boltzmann Machine (RBM)
-- 確率変数間の依存構造を表現するためのモデル：可視変数 v...
Π P(v | h)
-- 結合は全て無向
-- v が二値ならベルヌーイ，実数ならガウス分布，語の頻度な...
-- 隠れ層は二値変数だけど，可視層はいろいろなデータを表現...
- Deep RBM
-- 隠れ層に，さらに隠れ層で繋いで，隠れ変数間の関連をモデ...
-- 結合はやはり無向
-- 中間層の確立は，トップダウンとボトムアップの両方の影響...
- DRBMの近似計算
-- 変分近似：P(h|v) は無理なので
log P(v) ≧ log P(v) - KL(Q(h|v)‖P(h|v)
の変分下限を最適化した近似解 Q(h|v) を求める
-- 確率的近似：全体の期待値ではなく，各データ点ごとにの値...
- 階層的表現の学習
-- 最初は辺などのプリミティブ，そしてそれらの組み合わせが...
構造化・頑健モデルの学習
- Deep Lamberian モデル：普通のDRBNに加えて，光りの方向を...
- Robust Boltzmann Machine：オクルージョン対応
- 転移学習
-- 階層的Deepモデル：低レベルの特徴をDRBNで出して，その上...
-- 異なる高レベルのカテゴリで使える低レベル特徴をマルチタ...
マルチモーダル学習
- 画像にアノテーションのテキストが付いている場合など異な...
-- 画像の特徴は密だが，それを疎なテキストと対応付ける必要
- 画像の可視変数は実数値，テキストは多値変数．それぞれでD...
-- 画像からアノテーションのテキストが自動生成できたり，逆...
- 同様の枠組みでビデオと音声 → 読唇術の例
* 招待講演：デザインのためのインタフェース [#ud7edfba]
五十嵐 健夫 (東京大学)
参考：
- http://www-ui.is.s.u-tokyo.ac.jp/~takeo
- http://www.designinterface.jp/
ユーザインターフェース研究
- グルーピングをやりやすくするため，近づけたら餅のように...
- 移動＆ズーム：動かすスピードを早くすると自動でズームア...
デジタルメディア
- プロでない人手も高度な画像を作れるように
2D画像の操作
- 対称な画像を作ろうとすると，半分作って反転コピー → 自動...
-- 曖昧なところは複数候補を提示
- メニューから選ぶ代わりに，コマンドを適用する要素をヒン...
- 3Dモデリングでざっと見た感じを書くと膨らんだ3次元形状に...
-- 中心線を出す → 高さを輪郭までの距離に比例する距離だけ...
- 2次元の重ね合わせを拡張して，3Dでの折りたたみや結びを行う
-- クリックによって3Dの物体を考慮した上で前後を入れ替える
-- キーコンビネーションによって，3D空間中の前後が操作できる
- 2Dの絵のデフォーメーション
-- 指定した点を固定して引っ張ったりといった操作ができる
-- 三角形分割で形状をモデル化し，固定点を固定した制約で，...
- 心臓スケッチを書き換えると，血流のながれの変化を自動で...
3次元立体の作成
- 物理的な拘束条件に基づいて，2Dスケッチから，3Dの立体が...
-- 展開図を計算し，その展開図から作った3D立体を物理拘束条...
- ワイヤーにビーズを通して作るモデルの設計
-- 立体にどうやってワイヤーとビーズをどう通したらいいかを...
-- ハミルトニアン閉路の計算になる
- 横断面の図から，椅子を作る．物理シミュレーションで実際...
- 自由な形の鉄筋を作る：音階の制約を満たせるように，形状...
- 服の生地の展開図に合わせて，実際に着せた画像をリアルタ...
- 棚の見かけを書くと，どういう部品に分けて作ればいいかを...
-- 部品の局所拘束条件を文法として記述し，全体を構成できる...
ロボット
- マジックカード：掃除して欲しいところに紙をおいたり，ゴ...
-- エラーなど，ロボットからの人間へのフィードバックもカー...
- Lighy：沢山のライトがあると，自由度が多すぎて沢山のスラ...
-- ペイントによってライティングの強さを描くと，その結果が...
- モーションプランニング：ロボットが物体を押す
-- 普通は反対側に回り込んで，それから押すとかプログラムを...
-- dipole場を利用することで，二つのステップをまとめて，な...
-- 2台が繋がって押したりとかもできる
- ケーブルロボット：電源ケーブルのついたロボットが，それ...
-- さらにケーブルを踏まないようにといった複雑な場合も
-- 空間の変化を先読みして，中間経由地のプランニングをする
* 11月13日 (水) [#i63d1a7d]
* 企画セッション：脳・画像・ロボットと機械学習 [#g765ba80]
** 大規模データを用いた画像の識別と言語記述 [#a0c83ed0]
原田 達也 (東京大学)
- 一般物体認識 → 2012で一般画像認識 → とっぴょうしないラ...
- fine-grained対象認識 → 犬が全面に写っているの画像で種類...
- ラベル付けを超えた画像認識：自然言語記述 → 犬が人を噛ん...
-- 説明文付きの画像から，適切な自然言語文を生成できるよう...
- multi-keyphrase → 自然文にゆく前段階として，2〜3語のラ...
- ロボットに指示を与えるため，画像中の一部をタッチするだ...
-- 対象の立体形状に対する事前知識がないと対象を把握できない
画像の表現方法
- 画像特徴：画像中の特徴のある点を検出 → その点の状態を数...
- 数値ベクトル：局所的な輝度と方向情報の平均や分散
- ベクトルの類似度は，画像がのっている多様体上の測地線距...
深層学習
- 成功の理由
- data argumentation：今まで画像特徴は位置不変性などを考...
- こうして増やした大規模データも処理できる体制を整えた
- 最初に用意するデータの質は重要
- 実世界認識：Webから取得した画像は，人間がフィルタリング...
-- ジャーナリストロボット：この人間のフィルタリングを，異...
** 人と環境の理解に基づくロボットの自律知能 [#c8e177da]
加賀美 聡 (産業技術総合研究所)
- 知能ロボット：認識 → 計画 → 制御のループ：これらの各段...
- 研究紹介：視覚情報に基づく歩行，蹴ってから足をつく位置...
計画
- 物を動かすとき，他のものに当てたりしない軌道をリアルタ...
-- 世界をモデル化して，その中で探索することで解いている
-- 全探索すると大変なので，人間の動きをキャプチャして，そ...
- 制約条件付きプランニング
-- モーターのトルクや，関節の可動範囲の制約を考慮した上で...
- 6次ぐらいまでは A* で解けたりするが，それ以上の探索はラ...
- 自立車いす
-- GPSが木や建物で使えない → レンジセンサーで地図を作った
-- 人間が通る道を指定すると，車や人などの障害物を回避して...
- 原発のがれきの自動運搬：地上はGPSが使える，地下に入れる...
-- 荷物の積み卸しはリモートで人間がやる，運搬は自動
- つくばチャレンジ2013：決められた服装の人を走りながら見...
- 車の自動走行：レンジセンサーで3D地図があれば走行できる
- 日本科学未来館やパシフィコ横浜などの人ごみの中でも走行...
課題
- 歩道や横断歩道などの規則の順守？
- 人同士がよけるルールは明示されていないがどうか？
- 子供の跳び蹴りがきたらどうするか？
- 雑草を踏み倒してもいいのはどうやったら分かるのか？
-- 認識・計画・制御のループでは実現できない
** 機械学習を使って脳から夢の内容を解読する [#m3c87d28]
神谷 之康 (ATR 脳情報研究所)
ブレインデコーディング・マインドリーディングの技術
- 夢の内容を読む
- fMRIの中で人間がグー・チョキ・パーをすると，それをロボ...
-- fMRIの信号を目で見てもわからない → 機械学習技術
- デコーディング：脳活動は心・行動・刺激の符号化であると...
-- 脳活動 10万ボクセル(3D中の信号)で，100〜1000サンプル →...
- functional brain mapping：課題をさせて，あるボクセルの...
- brain decoding → ボクセルのパターンと目的変数との対応付け
decoding visual orientation：8方向縞模様をみてその向きを...
- 線の向きはコラム構造という細かい領域で認識されているの...
- 反応するボクセルの出力をうまく集めることで認識できた
- 実際に見ている場合の反応と，その画像を思い浮かべている...
- 非常に多数の特徴，多重解像度でいろいろな箇所のデコーダ...
脳活動からの画像の再構成
- デコードモデル：脳活動の信号から，画像の基底を求め，そ...
- エンコードモデル：入力と同じような反応をしている画像の...
夢のデコード
- 睡眠：約1.5時間周期でREMになり，そのときに夢をみる → 寝...
-- 300回ぐらいの睡眠で，一人から200回の夢をサンプルする
- 質問で得た文章の単語を，言語オントロジーを使ってカテゴ...
- これらの画像を見たときの脳の反応を見て，夢を見ていると...
- 対象となるカテゴリの信号と共に，意味的に関連するカテゴ...
- 起こす直前との関連が最も高い：報告することのは起こす直...
Brain Webインターフェース
- 計画：夢に対応する信号とWeb上の画像と対応付け，新たなコ...
* 企画セッション：学習理論 [#hac69893]
** 変分ベイズ学習理論の研究動向 [#ma13501f]
中島 伸一 (ニコン光技術研究所)
- 線形などの正則モデルと，多くのモデルが属す特異モデル
-- 過学習の程度：正則だと余分なパラメータ分ぐらい，特異で...
-- 情報量規準：正則だとAIC，BIC，特異でベイズなら：WBICなど
- MAPなら最小化問題になるが，ベイズで特異ならサンプリング...
変分ベイズ [Attias 1999]
- ベイズ事後分布を（広がりのある分布で）近似する位置手法...
-- 複数のピークを一つのピークで近似 → 分布の形状は大分変...
凸形式 vs ベイズ
- 正則化を使った凸形式の方法 → ベイズ事前分布とみなせて，...
-- スパースベイズ：ARDで使う事前分布
- これが行列でも同様にできたと
- 周辺尤度によるモデル選択：仮説が与えられたときのデータ...
-- ARDはこの原理に基づく経験ベイズ法になっている
- ベイズ学習が解析的にできないモデル
-- 行列分解モデル → 相関を無視するとできるようになる
行列分解モデル
- 行列分解したときの下の行列に残差がそれぞれガウスに従う...
-- 真のランクが小さくスパースであれば解ける
** 確率と計算 — アルゴリズム論的視点から [#icb28782]
来嶋 秀治 (九州大学)
- 乱択アルゴリズムにおいて，乱数に真に求める性質は何か？
-- 乱択の威力，高度な乱択技法，脱乱択化
ストリーム中の頻出アイテム検知
- 辞書 Σ のデータストリーム中で，度数(s)≧しきい値・データ...
-- Σ が大きすぎて表を作ることはできない
-- 厳密解には Ω(|Σ| log(N / |Σ|)) ビットのメモリが必要
-- 厳密でなければ O((1/θ) log N) ですむ
- 単純に数を数えるには，数字を符号化するのに O(log N) ビ...
-- 確率的アルゴリズムで数え上げると，現在のカウンタ値 k ...
-- 1/2^k の確率を計算するのに 1/2 のフリップを何回連続で...
組み合わせ的対象のランダム生成：MCMC
- 各セルは非負整数，与えられた周辺和を満たすランダム2分割...
- MCMC法を使う：隣あう列をランダムに選び行和・列和を変え...
-- 無限回したときのサンプリングができる：coupling from th...
ランダムウォークの脱乱択化 → 複数のトークンで確定的に振る...
** 離散構造のオンライン予測 [#k9f22ef5]
畑埜 晃平 (九州大学)
離散構造のオンライン予測モデル
- オンライン資源割り当て問題
-- 資源を対象に割り当てる．割り当てたときに対応に応じてコ...
-- 離散空間が：k集合（多腕バンディット），全域木，順列行...
-- ヘッジアルゴリズム：エキスパートの組み合わせでよい近似...
離散→連続ベクトル予測への帰着
- 連続ベクトルのオンライン予測：累積損失+規準となるベクト...
- 射影：凸包上の一番近い点，ラウンディング：凸包上の点か...
- この性質を使って離散問題を連続ベクトルのオンライン予測...
オフライン-オンライン変換
- 対応するオフラインアルゴリズムをオンライン化する
-- αリグレット：完全な解に対するリグレットではなくα近似解...
-- オフラインのαリグレットアルゴリズムに問い合わせること...
終了行:
* 第16回 情報論的学習理論ワークショップ (IBIS2013) [#x2a9...
COLOR(#00AA00){このページはしましまが [[IBIS2013>IBIS#IBI...
#contents
* 11月10日 (日) [#e07ed0be]
* チュートリアル1：機械学習概要 [#k035fd5c]
村田 昇（早稲田大学）
- 学習とは『賢くなる手続き』
- スパムメール，Googleの検索，推薦システム，Watson，将棋...
- 計算論的学習理論
-- 人工知能とアルゴリズムの初期研究：決定的 → 確率的・非...
-- 80年代の Valiant 十分な確率で正解に達すればよい → PAC...
- 統計的学習理論
-- 確率的近似法（統計的探索に確率探索の手法を導入）→ 学習...
学習問題の枠組み
- 教師あり（回帰，識別）・教師なし（クラスタリング，異常...
- 学習モデル
- パラメトリック：有限個のパラメータで決まるモデル
-- 少ないデータで予測できるが，現実と乖離することが多い
-- 大数の法則と中心極限定理に基づいた解析 → 比較的容易
-- 決定木，ニューラルネット
- ノンパラメトリック：データに依存して決まるモデル
-- 多数のデータが必要になるが，低バイアス・高バリアンス
-- 一様収束定理とAzuma-Hoeffdingの不等式に基づいた解析 → ...
-- カーネルを使ったときのサポートベクトルマシン
損失による定式化
- 損失：データ z に対してパラメータθの機械が被る罰金で，...
- 期待損失：L_P(θ)＝E{Z〜P}[ l(Z;θ) ] → 最小化したいけれ...
- 経験損失：データ D に対する損失 L_D(θ)＝(1/n) Σ{z_i∈D} ...
- 経験損失と期待損失の差は，データや損失の種類に依存して...
- 損失から距離へ：D(P,θ)＝L_P(θ) - L_P(θ*) ← 最適なパラメ...
-- 統計の分野では discrepancy や divergence と呼ぶ
- 学習モデルも確率分布とみなせる：回帰だと Y＝Normal( f(X...
-- 分布の空間を考え，学習モデルのパラメータを動かすと曲面...
-- 最適モデルは観測データから，この曲面上の最も近い点
- 訓練損失（学習に使ったデータに対する損失）と予測損失（...
-- 分布の空間中で，観測データと真の分布はちょっと違う → ...
-- 経験損失最小化だと予測損失の方が訓練損失より大きくなり...
バッチ学習とオンライン学習
- バッチ学習：経験損失最小化による学習
-- 大数の法則：訓練データ数が無限大になれば経験損失は期待...
-- 中心極限定理：経験損失最小化で学習した結果は，最適モデ...
- 勾配法：曲面の勾配の方向に少しずつ移動しながら最適なと...
- ニュートン法：勾配の曲がりを補正して，速く収束するように
- オンライン学習：確率近似法 → 勾配法は全データに対する勾...
-- データを全て記憶しておく必要がない，局所解に捉えられに...
- トレードオフ：学習係数が大きいほど真の値への収束は早い...
- 学習係数の最適な大きさ：時間の逆数にヘシアンの逆行列を...
学習モデルの評価と過学習への対応
- 過学習：訓練損失は小さいが，予測損失は大きい → 構造的な...
- 過学習の評価：情報量規準→→再サンプリング（交差確認・ブ...
-- 再サンプリング：データを変えることによる学習結果の散ら...
- 過学習の抑制：モデルの自由度を制限する，損失の正則化を...
-- 自由度の大きさはモデルの次元だけではきまらずに，確率分...
* チュートリアル2：機械学習に基づく自然言語処理 — 全体概...
松本 裕治（奈良先端科学技術大学院大学）
- 典型的な自然言語解析：形態素解析 → Chunking → 統語解析 ...
- 統語解析：依存構造（係り受け）→単語間の依存関係（係り受...
-- 依存構造の分析：交差を許す場合とそうでない場合とがある
-- 動的計画法による効率的な計算
- 確率の推定：
-- HMM
-- MEMM (HMMとはことなり観測が与えられたときの隠れ状態の...
-- CRF：文全体をみながら分析
* チュートリアル3：機械学習に基づく自然言語処理 — 教師な...
持橋 大地（統計数理研究所）
教師なし学習
- 教師情報なしに，データだけから予測する
-- 教師情報を与えるのが大変，厳密に正解を定義することが困難
- 単純ベイズ：p(W|y) = p(k) Π p(w|y) それぞれの確率は単純...
- ユニグラム混合：ラベルが分からないので，クラス y で周辺...
-- 特にクラスがなくても，かなり話題ごとにうまく分けられる
-- あるトピックで一度も出ない単語があるとその p(w|y) は 0...
-- 超パラメータは経験ベイズで推定．p(W|α) は Polya分布(DC...
- 隠れマルコフモデルを使った教師なしの形態素解析
-- 通常のEMアルゴリズムは局所解に陥りやすいため有望な方法...
-- オンラインの計算手法：SGDでMステップを実行
- トピックは一意に決まらなかったりする → トピックといった...
- トピックモデル：文書 W を話題の混合で表す → LDA
-- 最初の解法：VB-EMアルゴリズム （p(y|w) と p(w|y) との...
- LDAの拡張
-- visual wordを使った画像処理とかにも適用され，画像の領...
-- 方言と関連するように地理情報を加えたりできる
-- 人間が介入できるように識別モデルと組み合わせ：レビュー...
発展的内容
- 混合モデルの限界：自然言語はトピック以外に文法的制約が...
- いろいろな制約を考慮した定式化 → 制約を各制約を満たす確...
-- 積モデルの正規化定数の計算は難しい → MCMCなどのサンプ...
- 収束するまでではなく1度だけサンプリング (Contrastive Di...
-- RBM も積モデルなので学習に利用されている ← 階層化した...
-- 現在は積モデルといえばRBMだが，別にそれに限るわけでは...
* 11月11日 (月) [#x85c2a9c]
* チュートリアル4：機械学習とクラウドソーシング — 機械の...
鹿島 久嗣（東京大学）
- 分析のプロセスのほとんどが人力
-- CRISP-DM：1990〜2000年代 データ解析業務プロセスの標準...
-- データサイエンティストの不足 → データ解析の労働集約性...
-- いろいろ知的システムの成功例があるが，『データの外側』...
- クラウドソーシング
-- reCAPTCHA：二つキャプチャ画像のあるうち，もう一つは機...
-- アウトソーシング（見知った特定の少数の相手に発注）⇔ク...
- クラウドソーシングの形態
-- 間接的：タスクを，reCAPCHA ややゲーム化するという風に...
-- 直接的：対価を払うか，ボランティアを募って仕事を頼む
- オンライン労働市場：Amazon Mechanical Turk, oDesk, elan...
-- メリット：オンデマンドで発注でき，余暇的な時間で仕事を...
-- タスク：マイクロタスク（画像のラベル付け，住所の確認な...
-- Amazon Mechanical Turk：2005年に登場，190ヶ国50万人の...
- 計算機科学におけるクラウドソーシングの利用
-- 自然言語処理（アノテーション，翻訳）画像処理（アノテー...
-- 2006 にクラウドソーシングの提案，2013 専門の国際会議 H...
クラウドソーシングによるデータ解析
- 米ビックデータ研究イニシアティブの3要素：機械学習，クラ...
- 入力に対する人間の判断：選択式，数値，自由記述
- ゲーム化：出力一致，入力一致，関数評価 → 面白いゲームを...
-- 出力一致：ESPゲーム → ランダムに選ばれた二人が画像に対...
-- 入力一致：Tag-A-Tune → 各プレイヤーはそれぞれ楽曲の一...
-- 関数評価：Peekaboom → 答え画像を知っている人が，見れば...
クラウドソーシングの品質保証
- 不特定多数の人に依頼するので，いいかげんな答えをして，...
- 品質管理機能：資格条件や事前テストによるフィルタリング ...
- 冗長化：同じタスクを複数の依頼し，結果を統計処理して品...
-- ワーカーごとに仕事の質を判定する ← 仮定：採用された解...
-- Dawid&Skene：ワーカーの質を潜在変数として，その質で重...
-- Whitehill+：ワーカーの質に加えて，タスクの品質を考慮
-- Welinder+：ワーカーとタスクの相性も考慮
-- 冗長化の限界 → 統計処理ができる定型タスクは限られる
- 冗長化の限界への挑戦
-- Lin+：無限の可能性のあるタスクへの対応：確率過程を使っ...
-- 馬場+：多数決以外に，評価自体もクラウドソーシングする
クラウドソーシングデータからの学習
- Rayker+：ワーカーの質と真の正解を両方とも潜在因子と考え...
- 予測モデリングのクラウドソーシング
-- モデリングにはデータの特徴をうまく捉える必要があるが，...
-- データ分析コンペティション：Kaggle, CroudSolving → 上...
今後の展望
- 協調によるデータ分析：コンペティション型の解析では互い...
-- 現状のトップモデルを改善した量に対して報酬を決める，早...
- 予測以外のタスク
-- 大規模ネット講義で，宿題を相互レビューする
- セキュリティ・プライバシ
-- 紙のカルテの書き起こしとかはできない
-- PPDM 技術を応用できる可能性
-- データの分割により文脈を隠す：プライバシ保護のために顔...
- 機械と人間の協調作業
-- 人間と機械が共同してチェスをすると，機械だけや，人間だ...
-- Branson+：鳥の種の名前の認識 → 人間が画像をみて鳥の特...
-- Yan+：同じ対象が写った画像の識別 → 機械がフィルタリン...
-- Kulkarni+：コンテンツ作成は修正と評価を繰り返したりす...
* 企画セッション：ビッグデータ時代の機械学習研究 [#i6cbe4...
** 趣旨説明 [#k053a8f0]
杉山 将 (東京工業大学)
- 2008年と較べて規模も拡大し，産業界からの参加も増えた
- 学習アルゴリズムの相対的役割は低下し，前処理や解釈が重...
** ビッグデータ時代における機械学習研究の光と影 [#vb72695e]
上田 修功 (NTTコミュニケーション科学基礎研究所)
- ビッグデータの経済価値，米ビックデータイニシアティブ
- 従来の分析とは異なり，膨大な量を利用した分析
- 仮説検証 → 仮説発見
- 機械学習は分析の対象に依存しない部分
-- 機械学習：50-80 人工知能の開花，1980：エキスパートシス...
-- でも現場に行ってみるとそういう非構造データを扱うような...
- 批判
-- Wagstaffの批判：アルゴリズムだけでなく，要求や各分野で...
-- John Chambers "Greater or Lesser Statistics"：対象問題...
- 期待すること：異種データ融合，超スケーラブル，信憑性
- 真のML研究は，退屈？な計算理論ではなく，20世紀以前の探...
** ビッグデータへの同床異夢 [#n9f13f12]
樋口 知之 (統計数理研究所)
- 統計科学と情報科学の言葉の違い
-- データ⇔情報，情報⇔知識，知識⇔暗黙的な知 → 1階層思い描...
-- 個々のステップを続けていくが，その間で思い込みやずれが...
- データサイエンティスト
-- 統計科学の30年 北川敏男 ( http://ebsa.ism.ac.jp/ で読...
--- 地理・歴史のような記述的な学問が好きであり，かつ，数...
-- 技術（客観的，絶対的）⇔ 価値（主観的，相対的，人によっ...
-- Data Scientists are actually T-shaped：Rodriguez，Data...
--- 米では，データ分析の一部である統計だけで4000人も毎年...
- 内への期待
-- ベンチマークテストの性能向上からの離脱
-- 人とマシンの協調：エキスパートの持つ経験知のモデル化，...
-- 周辺領域への浸潤，縁のない領域への進出（データサイエン...
-- 学生・若手の呼び込み，数学との協働，温故知新
- 外への疑問
-- 可視化の研究はどれだけ有益か？ ← 疑問視している
-- モデルは不要か？ ← 演繹法の限界があるだろう
-- 全探索は必要か？
-- Hadoop のできる人材はどれくらい必要？
** 岐路に立つ機械学習・データマイニング ー新しい展開に向...
鷲尾 隆 (大阪大学)
- ビックデータ：ペタ・テラバイトのデータ → 機械学習を扱え...
- NIPS → コミュニティとしてビックデータとはあまり関係ない
- KDD → 主催者側はビッグデータを扱うものが多かったが，発...
- BigData → ML/DM の研究はほとんどない
- ビッグデータは多様で雑多 → 全探索や全アクセスが困難，サ...
- ML/DM研究の現状：大成功して延びてきた → 問題設定が陳腐...
- ML/DM研究の今後
-- 原理を追求する研究は，物理の大統一理論のようなインパク...
-- シミュレーションなどの他の分野と組み合わせ
- GWASへのグラフマイニング技術の紹介 → 先験的な知識をいろ...
-- 機械学習は一般性を追求してきたが，一般ではない状況の知...
- 量子状態異常検知への応用 → 物理学会で発表 → 横方向の発...
- 原理を追求する方向と，他分野への融合展開を図る方向に，...
** 非機械学習屋から見たビッグデータ [#ld886778]
喜連川 優 (国立情報学研究所・東京大学)
- 迷える機械学習屋をはげまして欲しい → 迷って何が悪い，研...
- 最先端研究開発支援プログラム『超巨大データベース時代に...
-- 大規模データの基盤とかを使うのは難しい → 顔認識とかが...
- BOPヘルスケア：バイタル測定器をずっと付けてもらってデー...
- 非順序型エンジン：IOの利用密度を向上
- 保険レセプト：400億レコードを処理，現状では処理に10日と...
- Watson：ビッグデータが知に化けた ← だが，ここまでくるの...
- ビッグデータの醍醐味はテール
- （いろいろ危ない発言はけずったのでこれなら大丈夫だと…）
** マルチエージェントシミュレーションの力 [#g3b18608]
中島 秀之 (はこだて未来大学)
- 大域カーナビゲーション
-- カーナビの全データを集積して，将来の交通状況をシミュレ...
-- 混雑情報のフィードバックをすると系は振動するけど，将来...
- フルデマンドバス：呼ばれたところに行くバス，高知県中村...
--シミュレーションでやってみると台数が増えたときの所要時...
-- 函館で実証もしようと計画中 → 数台でやると悪くなるのは...
-- 市民の行動データが効率の鍵だがは小規模のデータしかとれ...
- Demand Responsive Transport (DRT)：デマンドが少ないと成...
- バスは観光客などに利用されない ← 路線が見えない，時間効...
-- バスとタクシーで乗客を取り合うのではなく，公共交通のシ...
** システム制御と機械学習，そしてエネルギーマネジメントへ...
藤田 政之 (東京工業大学)
- ロボット群の協調制御：被覆制御，互いの縄張りを保つよう...
-- 局所最適が全体最適ではないが，分散的にやって全体最適を...
- 強化学習：探索・活用のトレードオフ調整ではうまくいかな...
-- Learning in Games：Nash均衡解の計算プロセス → Nash均衡...
CREST：分散協調型エネルギー管理システム構築のための理論及...
- 家庭での電力消費のパターンのクラスタリング：混合ガウス...
** パネルディスカッション [#p34ab991]
基礎研究を続けたいと思ってるが，応用にいくべきか？
- 中：役に立つかどうかは分からないし，役に立つと分かって...
- 喜：今壇上にいる人は基礎をやってきて，今は応用に来てい...
- 樋：ずっと迷っていて実績のない人がいるとき，将来化ける...
-- 藤：基礎はないとまずい，解ける問題ではなく解くべき問題...
-- 中：研究者：大きなことをしようとしている，研究屋：地道...
-- 喜：二つのことをしよう → 一個は自分が楽しむこと，もう...
理論研究は表に出てやるものではない？
- 上：機械学習では理論の裏付けがあってこそのもの → ただガ...
-- 文字認識で苦手なデータだけの分類器を組み合わせるという...
- 鷲：まず基礎をがっちりやってみて，その後，基礎で走れる...
- 中：個人ですることと，集団ですることは違う
- 樋：理解のあるグループに入る．価値観を共有できる人をソ...
- 藤：最近はそれほど理論への逆風は減ってる
国際的なプレゼンスを出すには？
- 中：国際会議とかで目立ついは海外の人の論文を改良すると...
- 喜：ずっと論文を出し続けて，地道に顔を売っていく．大き...
- 上：EMアルゴリズムみたいな，本当に大きなインパクトを与...
- 鷲：世界中で理論先端に届く人は減っているので，そういう...
最後に若い研究者に一言
- 樋：若い人が多いのは多様性があるということ
- 上：最後は覚悟と祈りしかない
- 鷲：煮詰まってると思ったら，他の人がやってないことを勇...
- 藤：漸次的な改良の理論ではなく，大きく分野を起こす理論...
- 中：若い人には面倒見のいいボスを見つけよう．年寄りの人...
- 喜：インクリメンタルかどうかの線引きは難しい．先人の研...
* 特別講演：東京とシカゴを往復しながら考えていること [#x8...
古井 貞熙
東工大：博士課程の幅を広げる
- 専門能力，俯瞰力，コミュニケーション・倫理観，行動力・...
シカゴ大 TTIC
- よくディスカッションする
- 理論から，バイオや音声など多様な教員
- シカゴ大がCSのレベルを上げたいという意向
- 機械学習は，大学が多額の報酬で取り合いをしている状況だ...
- リスペクトの精神：存在を認める
日本の大学教育へ
- 基本的な知識は教えないといけないけど，それを使いこなす...
* 11月12日 (火) [#i851c066]
* 企画セッション：ディープラーニング [#qb7b08c3]
** 画像認識分野でのディープラーニングの研究動向 [#a0e812ea]
岡谷 貴之 (東北大学)
- ニューラルネット：1960年代，1980年代，2010年 の3回目の...
- DNNの過学習とその克服：学習最適化の工夫，ネット構造の工...
- DNNの成功例
-- IMAGENET Large Sale Visual Recognition Challenge 2012 ...
-- 画像特徴の教師なし学習（Googleの猫） YouTubeの画像1000...
ディープラーニングによる画像認識のパラダイム変化
- 顔認識とかはできていたが，一般物体認識はうまくいってな...
- 画像認識：特徴抽出と分類の大きく2段階
-- 今までうまくいったかどうかいい特徴を作れていたかどうか
- DNNは特徴自体も学習によって獲得するというパラダイムシフト
- 画像のDNN：普通の階層的ニューラルネットを多層にしたもの...
-- 通常の勾配に加え，モメンタム（今までの勾配方向）や進み...
- レイヤーごとの初期化：DNNで学習がうまくいかないのは初期...
- スパースオートエンコーダ：中間層が疎に活性化するように...
-- 得られる特徴がそれぞれはっきりしたパターンを持つように...
-- Googleの猫では3層のこうしたネットを使った
- プレトレーニングはなぜ有効か？ → 同じクラスの画像は複雑...
- 全結合NNの学習
-- ドロップアウト：ランダムに隠れユニットを省いて学習し正...
-- 識別的プレトレーニング：層をだんだん足していく
たたみ込みネットワーク
- 歴史
-- 福島のネオコグニトロンに始まるが，当時は大規模化ができ...
-- LeCun はBPで多層ネットの学習に成功し，手書き文字認識で...
- 構造：フィルタでたたみ込む段階と複数の画素をまとめて画...
-- たたみ込み層は学習する必要
-- プーリングは固定の配線で実現できるので学習は不要：荒く...
-- 特徴が学習できたら，最後に普通の多層ニューラルネットで...
-- たたみ込みネットは，パラメータを十分に調整してあれば，...
脳の視覚情報処理
- V1→V4→PIT→CIT→AIT と経路を得るに従って複雑な構造特徴が...
-- V1層：ガボールウェーブレット，特定の位置・向き・スケー...
DNN
- 長所：圧倒的な性能で，向上しそう
- 短所：パラメータの調整が非常に難しい，ネットの設計と学...
** 音声認識分野における深層学習技術の研究動向 [#n164e73a]
久保 陽太郎 (NTT コミュニケーション科学基礎研究所)
音声認識の基礎
- 言語，辞書，隠れ状態（音素）音響の四つのモデル
- NNと音声認識：1989:Time delay NN → 1995:Hybrid MLP-HMM ...
- Time-Delay NN
-- 時間方向のシフトを解消する工夫をしたNN．たたみ込みネッ...
-- プーリングは最終層だけで，たたみ込みを繰り返す
-- 固定長セグメントの分類には効果的だったが，系列ラベルは...
- Hybrid MLP-HMM
-- 音響モデルを，P(音素|音響)/P(音素) に分けてそれぞれを...
- MLP-HMM Tandem
-- NNが特徴抽出の機械として使い，その後はHMMで認識
- 音声認識では RBM を使うことが多い
音声分析とNN
- （音声関係でDNNのセッションは部屋に入れないくらいの人気）
- Sequential Discriminative Criterion
-- 単語列全体の一致考える損失 Single-level MMI，MPE → HMM...
-- 最適化は難しくなる → 全ての系列についての和などが必要...
- リカレントNN
-- 文脈を入力する代わりに，前の時刻で得られた中間状態を利...
-- 明示的に文脈を決める必要がなくなるメリット
-- Connectionist Temporal Classification：RNNは，入力が短...
音声の多様性の考慮
- 話者適応
-- KL正則化：少量・特定話者への識別率を上げるが，不特定話...
- 多言語音声認識
-- 複数の言語の音響モデル学習だけを別にして，他を共通にす...
** 自然言語処理分野におけるディープラーニングの現状 [#u2d...
渡邉 陽太郎 (東北大学)
- NLPにおける深層学習：言語解析・構造予測，言語モデルの構...
言語モデル・分散表現
- フィードフォワードNN と RNN の比較 → FFNNは層を増やすと...
言語構成性のモデル化
- オートエンコーダをツリー状に組み合わせた RecursiveNN
- Syntactically United RNN → 構文解析
- Recursive Neural Tensor Network → 文の評価極性分類（否...
自然言語処理にDNNは必要か？
- 対数線形モデルでも結構いけてる → CRFのような線形に対し...
- 比較した研究では，特徴ベクトルが高次元離散入力だとCRF，...
現状のまとめ
- DNNは一定の成果は出ているが，従来手法からの大幅な改善は...
- 分散表現：離散ベクトルとの組み合わせは有効，意味的な類...
- 表現学習：言語処理の特徴は単純なので，画像や音声ほどの...
- 言語の構成性のモデル化：Recursive NNは強力なフレームワ...
* 招待講演：Recent Advances in Deep Learning: Learning St...
Ruslan Salakhutdinov (University of Toronto)
- Webやビデオの大量データ → 背後の構造，意味的関係，制約...
- 特徴表現の学習 → 入力空間だと非線形の識別面が，特徴空間...
-- 教師なしで，データをみるだけで意味のある特徴を獲得したい
深層モデルの学習
- Restricted Boltzmann Machine (RBM)
-- 確率変数間の依存構造を表現するためのモデル：可視変数 v...
Π P(v | h)
-- 結合は全て無向
-- v が二値ならベルヌーイ，実数ならガウス分布，語の頻度な...
-- 隠れ層は二値変数だけど，可視層はいろいろなデータを表現...
- Deep RBM
-- 隠れ層に，さらに隠れ層で繋いで，隠れ変数間の関連をモデ...
-- 結合はやはり無向
-- 中間層の確立は，トップダウンとボトムアップの両方の影響...
- DRBMの近似計算
-- 変分近似：P(h|v) は無理なので
log P(v) ≧ log P(v) - KL(Q(h|v)‖P(h|v)
の変分下限を最適化した近似解 Q(h|v) を求める
-- 確率的近似：全体の期待値ではなく，各データ点ごとにの値...
- 階層的表現の学習
-- 最初は辺などのプリミティブ，そしてそれらの組み合わせが...
構造化・頑健モデルの学習
- Deep Lamberian モデル：普通のDRBNに加えて，光りの方向を...
- Robust Boltzmann Machine：オクルージョン対応
- 転移学習
-- 階層的Deepモデル：低レベルの特徴をDRBNで出して，その上...
-- 異なる高レベルのカテゴリで使える低レベル特徴をマルチタ...
マルチモーダル学習
- 画像にアノテーションのテキストが付いている場合など異な...
-- 画像の特徴は密だが，それを疎なテキストと対応付ける必要
- 画像の可視変数は実数値，テキストは多値変数．それぞれでD...
-- 画像からアノテーションのテキストが自動生成できたり，逆...
- 同様の枠組みでビデオと音声 → 読唇術の例
* 招待講演：デザインのためのインタフェース [#ud7edfba]
五十嵐 健夫 (東京大学)
参考：
- http://www-ui.is.s.u-tokyo.ac.jp/~takeo
- http://www.designinterface.jp/
ユーザインターフェース研究
- グルーピングをやりやすくするため，近づけたら餅のように...
- 移動＆ズーム：動かすスピードを早くすると自動でズームア...
デジタルメディア
- プロでない人手も高度な画像を作れるように
2D画像の操作
- 対称な画像を作ろうとすると，半分作って反転コピー → 自動...
-- 曖昧なところは複数候補を提示
- メニューから選ぶ代わりに，コマンドを適用する要素をヒン...
- 3Dモデリングでざっと見た感じを書くと膨らんだ3次元形状に...
-- 中心線を出す → 高さを輪郭までの距離に比例する距離だけ...
- 2次元の重ね合わせを拡張して，3Dでの折りたたみや結びを行う
-- クリックによって3Dの物体を考慮した上で前後を入れ替える
-- キーコンビネーションによって，3D空間中の前後が操作できる
- 2Dの絵のデフォーメーション
-- 指定した点を固定して引っ張ったりといった操作ができる
-- 三角形分割で形状をモデル化し，固定点を固定した制約で，...
- 心臓スケッチを書き換えると，血流のながれの変化を自動で...
3次元立体の作成
- 物理的な拘束条件に基づいて，2Dスケッチから，3Dの立体が...
-- 展開図を計算し，その展開図から作った3D立体を物理拘束条...
- ワイヤーにビーズを通して作るモデルの設計
-- 立体にどうやってワイヤーとビーズをどう通したらいいかを...
-- ハミルトニアン閉路の計算になる
- 横断面の図から，椅子を作る．物理シミュレーションで実際...
- 自由な形の鉄筋を作る：音階の制約を満たせるように，形状...
- 服の生地の展開図に合わせて，実際に着せた画像をリアルタ...
- 棚の見かけを書くと，どういう部品に分けて作ればいいかを...
-- 部品の局所拘束条件を文法として記述し，全体を構成できる...
ロボット
- マジックカード：掃除して欲しいところに紙をおいたり，ゴ...
-- エラーなど，ロボットからの人間へのフィードバックもカー...
- Lighy：沢山のライトがあると，自由度が多すぎて沢山のスラ...
-- ペイントによってライティングの強さを描くと，その結果が...
- モーションプランニング：ロボットが物体を押す
-- 普通は反対側に回り込んで，それから押すとかプログラムを...
-- dipole場を利用することで，二つのステップをまとめて，な...
-- 2台が繋がって押したりとかもできる
- ケーブルロボット：電源ケーブルのついたロボットが，それ...
-- さらにケーブルを踏まないようにといった複雑な場合も
-- 空間の変化を先読みして，中間経由地のプランニングをする
* 11月13日 (水) [#i63d1a7d]
* 企画セッション：脳・画像・ロボットと機械学習 [#g765ba80]
** 大規模データを用いた画像の識別と言語記述 [#a0c83ed0]
原田 達也 (東京大学)
- 一般物体認識 → 2012で一般画像認識 → とっぴょうしないラ...
- fine-grained対象認識 → 犬が全面に写っているの画像で種類...
- ラベル付けを超えた画像認識：自然言語記述 → 犬が人を噛ん...
-- 説明文付きの画像から，適切な自然言語文を生成できるよう...
- multi-keyphrase → 自然文にゆく前段階として，2〜3語のラ...
- ロボットに指示を与えるため，画像中の一部をタッチするだ...
-- 対象の立体形状に対する事前知識がないと対象を把握できない
画像の表現方法
- 画像特徴：画像中の特徴のある点を検出 → その点の状態を数...
- 数値ベクトル：局所的な輝度と方向情報の平均や分散
- ベクトルの類似度は，画像がのっている多様体上の測地線距...
深層学習
- 成功の理由
- data argumentation：今まで画像特徴は位置不変性などを考...
- こうして増やした大規模データも処理できる体制を整えた
- 最初に用意するデータの質は重要
- 実世界認識：Webから取得した画像は，人間がフィルタリング...
-- ジャーナリストロボット：この人間のフィルタリングを，異...
** 人と環境の理解に基づくロボットの自律知能 [#c8e177da]
加賀美 聡 (産業技術総合研究所)
- 知能ロボット：認識 → 計画 → 制御のループ：これらの各段...
- 研究紹介：視覚情報に基づく歩行，蹴ってから足をつく位置...
計画
- 物を動かすとき，他のものに当てたりしない軌道をリアルタ...
-- 世界をモデル化して，その中で探索することで解いている
-- 全探索すると大変なので，人間の動きをキャプチャして，そ...
- 制約条件付きプランニング
-- モーターのトルクや，関節の可動範囲の制約を考慮した上で...
- 6次ぐらいまでは A* で解けたりするが，それ以上の探索はラ...
- 自立車いす
-- GPSが木や建物で使えない → レンジセンサーで地図を作った
-- 人間が通る道を指定すると，車や人などの障害物を回避して...
- 原発のがれきの自動運搬：地上はGPSが使える，地下に入れる...
-- 荷物の積み卸しはリモートで人間がやる，運搬は自動
- つくばチャレンジ2013：決められた服装の人を走りながら見...
- 車の自動走行：レンジセンサーで3D地図があれば走行できる
- 日本科学未来館やパシフィコ横浜などの人ごみの中でも走行...
課題
- 歩道や横断歩道などの規則の順守？
- 人同士がよけるルールは明示されていないがどうか？
- 子供の跳び蹴りがきたらどうするか？
- 雑草を踏み倒してもいいのはどうやったら分かるのか？
-- 認識・計画・制御のループでは実現できない
** 機械学習を使って脳から夢の内容を解読する [#m3c87d28]
神谷 之康 (ATR 脳情報研究所)
ブレインデコーディング・マインドリーディングの技術
- 夢の内容を読む
- fMRIの中で人間がグー・チョキ・パーをすると，それをロボ...
-- fMRIの信号を目で見てもわからない → 機械学習技術
- デコーディング：脳活動は心・行動・刺激の符号化であると...
-- 脳活動 10万ボクセル(3D中の信号)で，100〜1000サンプル →...
- functional brain mapping：課題をさせて，あるボクセルの...
- brain decoding → ボクセルのパターンと目的変数との対応付け
decoding visual orientation：8方向縞模様をみてその向きを...
- 線の向きはコラム構造という細かい領域で認識されているの...
- 反応するボクセルの出力をうまく集めることで認識できた
- 実際に見ている場合の反応と，その画像を思い浮かべている...
- 非常に多数の特徴，多重解像度でいろいろな箇所のデコーダ...
脳活動からの画像の再構成
- デコードモデル：脳活動の信号から，画像の基底を求め，そ...
- エンコードモデル：入力と同じような反応をしている画像の...
夢のデコード
- 睡眠：約1.5時間周期でREMになり，そのときに夢をみる → 寝...
-- 300回ぐらいの睡眠で，一人から200回の夢をサンプルする
- 質問で得た文章の単語を，言語オントロジーを使ってカテゴ...
- これらの画像を見たときの脳の反応を見て，夢を見ていると...
- 対象となるカテゴリの信号と共に，意味的に関連するカテゴ...
- 起こす直前との関連が最も高い：報告することのは起こす直...
Brain Webインターフェース
- 計画：夢に対応する信号とWeb上の画像と対応付け，新たなコ...
* 企画セッション：学習理論 [#hac69893]
** 変分ベイズ学習理論の研究動向 [#ma13501f]
中島 伸一 (ニコン光技術研究所)
- 線形などの正則モデルと，多くのモデルが属す特異モデル
-- 過学習の程度：正則だと余分なパラメータ分ぐらい，特異で...
-- 情報量規準：正則だとAIC，BIC，特異でベイズなら：WBICなど
- MAPなら最小化問題になるが，ベイズで特異ならサンプリング...
変分ベイズ [Attias 1999]
- ベイズ事後分布を（広がりのある分布で）近似する位置手法...
-- 複数のピークを一つのピークで近似 → 分布の形状は大分変...
凸形式 vs ベイズ
- 正則化を使った凸形式の方法 → ベイズ事前分布とみなせて，...
-- スパースベイズ：ARDで使う事前分布
- これが行列でも同様にできたと
- 周辺尤度によるモデル選択：仮説が与えられたときのデータ...
-- ARDはこの原理に基づく経験ベイズ法になっている
- ベイズ学習が解析的にできないモデル
-- 行列分解モデル → 相関を無視するとできるようになる
行列分解モデル
- 行列分解したときの下の行列に残差がそれぞれガウスに従う...
-- 真のランクが小さくスパースであれば解ける
** 確率と計算 — アルゴリズム論的視点から [#icb28782]
来嶋 秀治 (九州大学)
- 乱択アルゴリズムにおいて，乱数に真に求める性質は何か？
-- 乱択の威力，高度な乱択技法，脱乱択化
ストリーム中の頻出アイテム検知
- 辞書 Σ のデータストリーム中で，度数(s)≧しきい値・データ...
-- Σ が大きすぎて表を作ることはできない
-- 厳密解には Ω(|Σ| log(N / |Σ|)) ビットのメモリが必要
-- 厳密でなければ O((1/θ) log N) ですむ
- 単純に数を数えるには，数字を符号化するのに O(log N) ビ...
-- 確率的アルゴリズムで数え上げると，現在のカウンタ値 k ...
-- 1/2^k の確率を計算するのに 1/2 のフリップを何回連続で...
組み合わせ的対象のランダム生成：MCMC
- 各セルは非負整数，与えられた周辺和を満たすランダム2分割...
- MCMC法を使う：隣あう列をランダムに選び行和・列和を変え...
-- 無限回したときのサンプリングができる：coupling from th...
ランダムウォークの脱乱択化 → 複数のトークンで確定的に振る...
** 離散構造のオンライン予測 [#k9f22ef5]
畑埜 晃平 (九州大学)
離散構造のオンライン予測モデル
- オンライン資源割り当て問題
-- 資源を対象に割り当てる．割り当てたときに対応に応じてコ...
-- 離散空間が：k集合（多腕バンディット），全域木，順列行...
-- ヘッジアルゴリズム：エキスパートの組み合わせでよい近似...
離散→連続ベクトル予測への帰着
- 連続ベクトルのオンライン予測：累積損失+規準となるベクト...
- 射影：凸包上の一番近い点，ラウンディング：凸包上の点か...
- この性質を使って離散問題を連続ベクトルのオンライン予測...
オフライン-オンライン変換
- 対応するオフラインアルゴリズムをオンライン化する
-- αリグレット：完全な解に対するリグレットではなくα近似解...
-- オフラインのαリグレットアルゴリズムに問い合わせること...
ページ名:
![[PukiWiki]](image/ibisforest.png "[PukiWiki]")
