* 第16回 情報論的学習理論と機械学習研究会 [#b8de7a50]

このページはしましまが [[第16回電子情報通信学会 情報論的学習理論と機械学習研究会>IBISML#IBISML016]] に参加してとったメモです.私の主観や勘違いが含まれていたり,私が全く分かってなかったりしていますので,その点を注意してご覧ください.誤りがあれば,指摘してください.

* 3月6日 (木) [#g1291ed6]

** 機械学習における各種データ構造上の前向きおよび前向き後ろ向きアルゴリズムに対する包括的枠組み [#weed23b5]
○東 藍・松本裕治(奈良先端大)

- 系列ラベリングに使うアルゴリズム

** マルチタスク学習を用いた複数物性値の同時予測 [#t8d28b31]
○岩瀬智亮(東大)・世古敦人(京大)・鹿島久嗣(東大)

- 材料探索での物性値は物理モデルを直接使っているので計算が大変
- 化合物から特徴量を抽出し,その特徴を使って新しい化合物の物性値を予測する
-- この予測にマルチタスク学習を利用
- 相互依存モデル:化合物の物性値を同時に予測するのだが,目的変数に入っていない目的変数は特徴としても用いる
-- そして複数の物性値に対する予測値をまとめて非線形連立方程式にする

** ガウシアン・グラフィカル・モデルにおけるスケール・フリー・ネットワークのサンプリングによる推定 [#s53c1b44]
○敷田翔太・丸山 修(九大)

- ガウスグラフィカルモデルの依存性のグラフがスケールフリーの場合の推定モデル
-- 既存研究もスケールフリー性の評価指標をどうするかが問題
- 頂点の次数ごとの頻度分布がスケールフリーになるように制約加えてグラフ構造を推定する.

** 標本マハラノビス距離における過学習現象の考察 [#u118c680]
○小林靖之(帝京大)

- 標本とテストのマハラノビス距離が,次元数がサンプル数に近づくと大きく乖離する(?)

** Consideration of Correlation between Users' Evaluating Values and Their Dropouts in Missing Value Prediction [#v85d458a]
○Kenta Nishimura・Toshiyuki Tanaka(Kyoto Univ.)

- 個人ごとの評価値のバイアスやスケーリングの揺らぎを推定して合わせる分解手法
- 評価値に基づいてどの事例が欠損する

** 集中型テンソル補完 〜 3階テンソルデータの特定のスライスに着目して補完する転移学習法 〜 [#kbb340e3]
○赤間健人・馬場雪乃・鹿島久嗣(東大)

- 疎な行列を補完するために,他の行列を利用する
-- 他の行列とIDが統一,補完が目的,複数の元行列を扱える,元行列の取捨選択ができるの4条件を満たす方法はない
- 元行列を普通に分解 → コア行列を挿入し目標行列に合わせる → 最後に元行列ごとに重みを付ける

* 3月7日(金) [#j59fa2da]

** クラウドソーシングにおける多数派の少数ワーカーによる近似:ラベル補完アプローチ ○渡邉俊大・鹿島久嗣(東大) [#bd0e634a]

- 多数派の付けたラベルと同じラベルを付ける人を探したい
- 反応があったワーカーについては多数派ラベルと一致するかどうかで報酬を与えていたが,反応がなかったワーカーについては今まで更新がなかった → それらのワーカーへの報酬も考える
- 欠損しているラベルは,ワーカー×タスクをユーザ×アイテム行列と思ってGrouplensの方法で補完し平均スコアとする
- UCB1の式で,多数派に入りやすさを計算し,それに基づいてラベル決定に関連するワーカーを選び,その結果に基づいてラベルを付ける

** Online Prediction With Bradley-Terry Models and Logistic Models [#uea3765e]
○Issei Matsumoto・Kohei Hatano・Eiji Takimoto(Kyushu Univ)

- 一対比較のオンライン予測
- 比較データがあるときはベルヌーイ試行として扱いKT推定量と呼ぶもので勝率を予測 → 比較データがない対では予測できない
- 他の要素との比較結果を基に推定 → Bradley-Terry の一対比較モデルを採用
-- オンラインニュートン法と Follow the Imaginary Leader によるオンライン学習の二つのモデル.前者の方が厳密的だが,後者の方が実用的.

** Online Matrix Prediction with Log-Determinant Regularizer [#u4725222]
○Kenichiro Moridomi・Kohei Hatano・Eiji Takimoto(Kyushu Univ.)・Koji Tsuda(AIST)

- 半正定値対称行列の穴埋め問題で距離学習を行う
- 予測モデルの正則化項が -log det(X) である場合について,Follow the Regularized Leader 法での上界を求めた

** Blind Separation of Sparse and Smooth Signals via Approximate Message Passing Algorithm [#b7ce9a86]
○Shigeki Yokoyama・Toshiyuki Tanaka(Kyoto Univ.)

- スパース:ある時刻では無音なチャンネルが多い,なめらか:無音⇔有音の変化は短期間では生じない
- 未知音源分離:ここでは疎生を使うので,ICAではなく,UとVを交互に最適化する辞書学習を使う
- 推定にL1に加えて,total variation 正則化項を採用.分解後の誤差が正規分布に従うとしてベイズ推定

** Bayesian Test of Independence [#fa897a6d]
○綾野孝則・鈴木 譲(阪大)

- 相互情報量で独立性を判定するのだが,サンプル数が有限だと徳利でも0にならないことがある → しきい値以下かどうかで検定をする
- Hilbert Schmidt Independence規準:各基底上での共分散の全基底での和 → しきい値を決めるは難しい
- 提案:周辺分布の積と同時分布に対するMDL値の比較により判定する方法の提案

** 招待講演]劣モジュラ性を用いた機械学習:入門と最近の話題 [#e456432e]
○河原吉伸(阪大)
- スライド: http://www.ar.sanken.osaka-u.ac.jp/~kawahara/jp/submo_ibisml16.pdf

- 劣モジュラ:集合関数の凸性,集合関数(部分集合→実数)f について
 f(S) + f(T) ≧ f(S∩T) + f(S∪T)
-- 集合関数の最適化だけでなく,微分できない連続関数最適化でも有用
-- S⊆T で, f(S+i) - f(S) ≧ f(T+i) - f(T) 同じものを足しても元の集合が大きい方が f への影響は強くなる
- 例:カット関数(選んだ部分頂点集合とそれ以外との間の辺の重みの和)や被覆関数
- 列モジュラの最小化は容易だが,最大化は困難な問題
- 最大化:部分集合の大きさがk以下で,f(S) を最大にする S を見つける.貪欲法でも(1-1/e)倍の近似解が得られる(実際にはもっとよくて 0.95倍)
- MRFの推論:ポテンシャル関数が劣モジュラなら,カット関数と等価になって効率的に解ける
- 一般の劣モジュラは頂点数 n のn^6ぐらいだが,グラフカットは効率的 n log(n^2) ぐらいになる.
-- 分解可能な劣モジュラとよばれるクラスはグラフカットに帰着可能
- Lovász拡張:集合関数の連続関数への緩和の一つ
-- 引数のベクトルの要素を大きい順に並べて,大きい順の引数を含むような部分集合を考える
-- 集合に含まれるかどうかを 0/1 で表した集合関数は超多様体の辺上の点になるが,その間を超平面でつないだような緩和
- 基多面体:劣モジュラ関数から定義される多面体の中のある特定の面
- 例:構造正則化学習:変数が階層・グループ構造を持つ正則化 → Lovász拡張になってる

** ユーザ評価データを用いたアイテム選好度の推定 [#q0e2d6c6]
○望月駿一・藤本 悠・村田 昇(早大)

- 評価値の平均などで評価を決めると,バイアスの大きな人の影響が強くなる
- Bradley-Terry の一対比較モデルを使って推定する
- 対の数が増えると計算量が多くなる → 重複があるようなアイテム集合で,欠損の少ないものを求め,それをあとで統合する
- BTモデルの決まっていないパラメータをフリーにするとパラメータの部分空間が決まるので,各アイテム集合へのKLdivの和が最小になるようなパラメータを全体のパラメータとする

** 人行動認識に有効な特徴点検出とクラスタリングに関する研究 [#gb3b0c3e]
○相原和明・青木輝勝(東北大)

- ビデオからの行動認識:SURF特徴量を使う
- 動作領域のマスク作成:複数画像を使って高精度で,カメラモーションに対応したマスクを作る
-- マスクの大きさにかかわらず,一定の特徴点を定める.マルチスケールではなく,可変スケール.
- コードブックを作るときに,似た特徴量が多い密な部分を細かく分けるクラスタリング手法

** Automatic Binary Logistic Estimationモデルの生存時間解析への拡張 [#h71812be]
○下川敏雄(山梨大)

- ABLE:ロジットを決定木型のモデルで表現.CARTとは枝刈りが違う.
- ABLEで主効果(患者の特徴)による患者集合を分割し,それぞれで生存時間分析をすることで,主効果の影響を調べる

** 劣勾配法に基づく2値型Principal Pointsとその応用 [#f7cd2081]
○山下 遥(慶大)・河原吉伸(阪大)

- Principal Point:確率分布を分割したとき,それらの分割領域を代表する点 → 分布の定義域が {0,1} なので,Principal Point も0/1の組み合わせで決まる
- 2値整数線形計画問題によって表し,ラグランジュ緩和して効率的に解く

** 勝率の確率モデルによるレーティングとキャラクターの同時推定 [#b76f1f4c]
○中許義之・田中利幸(京大)

- 対戦勝率が,強さのレート値と,棋風のキャラクター値により決まるモデル.
-- キャラクターは対戦相手との相性を反映,レート値は全体での強さ

トップ   編集 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS