しましま/IBIS2022
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
* 第25回 情報論的学習理論ワークショップ (IBIS 2022) [#pd5...
COLOR(#00AA00){このページはしましまが [[IBIS2022>IBIS#IBI...
#contents
* 11月20日(日) [#zd1a2324]
* 招待講演1:The Complexity of Fairness in Information A...
Michael Ekstrand (Boise State University)
- 推薦が公平であるとは
- 情報参照システム information access system:大規模な情...
- 航空機予約システム:1社だけの路線を,複数航空会社の路線...
-- 地域航空会社にとっては不利なシステム
- このように,状況の文脈によっていろいろな問題が生じうる
- 古典的な公平性:分類問題,決定は独立で個別,一度きりの...
- ⇔ 情報参照システム:ランキング問題,決定は相互に関連し...
- ある特定の状況における問題の定義と測定手法 に着目
- 公平性の動向
-- 対象者に対する決定 → 複雑な状況
-- 抽象的な決定 → 特定の問題の解消
- 公平性への対処法は,ある文脈での特定の問題にのみ有効
- 公平性の要素:対象者,単位(グループ,個人),尺度,集約
-- 対象:ステイクホルダー,社会
-- 単位:グループと個人
- 供給者(exposure,頻度や利益)観点
-- 女性作家の本があまり流通しない ← 国会図書館の頻度が反...
- 消費者観点:効用,使いやすさ,表示,ステレオタイプ
* マルチメディアと機械学習 [#xe1ef166]
オーガナイザ:中山 英樹(東京大学)
** 大規模言語モデルによるコード生成とその応用(Code Gener...
Raphael Shu(AWS AI)
- 大規模コードモデル:CodeT5, OpenAI Codex, CodeGen → Goo...
- タスク:生成,自動補完
- 入力:自然言語,出力:コード,評価:ユニットテスト
- コーディング補助 coding companion(GitHub copilotなど)
- コードデータベースの自然言語検索
- 新規ライブラリに対するzero-shot学習などの課題
** 深層学習による音声合成の発展とその先 [#a8a00794]
高道慎之介(東京大学)
- 音声合成の成果
-- リアルタイム音声変換:ハンター×ハンターのキャラクター...
-- 50年前の松任谷由実の声
- 音声合成:何かを入れると音声が出る
-- テキスト音声合成,歌声変なkℕ,歌声合成,対話音声合成
- テキスト音声合成:音声特徴を経由して音声に変換,速度・...
- 短い文については人間並みになったが,1時間とか凪講演では...
- 視や小説で演出を加える
- 文脈によって変わる音律,プロミネンス(強調する語で意味...
- 環境を整えていない録音の利用
** 広告を例とした深層生成モデルの応用と課題 [#b04f74d4]
大谷まゆ(サイバーエージェント)
広告テキスト作成支援
- テキストの自動生成:検索キーワードを入力に取り入れる,...
- 既存の広告文を,より有効な広告文に変換する
- マルチモーダル:レイアウトや情報の重要度を考慮
- 事実と異なる内容の生成 → 送料無料 を入れてしまう
- 薬機方,景品表示法などに触れないようにする
- 広告データは公開が難しいので,再現性や新規参入の困難な...
デザイン制作支援
- レイアウト生成:ランディングページの生成,レイアウトの...
- デザインの配色支援
- 評価が難しい:画像処理の指標を利用,一般的なデザインル...
- デザイナーと対話的に生成するには?
- リスク:既存デザインと近いもの,望ましくないバイアス,...
* 11月22日(火) [#p4e77733]
* Responsible AI in Practice: Lessons from Experience at ...
Luca Belli
- 責任あるML:バイアスの有無の基準は様々
- 課題:問題設定,監査⇔プライバシ,予測される乖離,多数の...
- MLを使わない方が問題の解決が容易な場合もある
- 自己選択特徴による今日か:国や候補によって変わる
- 利用者ではなく内容に基づいて正解ラベルを与えるべき → FP...
- 推薦システムの場合
- アフリカ系人種は人口比率によらず政治的な影響は受けにく...
- 標本化の不均衡によって,ランダム推薦も不公平になりうる
* 微分方程式等で記述される力学系と機械学習 2022/11/22(火...
オーガナイザ:松原 崇(大阪大学)
** 力学系の機械学習における事前知識活用の方法 [#s3bdbf93]
武石 直也(西スイス応用科学大学)
- 力学系の機械学習:微分方程式の境界条件学習するものとと...
-- 関数を学習させるときに事前知識を反映させたい
- 事前知識のMLへの導入:訓練データ,モデル集合,アルゴリ...
- NNのあてはめで微分方程式をとくとき
- 安定性(時間が経てばSに近づく)や不変性(ある状態Sから...
- [Manek+ 2019] 学習した関数を修正して安定平衡点をもたせる
- 物理の不完全な数理モデルをNNで補完する
-- NN部分をうまく正則化しないと,数理モデルが無意味なもの...
** 物理現象の性質を反映させたグラフニューラルネットワーク...
堀江正信(科学計算総合研究所・筑波大学)
- メッシュに区切って,有限要素法のような感じでGNNで微分方...
- 同変性:回転や並行移動などの変更におうじて変化に制約が...
** 幾何学的力学と深層学習の連携による物理現象の構造保存型...
谷口 隆晴(神戸大学)
- NNで学習したモデルで,物理シミュレーション
- 幾何学:許容変換に対する不変性
* 11月23日(水・祝) [#qb60a974]
* ベイズ深層学習入門 [#v70888f6]
須山 敦志(アクセンチュア)
- ベイズの利点:モデリングの柔軟性,予測の不確実性の表現...
-- モデリングの柔軟性:制約や仮定の導入,複数情報の統合
-- 予測の不確実性:確信度,パラメータの逐次更新
-- 簡潔で一貫した方法論:ベイズの定理と周辺化のみ,多くの...
- ガウス過程回帰:カーネルの選択に応じて様々な関数を学習...
- 近似計算
-- サンプリング:ギブスサンプリング,ハミルトニアンモンテ...
-- 変分推論:事後分布を簡潔な分布の族で置き換える,スタイ...
- ベイズ深層学習
-- 大量データ必要→ベイズ推論は有効かも?解釈できない問題...
-- ドロップアウトが行うコスト関数と,変分推論の下界は同じ...
-- 確信度を使って能動学習や探索-活用のトレードオフに対応...
-- VAE:NNの入力変数を潜在変数にしたモデル,事後分布の近...
-- 世界モデル:自動運転などで使う外部環境のモデル,VAEで...
-- 拡散モデル:多段VAEの,潜在変数が入力特徴数と同じ,推...
-- 深層学習のガウス過程解釈:NNの学習は事実上逆行列計算に...
-- 尤度関数を使わない変分推論
- 一段解法=u_nからu{n+1}を計算,多段解法=u1…u_n から u{...
- Euler法:微分を,微小時間の差を使って近似する
-- 積分計算→多段になるとRunge-Kutta法
- p次解法は次の精度を達成
‖u(h) - u1‖ = O(h^{p+1})
-- 刻み幅を変えても,この収束の傾きは変わらない
-
* 常微分方程式の数値解析とデータサイエンス [#aa9d11b3]
宮武 勇登(大阪大学 サイバーメディアセンター)
- https://slides.com/yutomiyatake/deck
- 常微分方程式
d u(t) / dt = f(u(t)) u(0)=u0∈ℛ^d
-- 離散変数法:離散的な時刻での近似値を求める
* Federated Learningにおける典型的な課題と最近の展開 [#o9...
米谷 竜(OMRON SINIC X)
- 連合学習の定義 [Kairouz+ 2021]:ローカルデータを保持す...
-- ※ 心理学では associated learning の訳語
-- coross-device連合学習:クライアントは100億ぐらいのモバ...
-- cross-silo連合学習:工場や病院など数百のクライアント,...
- 課題:不均一データからの学習,通信容量,プライバシの確...
- 不均一データからの学習
-- ラベル,関数,特徴量,データ量の不均一
-- FedProx,Scaffold,FedNovaなどが著名,クライアントでの...
- 個人化連合学習:各クライアントの特性を反映したモデル
-- FedPer=ベースと個人をend-to-end,FedRep=ベースと個人...
-- ベースモデルが効いているのかは分からない
- クライアントは状態なし→Adamなどの適応的最適化が使えない...
- 通信容量
-- 重みを2値化して送っても,元の値を不偏推定できる
-- クライアント選択における偏りの定量化で,効率的なクライ...
- セキュリティ・プライバシー
-- クライアントごとの更新情報には,ある程度元データの情報...
-- 集約統計量のみを秘密計算で確保,差分プライバシの導入
- 蒸留ベースの連合学習
-- クライアントで獲得したモデルの予測モデルの出力から,大...
-- クライアントごとに使うモデルを変えることができる
-- FedKD,FedGEN
* 汎化誤差解析から始める統計的学習理論入門 [#e6d88ece]
宮口 航平(IBM 東京基礎研究所)
- 学習理論:どんな条件下で何ができて何ができないのかを明...
- 最適モデルのリスク=R(f**),標本からの推定モデルのリス...
- あらゆる仮説を考えるのは no-free-lunch定理により無意味...
- R(f_n) - R(f**) =[R(f_n) - R(f*)] + [R(f*) - R(f**)]
-- 前者は推定誤差,後者は近似誤差,ここでは推定誤差を扱う...
- 経験リスク最小化 (ERM):データごとのリスクの平均である...
- argmin を代わりの上界で抑える 2 sup{f∈ℱ} |Δn(f)|,Δn=R...
- 一様収束誤差→nに応じて発生する |Δn(f)| は確率過程なので...
-- 上界は,K個の独立な変数の最大値になる→各変数の裾の長さ...
-- 結局 O_P( √[ ln |ℱ| / n] )がという形に
- 1ステップ離散化:リプシッツ連続性から,仮説集合がd次元...
- カバーを段階的に細かくするチェイニングという技術でぐっ...
-- d次元有界集合だったら,追加の仮定なしに O_P( d / n ) ...
- ラッデマッハ複雑度:仮説集合の複雑度 → 一様収束誤差を化...
- 一様収束では,仮説集合で一様に推定仮説があると思ってる...
- ドロップアウトとか,あえてノイズを加える(ERMでない)
-- 推定量も確率変数になる → PAC-Bayes:事後分布のリスクと...
- パラメータが多くて過学習してもよい
-- 深層学習は一様収束しないのに汎化性能がよい benign over...
-- 推定量が,仮説に近づく滑らかな成分と,ノイズに引きずら...
終了行:
* 第25回 情報論的学習理論ワークショップ (IBIS 2022) [#pd5...
COLOR(#00AA00){このページはしましまが [[IBIS2022>IBIS#IBI...
#contents
* 11月20日(日) [#zd1a2324]
* 招待講演1:The Complexity of Fairness in Information A...
Michael Ekstrand (Boise State University)
- 推薦が公平であるとは
- 情報参照システム information access system:大規模な情...
- 航空機予約システム:1社だけの路線を,複数航空会社の路線...
-- 地域航空会社にとっては不利なシステム
- このように,状況の文脈によっていろいろな問題が生じうる
- 古典的な公平性:分類問題,決定は独立で個別,一度きりの...
- ⇔ 情報参照システム:ランキング問題,決定は相互に関連し...
- ある特定の状況における問題の定義と測定手法 に着目
- 公平性の動向
-- 対象者に対する決定 → 複雑な状況
-- 抽象的な決定 → 特定の問題の解消
- 公平性への対処法は,ある文脈での特定の問題にのみ有効
- 公平性の要素:対象者,単位(グループ,個人),尺度,集約
-- 対象:ステイクホルダー,社会
-- 単位:グループと個人
- 供給者(exposure,頻度や利益)観点
-- 女性作家の本があまり流通しない ← 国会図書館の頻度が反...
- 消費者観点:効用,使いやすさ,表示,ステレオタイプ
* マルチメディアと機械学習 [#xe1ef166]
オーガナイザ:中山 英樹(東京大学)
** 大規模言語モデルによるコード生成とその応用(Code Gener...
Raphael Shu(AWS AI)
- 大規模コードモデル:CodeT5, OpenAI Codex, CodeGen → Goo...
- タスク:生成,自動補完
- 入力:自然言語,出力:コード,評価:ユニットテスト
- コーディング補助 coding companion(GitHub copilotなど)
- コードデータベースの自然言語検索
- 新規ライブラリに対するzero-shot学習などの課題
** 深層学習による音声合成の発展とその先 [#a8a00794]
高道慎之介(東京大学)
- 音声合成の成果
-- リアルタイム音声変換:ハンター×ハンターのキャラクター...
-- 50年前の松任谷由実の声
- 音声合成:何かを入れると音声が出る
-- テキスト音声合成,歌声変なkℕ,歌声合成,対話音声合成
- テキスト音声合成:音声特徴を経由して音声に変換,速度・...
- 短い文については人間並みになったが,1時間とか凪講演では...
- 視や小説で演出を加える
- 文脈によって変わる音律,プロミネンス(強調する語で意味...
- 環境を整えていない録音の利用
** 広告を例とした深層生成モデルの応用と課題 [#b04f74d4]
大谷まゆ(サイバーエージェント)
広告テキスト作成支援
- テキストの自動生成:検索キーワードを入力に取り入れる,...
- 既存の広告文を,より有効な広告文に変換する
- マルチモーダル:レイアウトや情報の重要度を考慮
- 事実と異なる内容の生成 → 送料無料 を入れてしまう
- 薬機方,景品表示法などに触れないようにする
- 広告データは公開が難しいので,再現性や新規参入の困難な...
デザイン制作支援
- レイアウト生成:ランディングページの生成,レイアウトの...
- デザインの配色支援
- 評価が難しい:画像処理の指標を利用,一般的なデザインル...
- デザイナーと対話的に生成するには?
- リスク:既存デザインと近いもの,望ましくないバイアス,...
* 11月22日(火) [#p4e77733]
* Responsible AI in Practice: Lessons from Experience at ...
Luca Belli
- 責任あるML:バイアスの有無の基準は様々
- 課題:問題設定,監査⇔プライバシ,予測される乖離,多数の...
- MLを使わない方が問題の解決が容易な場合もある
- 自己選択特徴による今日か:国や候補によって変わる
- 利用者ではなく内容に基づいて正解ラベルを与えるべき → FP...
- 推薦システムの場合
- アフリカ系人種は人口比率によらず政治的な影響は受けにく...
- 標本化の不均衡によって,ランダム推薦も不公平になりうる
* 微分方程式等で記述される力学系と機械学習 2022/11/22(火...
オーガナイザ:松原 崇(大阪大学)
** 力学系の機械学習における事前知識活用の方法 [#s3bdbf93]
武石 直也(西スイス応用科学大学)
- 力学系の機械学習:微分方程式の境界条件学習するものとと...
-- 関数を学習させるときに事前知識を反映させたい
- 事前知識のMLへの導入:訓練データ,モデル集合,アルゴリ...
- NNのあてはめで微分方程式をとくとき
- 安定性(時間が経てばSに近づく)や不変性(ある状態Sから...
- [Manek+ 2019] 学習した関数を修正して安定平衡点をもたせる
- 物理の不完全な数理モデルをNNで補完する
-- NN部分をうまく正則化しないと,数理モデルが無意味なもの...
** 物理現象の性質を反映させたグラフニューラルネットワーク...
堀江正信(科学計算総合研究所・筑波大学)
- メッシュに区切って,有限要素法のような感じでGNNで微分方...
- 同変性:回転や並行移動などの変更におうじて変化に制約が...
** 幾何学的力学と深層学習の連携による物理現象の構造保存型...
谷口 隆晴(神戸大学)
- NNで学習したモデルで,物理シミュレーション
- 幾何学:許容変換に対する不変性
* 11月23日(水・祝) [#qb60a974]
* ベイズ深層学習入門 [#v70888f6]
須山 敦志(アクセンチュア)
- ベイズの利点:モデリングの柔軟性,予測の不確実性の表現...
-- モデリングの柔軟性:制約や仮定の導入,複数情報の統合
-- 予測の不確実性:確信度,パラメータの逐次更新
-- 簡潔で一貫した方法論:ベイズの定理と周辺化のみ,多くの...
- ガウス過程回帰:カーネルの選択に応じて様々な関数を学習...
- 近似計算
-- サンプリング:ギブスサンプリング,ハミルトニアンモンテ...
-- 変分推論:事後分布を簡潔な分布の族で置き換える,スタイ...
- ベイズ深層学習
-- 大量データ必要→ベイズ推論は有効かも?解釈できない問題...
-- ドロップアウトが行うコスト関数と,変分推論の下界は同じ...
-- 確信度を使って能動学習や探索-活用のトレードオフに対応...
-- VAE:NNの入力変数を潜在変数にしたモデル,事後分布の近...
-- 世界モデル:自動運転などで使う外部環境のモデル,VAEで...
-- 拡散モデル:多段VAEの,潜在変数が入力特徴数と同じ,推...
-- 深層学習のガウス過程解釈:NNの学習は事実上逆行列計算に...
-- 尤度関数を使わない変分推論
- 一段解法=u_nからu{n+1}を計算,多段解法=u1…u_n から u{...
- Euler法:微分を,微小時間の差を使って近似する
-- 積分計算→多段になるとRunge-Kutta法
- p次解法は次の精度を達成
‖u(h) - u1‖ = O(h^{p+1})
-- 刻み幅を変えても,この収束の傾きは変わらない
-
* 常微分方程式の数値解析とデータサイエンス [#aa9d11b3]
宮武 勇登(大阪大学 サイバーメディアセンター)
- https://slides.com/yutomiyatake/deck
- 常微分方程式
d u(t) / dt = f(u(t)) u(0)=u0∈ℛ^d
-- 離散変数法:離散的な時刻での近似値を求める
* Federated Learningにおける典型的な課題と最近の展開 [#o9...
米谷 竜(OMRON SINIC X)
- 連合学習の定義 [Kairouz+ 2021]:ローカルデータを保持す...
-- ※ 心理学では associated learning の訳語
-- coross-device連合学習:クライアントは100億ぐらいのモバ...
-- cross-silo連合学習:工場や病院など数百のクライアント,...
- 課題:不均一データからの学習,通信容量,プライバシの確...
- 不均一データからの学習
-- ラベル,関数,特徴量,データ量の不均一
-- FedProx,Scaffold,FedNovaなどが著名,クライアントでの...
- 個人化連合学習:各クライアントの特性を反映したモデル
-- FedPer=ベースと個人をend-to-end,FedRep=ベースと個人...
-- ベースモデルが効いているのかは分からない
- クライアントは状態なし→Adamなどの適応的最適化が使えない...
- 通信容量
-- 重みを2値化して送っても,元の値を不偏推定できる
-- クライアント選択における偏りの定量化で,効率的なクライ...
- セキュリティ・プライバシー
-- クライアントごとの更新情報には,ある程度元データの情報...
-- 集約統計量のみを秘密計算で確保,差分プライバシの導入
- 蒸留ベースの連合学習
-- クライアントで獲得したモデルの予測モデルの出力から,大...
-- クライアントごとに使うモデルを変えることができる
-- FedKD,FedGEN
* 汎化誤差解析から始める統計的学習理論入門 [#e6d88ece]
宮口 航平(IBM 東京基礎研究所)
- 学習理論:どんな条件下で何ができて何ができないのかを明...
- 最適モデルのリスク=R(f**),標本からの推定モデルのリス...
- あらゆる仮説を考えるのは no-free-lunch定理により無意味...
- R(f_n) - R(f**) =[R(f_n) - R(f*)] + [R(f*) - R(f**)]
-- 前者は推定誤差,後者は近似誤差,ここでは推定誤差を扱う...
- 経験リスク最小化 (ERM):データごとのリスクの平均である...
- argmin を代わりの上界で抑える 2 sup{f∈ℱ} |Δn(f)|,Δn=R...
- 一様収束誤差→nに応じて発生する |Δn(f)| は確率過程なので...
-- 上界は,K個の独立な変数の最大値になる→各変数の裾の長さ...
-- 結局 O_P( √[ ln |ℱ| / n] )がという形に
- 1ステップ離散化:リプシッツ連続性から,仮説集合がd次元...
- カバーを段階的に細かくするチェイニングという技術でぐっ...
-- d次元有界集合だったら,追加の仮定なしに O_P( d / n ) ...
- ラッデマッハ複雑度:仮説集合の複雑度 → 一様収束誤差を化...
- 一様収束では,仮説集合で一様に推定仮説があると思ってる...
- ドロップアウトとか,あえてノイズを加える(ERMでない)
-- 推定量も確率変数になる → PAC-Bayes:事後分布のリスクと...
- パラメータが多くて過学習してもよい
-- 深層学習は一様収束しないのに汎化性能がよい benign over...
-- 推定量が,仮説に近づく滑らかな成分と,ノイズに引きずら...
ページ名: