このページはしましまが IBIS2010 に参加してとったメモです．私の主観や勘違いが含まれていたり，私が全く分かってなかったりしていますので，その点を注意してご覧ください．誤りがあれば，指摘してください．
11/4 (木)†
企画セッション 1: データ生成過程の学習: 因果推論・特徴選択へのアプローチ†
反実仮想モデルを用いた統計的因果推論について†
星野崇宏 (名古屋大学 経済学研究科)
反実仮想モデルとRubinの因果モデル
- 無作為割り当てが無理なときに，他の共変量の影響を排除して，知りたい変数に影響するものとの関係を調べる
- Rubinの因果モデル：条件1だったときの結果 y1 と条件2だったときの結果 y2 で，E(y1-y2) が因果効果
- 実験群と対照群を準備．二つの群で違う対象や個人を観測しているので，単純な平均の差では，個体差・個人差の影響が残る．
- もし無作為割り当てなら，サンプル数が増えれば個体差の影響は消える
- 無作為でなかったり，共変量の影響があれば除去する必要
対策
- マッチング：もう一つの群で似ている人の共変量をコピーしてきて，欠則値を補完．似ていること定義の難しさ
- 反実仮想モデル：共変量 X が独立変数と目的変数の両方に影響しているとする．観測されない独立変数を混合率とし，二つの群の効果を混合して観測量が得られると考える．共変量の潜在独立変数への影響が線形などいろいろ厳しい仮定があり，実際と合わないと推定に大きなバイアスを生じる．
- Heckmanモデル：二つの群のどちらかを決めるモデルも線形モデル．ランダム欠則でなくてもOK．変数変換で結果が変わるなどモデルにかなり結果は依存．
- ノンパラメトリック回帰：バイアスがないが，共変量数が多いとサンプルが増えても収束しない
傾向スコア：一方の群に割り当てられる確率
- X：共変量，Y：関心のある従属変数，Z：独立変数の割り当て変数
- これらの同時分布を求めるのは難しい → p(Y) など関心のあるところだけモデルを導入し，仮定を少なくするセミパラメトリックなアプローチ
- 代表研究例：USの職業訓練の効果，アスピリンの有用性，抗精神病薬の死亡率への影響，学力別授業の効果
注意点
- 割り当て変数より，結果変数に影響の強い共変量を採用する方がよい
- 共変量と割り当て変数の因果関係には注意
構造方程式モデルによるデータ生成過程の学習, 特に非ガウス性の利用†
清水昌平 (大阪大学 産業科学研究所)
構造方程式モデル：データの生成過程のモデル
因果の向き
- x1 → x2 か x1 ← x2 か？：x1 と x2 をそれぞれを共変量とした二つの線形回帰モデルで，どちらがよいかを同定．
問題設定
- 因果のグラフは有向非循環
- x = B x + e：xは変数，eは外的影響
- B の非0・0のパターンが因果のグラフを表すことになる．BはDAGなら，変数 x を並び替えて下三角行列にできる．
- 外的影響は独立＝未観測交絡変数はない
推定原理
- causal Markov condition：ある変数を条件付けると，その祖先と子孫は独立になる
- 外的影響の独立性：外的影響が独立であることを使う
LinGAMモデル
- 外的影響は非ガウスで独立
- DirectLinGAM：B が下三角になるようにする
- Bの行が全部0＝他の変数に依存しない外生変数を見つける
- 見つけたらその効果を取り除き，次の外生変数を見つける手順を反復
- Darmois-Skitovitchの定理：x1 と x2 が e1…ep の線形モデルで書けるとき，両者に共通な ei が一つ非ガウスなら x1 と x2 は独立
- 非線形の場合：線形モデルを非線形モデルにすると外的影響の推定原理が利用できて，2変数の場合はOK，3変数以上は不明
- ノンパラメトリック：外的影響の推定原理は使えない
質問
- いろいろ仮定置いてるけど，まぁとっかかりとしてはOKでは？
- 出てきたモデルを検定で棄却はできるけど，正しいことは原理的には言えない
劣モジュラ性を用いたデータ生成過程の学習†
河原吉伸 (大阪大学 産業科学研究所)
- 特徴選択：予測モデル獲得ならば計算効率とのバランスだが，データの生成機構の獲得を目的とするなら全解探索が必要
劣モジュラ性
- 離散構造での凸性
- Lovåsz拡張：実ベクトルの要素を大きい順に p1...pm と整列．自分よりも大きな要素を引数にもつ集合関数を要素とする連続関数．元の集合関数が劣モジュラ性を満たすことと，このLovász拡張した関数が凸であることは同値
- 特徴選択：選択した特徴だけをつかった損失関数 → 集合関数
- 劣モジュラ性の最小化は多項式時間で解けるが，最大化は難しい
- ε近似アルゴリムも効率的
スパース正則化学習の学習性能，特にスパース性と汎化誤差の関係について†
鈴木大慈 (東京大学 情報理工学系研究科)
マルチタスクカーネル学習 (MKL)
- カーネルを使った学習はカーネルの設計に性能は大きく依存
- MKL：複数のカーネルの凸結合を一つのカーネルのように扱う．L1正則化と組み合わせてカーネルの選択も行う．
- L1 と L2 の中間を考えよう
- elasticnet：L1 と L2 の二つの正則化項を付ける．正則化パラメータの大きさで影響を調整
- Lpノルム：p を 1 と 2 の中間に設定する
- 汎化誤差的には，この中間的なのが，実験的によい
elasticnetで中間的なスパースが良い理由
- 双対をとると，0の付近で0で，その先が2乗で増加するような滑らかな正則化項になるので計算は楽ちん
- 回帰問題で2乗の損失を考え，汎化誤差について解析
- 既存研究：普通の特徴選択 Op(d log(M) / n) d:真の非0特徴，M:特徴数
- MKLでは，これにちょっと加算項がついた形式の上界が示せる
特別招待講演: Approximate inference for partly observable continuous time Markov processes†
Manfred Opper (Department of Computer Science, TU Berlin)
部分観測連続時間マルコフ過程の例
- stochastic lotka volterra model：捕食・被捕食関係にある2種類の動物
- 増加・減少の割合が2種類の動物の数に比例して決まるモデル
- 例：被捕食者は，α 被捕食者数 の割合で 1 増え，β 捕食者数 被捕食者数 の割合で 1 減る
- 遺伝子の転写・タンパク質合成による mRNA や タンパク質数の変化のモデル
- mRNA数が1増える割合は α(1 - αc Θ(タンパク質数 - θc) など
- motion in doubpe-well potential (ポテンシャルの底が二つある場合の振る舞い)
マルコフ過程
- 連続時間：X(X{t+dt)∈A|X{0:t})＝X(X{t+dt)∈A|X_t)
- ジャンプ過程：Δt時間後にyに遷移する確率が，普通の遷移確率パラメータ δxy + Δtに比例する量
- diffusion近似：dX ＝ X f(Xt) Δt + D^{1/2}(Xt) dW
- f は drift，D はdiffution行列，dWはウィナー過程
モンテカルロ，厳密と線形ノイズ近似
- 離散近似してMCMCする → Δt が小さいと局所解にはまりやすい
- 離散マルコフ同様のforward-backwardという方法も
11/5 (金)†
多端子情報源符号化の現状と課題†
葛岡成晃 (和歌山大学 システム工学部)
多端子情報理論
- 同じ対象を観測した複数の入力からまとめて対象を復号化する．同じ対象を観測しているので，
Slepian & Wolf 符号化問題
- 入力 X, Y，Φ1 と Φ2 で符号化，R1 と R2として伝送し，ψで復号 し ^X, ^Y を得る
- 同時分布 P_XY に従う (X,Y) の無限長の確率過程を考える
- XX^n → MM{1,n} を符号器，複合器 M{1,n}×M{2,n} → X, Y
- 誤り確率 e_n：X, Y と ^X, ^Y が一致しない確率
- 符号語の地域の大きさ (1/n) log|MM{k,n}|＝r{k,n} を符号化率
- (R1, R2)が達成可能 ⇔ n→∞で，それぞれの符号化率がR1とR2以下で，誤り率が0になるような符号器・復号器が存在
- 達成可能な範囲がここまでできる＝順定理（内界），これよりは無理＝逆定理（外界）
- これらの範囲をエントロピーのような計算可能な量で表す．内界と外界が一致したとき＝問題は解けた
SW符号化の達成可能領域
R1≧H(X|Y)
R2≧H(Y|X)
R1 + R2 ≧ H(X,Y)
- 個別だと，R1≧H(X) R2≧H(Y) の領域だけ → 多端子にすると達成可能領域が広がる！
- H(Y) と H(X|Y) の交点は，復号器だけがYを完全に知っている状況でも，X の符号器がYの情報を知っているのと同等の符号化率を達成できることがすごい
一般の多端子情報理論
- 符号器への入力も複数，符号器の数も任意，復号器への入力も任意数で，各信号ごとに復号器がある
解決された問題
- Csiszár & Körner 1980 の定理：SW問題を多数の変数に拡張したもの → 解決
- k番目の符号器はk番目の信号を復号し，k番目の信号と繋がっているけどk番目の信号を復号する必要のないヘルパーが存在しない
- ヘルパーがあると問題は未解決
- 歪みを許すと2対1の場合でも一般には未解決
- ガウス情報源で，平均2乗誤差歪みという特殊な場合は解決
和田山正 (名古屋工業大学 工学研究科)
圧縮センシング
完全再現条件の証明の成り立ち
- RIP: restricted isometry propserty
センシング行列にたいして決まるRIP定数 δS
- δ{2S}≦√2 - 1 ならL1符号化で解ける
- RIP定数の計算は難しいのでその辺の工夫
- 小さなδSをもつセンシング行列が望ましい
RIP：制約等長性
- F の任意の列をT個集めた行列 F_T について F_T c の2乗ノルムが，cの2乗ノルムの大きさと±δ
- このときの最小のδがRIP定数
- いろいろな行列にたついて固有値を求める必要があるのでRIP定数の計算は難しい
- → ランダム行列の上界を利用してRIP定数の上界を計算
圧縮センシングの研究状況
- 復元アルゴリズムの改良，確定的センシング行列の構成法，最悪じゃなくて典型的な場合の情報論的設定における再現条件，センサーが複数ある場合，低ランク行列近似行列補完問題，応用
- 復元法
- Lp復元法：p を 1未満にしてもっと疎に，局所解の問題
- matching pursuit：良いものをみつけて，残差を引いていく
- 射影勾配型 GraDes：最急降下法型
- 独立じゃない複数の情報源があるとき
- センサーも複数あり，復号器で複数の信号を復号するとき再現条件はどうなる？
補助情報を用いた情報源符号化†
松嶋敏泰 (早稲田大学 基幹理工学部)
統計的学習理論と情報理論
- 統計理論：データ小い，評価細かい → 存在定理 ⇒ アルゴリズムの開発 ⇒ その改良
- 情報理論：データ多い，評価細かい
- 学習理論：データ多い，評価粗い
補助情報をもちいた場合
- S&W の多端子で，Y は真の値が分かる場合
- 一つ前までの，x と y に加え，yt を観測したとき，xt を予測する問題になる．
- エントロピーへの収束のレートも気にするので，ベイズ符号化を考える
- 補助情報がない：ブロック符号化と逐次符号化の符号長が一致し，普通定数オーダの符号長の上界が知られる
事前分布への工夫
- context tree モデル：マルコフは符号パターンとは無関係に次数は固定だが，次数が符号パターンに応じて変化する
情報理論的セキュリティと秘密増幅定理†
松本隆太郎 (東京工業大学 理工学研究科)
- 情報理論的セキュリティ
- 計算困難さに依存せずに，秘密情報と敵の所持する情報との統計的独立性を保証
- Alice が S を X に変えて，Bob はYを受信して Sを復号．XからYの通信路でEveが盗聴してZを得る状況
- I(S;Z)=0 ⇔ S と Z が統計的に独立 ＝ 安全
two-universalハッシュ関数族
- FF：写像 S1→S2 の集合
- S1から異なる x1 と x2をえらんだとき，Pr[F(x1)＝F(x2)]≦1/|S2| が成立する
- 線形関数の族全体 (?)
秘密増幅定理
企画セッション 3: 理論統計学の風景から†
ロバスト推測の基礎とダイバージェンス型メソッドへの発展†
藤澤洋徳（統計数理研究所）
- ロバスト統計・推定：一つだけおおきく外れた値があった場合でも破綻しない
- 中央値：平均の代わり．一番汎用的にロバスト統計で用いられている統計量
- MADN：標準偏差の代わり
重み付きスコアに基づいたロバスト推定
- 外れ値の典型的な性質は，その生起確率が低い
- 密度推定値で，各サンプルを加重して推定すれば，生起確率の低い事例は自動的に無視される
一般のモデル f(x;θ) のとき
- <モデル>^β × <重みスコア> - <不偏にするための補正項>
- 重みの総和を1にする補正をしたのがγダイバージェンス
混合モデルでの方法
- 目的分布と外れ値を出す汚染分布の混合分布からデータが出ると考える
- 汚染分布は目的分布の裾にあるとする仮定
- EMとは別のアルゴリズムで推定する
マルコフ基底と分割表解析への応用について†
原尚幸（東京大学 技術経営戦略学）
2元分割表のマルコフ基底と正確検定
- 2元分割表：x{+i} でi列和，x{i+}でi行和
- p_ij＝p{i+} p{+j} の仮説を検定する → Pearson のχ2乗統計量 → 漸近的な結果
- ファイバー：十分統計量を共有する分割表の集合 → 正確分布による評価が可能 → 数が多くて計算できない
- move：表の引き算で得られる
- マルコフ基底：move で，moveが非負の要素を保ちながら(?)表の集合の要素が全て繋がっている．
- マルコフ基底上のパス使ってたどることで，MCMCによりファイバー上のサンプリングが実現できる(?)
無限次元マルチンゲール中心極限定理の使用法†
西山陽一（統計数理研究所)
- 中心極限定理の iid→マルチゲール，有限次元→無限次元 への拡張
11/6 (土)†
企画セッション 4: 量子情報理論の最先端†
量子誤り訂正符号の基礎と量子秘密分散†
小川 朋宏 (電気通信大学 情報システム学研究科)
量子力学
まだまだ続く…メモしきれない
量子暗号の基礎とその実用化に向けて†
鶴丸 豊広 (三菱電機)
- 現代暗号：現状の計算機やアルゴリズムでは解けないことが安全性の根拠
- 量子暗号：どんなに計算機が進歩しても解読できないが，速度がまだ遅く，実装も高価．
- ここでは量子鍵配送で，BB84方式について
- 量子暗号装置：Id Quantique社のClavris^2, MagiQ Technologies社のQPN 8505 → 音声通信はどうにか
- 量子計算とは違って，量子暗号はもう実用化実験まできてる
- 量子暗号の無条件安全性：光子に情報を載せて通信する．盗聴されるとかならず影響がでる．
- 通信路ノイズには敏感→通信距離と安全性にトレードオフがある
- 量子：波と粒子の性質 → 一番制御しやすい光子を使う
- 偏向の縦と横で0と1で表す基底と．それとは斜め45度傾いたもので表す基底とがある
- 乱数を送信するが，お互いに基底はランダム選ぶ．あとで，基底を公開すると基底が一致しているところで，送受信側で乱数が一致していれば安全だった
- もし盗聴されると 1/2 の確率でしか乱数が合わないので，盗聴が検出される
- 光パルスの到達確率が 1/1000 で，10万分の1で光が来てなくても反応するので困る
- 起こったノイズは全て盗聴されたと悲観的に考える．
- ノイズがある程度以下であれば，盗聴者に情報が漏洩する確率を任意に小さくできる．
量子誤り訂正符号を使った仮想的プロトコル
- Alice 乱数をランダムな基底で送信，Bobはランダムな基底で受信，基底を公開して一致したところの乱数を採用 → ふるい鍵
- 誤り訂正符号 C1 によるビット誤り訂正 → 訂正鍵
- 得られたC1と同値類のC2を作る → この組を古典CSS符号
Tokyo QKD network
- 量子暗号の実証実験
- 数100k bit，距離はファイバーを使えば数10キロ，ファイバーなしだと1kmぐらい
- NEC, 三菱，NTT，東芝欧州，Id Quantique(スイス), Allvienna(オーストリア)
- 各社の量子暗号装置を連結して実証．複数のノードをまたいで鍵を実際に共有できるかを検証 → ノードは信頼する古典中継
- テレビ会議を実施
- 中継にも量子中継というのはあるが，まだ実用的にはむり
- http://www.uqcc2010.org/
量子ネットワーク符号†
西村 治道 (大阪府立大学 理学系研究科)
ネットワーク符号 (Ahlswede-Cai-Li-Yeung 2000)
- 主に1対1通信理論と，ネットワーク上の配送問題の融合分野
- バタフライネットワークでの液体フロー：液体だと同じ経路は共有できない
- 情報では，共有が必要な経路ではXORなどをして利用できる
ネットワーク符号問題
- 有向非循環グラフ，各辺の容量，k種類の(commodity)を，それぞれソースからシンクへ送る
- multicast問題：ソースの情報を全てのシンクが必要
- k-ペア通信問題(multiple unicast)：k個の一対一通信．2対2でも無向グラフならNP完全
古典でできたら，量子では？
- 量子では情報はコピーできない．XORに対応する演算は？
- コピーできないのでmulticast は扱わない．
- バタフライでも両方とも量子ではダメ
- エンタングルメントや古典通信路を補助的リソースとして使う
- 古典通信で可解なネットワーク符号問題は，古典通信路が使えるとすれば，量子でもOK
企画セッション 5: 計量経済と機械学習†
Sequential Estimation of Structural Models with a Fixed Point Constraint†
下津克己（一橋大学 経済学研究科）
- 独占と完全競争の中間ぐらいが現在の市場 → 不完全競争
- 企業間の戦略的相互作用：価格決定などは相手の反応を予測して戦略を決める
- 経済学：市場の動きを調べる
- 構造的経済理論：パラメータを明示的に盛り込んだモデル
ゲーム理論的な話し
- 利得行列：両方とも参入 (1,1)，両方とも不参入 (0,0)，一方だけなら (3,0), (0,3)
- Nash均衡：相手の行動を知ったとき，お互いに自分の行動を変えない状態
- 均衡は一意には決まらない
私的情報があるときの場合
- 利得行列：両方参入(ε1-θ，ε2-θ)，両方不参入 (0,0)，一方だけ(ε1,0)，(0,ε2)
- 主観的確率＝信念(belief)を考える．参入確率 Pi とし，自分が参入するときの利益をかんがえ，P2(ε-θ)+(1-P2)ε1＞0 なら参入
- ベイズ完全均衡 (Bayesian perfect Equibalium)：両方ともの信念が，その行動と一致しているとき → 写像の不動点を求めることに対応
- 参入確率の推定値から，θが計算できる．
- 実験行動経済学：実際モデルどおりに人は行動するか？→場合によりけり
構造推定モデル：動的離散ゲーム
- 参入後の利潤 Π：他の参入状態，市場の状態，1期前の参入の状況，私的情報にモデル
- 状態遷移をマルコフ過程とすると，全体はマルコフ決定過程になる
- 現在の信念から，次の信念への写像の不動点からBPEが求まる
不動点の求め方
- nested fixed point：いろいろなθで，不動点を求め，その不動点でθの推定をやり直す．
- constraint optimization approach：不動点の条件を拘束条件にして，ラグランジュ方程式をたてる
- nested pseudo likelihood (NPL)：Pの初期値と，θを交互に繰り返す
- 実際のデータを扱っているような経済研学者は：扱いやすく，実装が容易，ぼちぼち動けばよい
Model Averaging without Non-negative Constraints†
奥井亮 （京都大学 経済研究所）
モデル平均法 (model averaging)
- 計量経済学の中では機械学習に近い
- 無限次元のモデル考えるのは難しいので，m種類の変数を選んで回帰
- 打ち切った残りの変数に関連した項の和が近似誤差
- 変数選択は情報量規準を使う
変数の重み付け
末石直也 (京都大学 経済学研究科)
内生性：E[xi ei]≠0 ノイズと説明変数に相関があるとき
- 内生性が生じる原因：-- 無視したり，観測されない変数（omitted variable）がある
操作変数
この2段階最小二乗法をノンパラで
企画セッション 6: 理論生物学と学習・統計との新たな接点†
成長する上皮組織の力学過程†
石原秀至 (東京大学 総合文化研究科) 代理の杉村さん
- 形態形成過程：胚が発生するとき，細胞の上皮のMyosin収縮して，大きく変化する．
- 侵襲的だと，張力の大きさは測れる → 力を推定する方法を推定
- ハエの羽について，そのパターン形成過程について
張力の推定
ショウジョウバエの羽の応力
- 羽の長い方を横と呼ぶ
- さなぎの状態でも，横向きに大きなテンションがかかっていると推定
- 最大応力方向は横方向と応力のバランスを調べる
- 横方向に引っ張ると，その方向にMyosinが濃縮される → 細胞が力とバランスをとろうとする
- 成長にともなって，六角形の安定した形の細胞が増える
- 張力の偏りが多いほど，六角の細胞が多い → 張力がより安定的な形状を求める
- ところが，横に引っ張ると六角の細胞は増えるが，縦だと増えない
- 六角形が増えるのは，異方的な張力がかかると，六角形の向きがそろいやすくたくさん出来るが，向きが揃ってないと，全部が六角形ではうめきれなくなるから
１分子計測データに対するパラメータ推定†
宮崎牧人 (京都大学 理学研究科)
1分子実験
- 固定した蛋白質に大きなプローブを結合させて，それを観測する
- プローブは，解像度が良くて，操作も可能
- 観測したプローブから，蛋白の動きやパラメータを推定する必要
- 二つの軌道が一致する事後確率を推定するアプローチ
- パス経路積分：物理での，軌道が一致する確率を扱う手法
- 対象とプローブを繋ぐリンカを幾つか変えてデータをとる
統計モデルによる計算論的認知科学†
佐藤好幸 (電気通信大学 情報システム学研究科)
- 人の知覚がベイズ推定でよく推定できることが最近分かってきた
- 脳はあるがままを知覚している訳ではない：錯覚など
- フィルターがかかっているように見える場合は，それを補正したように知覚し，物理的な光，そのものを知覚していない
- でっぱり・ひっこみのパターン：光が上から当たってるといったような知識が暗黙的に生かされている
時間順序判断タスク
- 音と光を出す．どっちが先にでたかどうかを被験者に答えてもらう．
- psychometric function：どっちが先か，その時間差と，音が先に提示されたと答えた割合の関係
- 真の時間差にノイズが加わって知覚されるとモデル化
適応現象
- 人間は周りの環境に合わせて，知覚や運動を追随させている
- 同じ時間差の刺激を繰り返し提示すると，時間差がなくなって，同時に知覚される．
- psychometric関数の移動に相当＝lag adaptation
- 触覚刺激で，左右の腕のどっちが先か？という問題だと，逆に時間差が拡大する → Bayesian Calibration：今までと逆の反応
モデル
![[PukiWiki]](image/ibisforest.png "[PukiWiki]")
