![[PukiWiki]](image/ibisforest.png "[PukiWiki]")
#author("2024-11-06T09:26:59+00:00","default:ibisforest","ibisforest") #author("2024-11-07T09:09:03+00:00","default:ibisforest","ibisforest") * 第27回 情報論的学習理論ワークショップ (IBIS 2024) [#j6ec59e7] COLOR(#00AA00){このページはしましまが [[IBIS2024>IBIS#IBIS2024]] に参加してとったメモです．私の主観や勘違いが含まれていたり，私が全く分かってなかったりしていますので，その点を注意してご覧ください．誤りがあれば，指摘してください．} - 日程：2023-11-04 〜 2023-11-07 - ホームページ： http://ibisml.org/ibis2024/ - 会場： ソニックシティ（さいたま） ＆ オンライン #contents * 11月4日（月祝） [#l1d8a5b4] * 言語と数理の交差点：テキストの埋め込みと構造のモデル化 [#a6e53e1e] 荒瀬 由紀（東京科学大学） - 自然言語処理は機械学習関連が，特にニューラル以降 -- word2vec，attention，transformer は全て機械学習系の会議で発表された -- 言語処理 ⇔ 機械学習：言語の構造と機械学習の概念の突き合わせ 文・単語の埋め込み - 分布仮説：You shall know a word by the company it keeps -- 既存手法は，単語の共起に基づく統計量 → word2vec, MLM (masked-language modeling) - word2vec -- Skip-gram＝周辺の語のベクトルとの内積が小さくなるように目的の単語のベクトルを更新 -- CBOW＝目的の単語のベクトルに近づくように周囲の単語を更新 -- 多義語がおおざっぱにしか表現できない - MLM (BERT) -- 自己注意機構により文脈を参照しながらマスク単語を予測 ≒ transformer encoder による CBOW / skip-gram -- 意味ごとに細かく分かれた埋め込みが得られる - 埋め込み＝基本的に1単語1ベクトル → 多義性には弱い -- 文脈に非常に引っ張られやすい - 句・文ベクトルの合成 ← 文頭や文末に特殊トークンを使う (BERT) - 多言語埋め込み -- Multiligual BERT, XLM Robert など ＝多言語で一つのモデルを訓練， -- LaBSE＝対訳コーパスで近づくように 言語的構造・タスクに内在する構造のモデル化 - 人間の処理との照らし合わせ - 主なタスク -- テキスト間の類似性：分類，クラスタリング，質問応答，情報検索，言語生成の目標・評価などで使う -- 類似している箇所の対応（アライメント）：解釈可能性，言い換え - マッピングには有向と無向がある ← 文意の詳細さなどの差を考えるか - 二部グラフのマッピング -- テキストの類似≒出現する単語が似ている → 二つの文の似た単語を対応付ける，このとき品詞の種類で重み付け -- BERTScore：局所的に最大のものを単純に対応付ける -- word mover's distance：最適輸送問題として対応付ける，重要度は均一 -- word rotator's distance：最適輸送で，テキスト中の単語の重要度を考慮 - 最適輸送はアライメントも分かる -- アライメントの種類：一対一，多対多，対応なし -- unbalanced/partial 最適輸送＝対応なしのアライメントを扱える最適輸送の枠組み -- 正解アライメントをつかった教師あり学習 - 対訳辞書抽出＝異なる言語での訳語の自動推定 -- 言語によらず，単語の類似性で作られるクラスタ構造は類似している → Gromov-Wasserstein距離を使う手法 - 句構造：階層的に句が生成される構造 -- BERTなどはこうした句構造を使っていない -- recursive NN＝句構造の木構造にそって単語ベクトルを変換する -- recursive neural tensor network＝句の組合せの種類を考慮できる -- NN 部分が，LSTM や transformer に置き換わっていった - 句の木構造間のマッピング -- 木の編集距離＝木の置換，削除，挿入操作の数 --- NN以前の利用：質問応答間の距離，含意関係 -- 木のアライメントは，寛容な置換とそうでないものや，対応なしのものもある → 無順序木の制限マッピング ＋ 重要度を句ベクトルを元に計算 -- 言語は創造的だったり誤りがあったり → モデルの制限からの逸脱をいかに扱うかが難しい * 創薬における機械学習技術について [#w19615cd] 梶野 洸（フリーランス） 創薬の基本的なながれ - 医薬品＝生体内因子の制御を通じて病態を改善する化合物 -- 例：コレステロール値を下げたい，動機＝血管の危険性を下げる，医薬品＝メバロチン，MHG-CoA recutase という酵素がコレステロールの生成過程を阻害する - タスク：標的の決定 → 標的を制御する化合物の特定 → 薬として満たすべき性質を確保 -- 薬物動態＝体内での吸収→分布→代謝→排泄 - 創薬の標準的な手続き -- ヒット化合物（＝標的に活性があって選択性があるもの）の探索 -- リード化合物（＝高い薬理活性，ADMETが許容できる，知財の問題）の探索最適化 → ここまで4年以上 -- 非臨床試験＝細胞・動物での毒性試験，生体内での挙動 → 1〜2年 -- 臨床試験＝ヒトでの有効性と安全性の検証 → 約7年 - 承認まで 76億円，新薬を一つ市場に出すには 1415億円 - 現在機械学習は，ヒット化合物・リード化合物の発見に使われている CADD (computer-aided drug design) - CADD＝計算器を用いて薬剤候補を見つける -- ligand-based drug design＝既知の化合物を用いる，化合物と活性の情報を利用 -- structure-based drug design＝標的タンパク質の立体構造情報を用いる，立体構造と結合サイトの情報 - LBDD -- 類似化合物の検索：クエリ＝活性のある化合物 - SBDD -- グラフ構造に基づくもの：Morgan finger print＝部分構造の有無を表す0/1ベクトル，谷本類似度＝0/1ベクトル間のJaccard係数 -- 立体構造に基づくもの：原子のガウシアン表現＝原子の存在位置を中心とするガウス分布，分子のガウシアン表現＝専用の式がある -- 立体構造の類似度は，共通部分の体積で計算 - 定量的構造活性相関＝活性のある化合物のスクリーニング，リード最適化の構造変換の指針 -- ドッキングシミュレーション＝位置・方向・回転可能な結合の回転を変えて探索 - 計算による最適化，分子構造の最適化 機械学習を使った創薬 - 活性予測＝分子→活性，構造最適化＝活性→分子，立体構造予測＝立体構造と標的タンパクの探索 - In silico創薬→AI創薬：大規模データの活用，手法・理論の緻密化，実業務との融合・運用 - NNで分子構造や立体構造を扱えるようにするのが最近のトレンド - 分子構造の表現方法 -- Morgan finger print＝固定長 -- 記述子 (molecular descriptor) 分子量，水素結合の特徴，炭素の特徴，脂溶性，表面積推定値などの分子の特徴量，固定長 -- グラフによる表現＝原子がノードで結合が辺，可変長 -- SMILESによる文字列表現＝グラフの文字列表現，環を開いたときは数字で対応付け，一意性がない，情報はグラフと同等 - 分子構造を入力できるNN -- 固定長入力→普通のNN，SMILES＝時系列系NN，グラフ＝GNNやtransformer -- RNN＝SMILESを記号列として処理，LSTM，GRU，transformer などでも同様に記号列処理 → SMILES transformer，ChemBERTa -- GNN＝グラフを普通に適用 -- 基盤モデル＝VAEを使って特徴量を作る，なぜかLLMを使ったりもする -- サンプルが小さい→古典的ML or 基盤モデル活用，サンプルが大きい＝NNまで含んで全部やってみる - 分子構造の生成モデル -- 文字列の生成＝SMILES文字列を生成 -- 分子レベルの生成＝分子・基・環とかをくっつけていく - 分子構造空間の探索 -- 分子構造の最適化：分子の生成モデルで生成した分子の構造でいいものを探す -- 分子を表す埋め込みから，分子と目標値を作ってブラックボックス最適化 -- 生成モデルを方策とする強化学習 -- 評価関数を活性の予測モデルで代替している部分は注意が必要 * 反実仮想学習の基礎と実応用 [#s394419c] 齋藤 優太（Cornell University） - 反実仮想学習＝機械学習×因果推論 ではない → 機械学習によるKPI最適化全てに役立つ 教師あり学習のおさらい - 教師あり学習：特徴量 x → 目的関数 y -- 現実には x や y はそう簡単には見つけられない - KPI（＝評価軸）の決定 → 目的関数（KPIのproxy）の設計 → 目的関数を観測可能な値からどう推定するのか → 機械学習手法を適用 反実仮想学習 (counterfactural ML, CFML)とは何か - 通常の予測問題は，予測値を基に意思決定をするために解かれている - 反実仮想学習＝特徴量，行動，報酬から，方策を学習する → 報酬には実行していない場合のデータは得られないので反実仮想を扱う必要 -- オフラインで意思決定をする学習 → 予測の精度ではなく，期待報酬を最大化 → off-policy evaluation が必要に ケース問題を用いた実践練習 - 動画の推薦の問題 - KPI＝推薦枠で動画視聴時間 - 動画視聴時間の予測時間は，どの動画を推薦するかの意思決定に用いる -- 比較にはどの動画の視聴時間も一様に重要 → どの動画の視聴時間も一様に重み付けして推定 -- 視聴時間のモデルからは行動が消えている → 推薦する動画は一つで，他の動画を推薦した結果は得られていないので考慮できない - この定式化では，誤差のため良い行動を選択できなかった場合が存在しうる -- 最も適切な動画を選択する行動自体を目的関数とすべき - 「KPI1＝推薦枠で発生する視聴時間最大化」は適切か？と考えてみる． -- 「KPI2＝システム全体で発生する視聴時間最大化」どうか？検索など他のものも含むとどうなるか？ -- 推薦しなかったら見られなかったが，推薦したことで見るアップリフトを考えるとこの二つのKPIは相反する可能性 * 11月5日（火） [#t945bac9] * サイエンスと機械学習 [#rcc65502] オーガナイザー：坂田 綾香（統計数理研究所），竹野 思温（名古屋大学） ** 一人の手法研究者から見た科学応用研究 [#e1e52c45] 奥野 彰文（統計数理研究所） - 機械学習より統計に近い研究者 -- 科学系の知識がないときに，科学系の研究者と共同研究したときの体験談 - 手法の改良が役立つ問題はそんなにない → 科学的問題の理解に時間がかかるし，ここが重要 楽観的なクラスタリングと天文学への応用 - 服部 公平さん ＠ 天文学者 との共同研究 - 同じ銀河に由来する天体をまとめたい ← 銀河から発生した天体も離れていって混ざって見える -- 天体の位置などの観測精度は一様ではない ← 遠い天体の精度は低かったりする -- 観測値を非線形変換で時間不変な特徴量に変換してまとめる -- 個体ごとに異なる分布に従う点が問題の特徴 -- 不確実性集合：ある天体が一定確率以上で存在するという集合 --- 最良の場合がうまくいくような目的関数を使うクラスタリング - [[プラズマ物理と相補的なプラズマデータに対する統計数理モデリング>https://statplasma.github.io]] -- 送られてきた数式を理解するのは困難だったが，問題の解決は基本的な統計手法で対処できた --- 応用側でやりたがっている問題が何かを掘り起こすことが重要 - 手法研究者は，数学と自然科学の双方と共同研究できる可能性 -- 個別案件の知識をどれくらい身につける必要があるかは重要 - 既存のグループに入ると研究開始までの時間を短縮できる -- お互いに歩み寄れる研究者は貴重 * 工学・理学研究への情報科学応用の課題と展望 －専門知識をどのように入れるか－ [#f436ee6f] 沓掛 健太朗（名古屋大学） - 応用物理学会＝2万人ぐらい，3割がインダストリ，大学は半分 -- 比較的素材に近い工学の領域 → インフォマティクス応用やAIエレクトロニクスというセッションができた -- データ科学に関連する発表は増える一方 -- マテリアルインフォマティクス＝予測発見，プロセスインフォマティクス＝作る，計測インフォマティクス＝測る，物理インフォマティクス＝理解する --- マテリアルが多い，計測が伸びている，アルゴリズム自体の議論は少ない - マテリアルズインフォマティクス：原子の種類と配置 → 材料物性 -- 第一原理計算，既存データのDB化，順方向モデルによる予測，生成モデルで逆問題を解く → 大きな探索空間が課題 - プロセスインフォマティクス：プロセス条件 → 生産物の特性，生成コスト -- 自動・自律実験で探索，シミュレーションとの組合せ - 物理インフォマティクス：データ→物理的知見，物理法則に適合した解 - 現状：既存手法の利用 → 問題に合わせた手法の改良 - シリコンヘテロ接合太陽電池 -- Si系太陽電池は市場の90% -- 理論効率 28% に近い 26% までいっている -- 膜の品質をベイズ最適化で最適化 --- 実現できない条件を調べる必要，効率以外の制約をどうするか --- 実験的に良い性能の条件が分かる → あとからメカニズムを解明 ということもできた - SiC結晶によるパワー半導体 -- Si結晶より電力消費を減らせる -- 材料を溶かすと，表面に薄膜ができる -- よい生成条件を求めるモデルを，専門家のフィードバックを活用することで獲得できた - 応用物理学の課題を情報科学の課題に変換する研究が進行している ** AIロボット駆動科学におけるロボットの役割 [#g2e03c5e] 原田 香奈子（東京大学） - AI・VRシミュレータを利用した手術ロボットなどの自動化・自律化 -- ロボットの動かし方：人間の動作の再現，自動化＝人間の指示を実行，自律化＝判断も自動化 - AI for Science には，身体となるロボットを使って新たなデータを取得するかが課題 -- オートメーション＝再現性の高い実験を無人で実行 → 複雑な世界を複雑なまま捉える：省人化，再現性，生産性 -- ロボティクス＝僅かな手がかりからの学習 → 人類の探究可能領域を拡大：柔軟性，新規性・独創性，相互作用 - ロボットとの共生アプローチ：人間とロボットの姿を借りた人下，人間とは別のAIロボット -- AIロボットが最適解になるような社会課題に取り組む - AIロボット科学者：危険な環境，コンタミ防止，有害な材料，超絶技巧 -- 実際にロボットを適用して，課題解決を行いつつ開発する -- 要求される条件：効率化，正確性， - オートメーション：変化しない対象に同じ作業 ⇔ 自律化：変化に適応できる - ロボットに要求される精度は驚異的：数μmの細胞を扱う必要 -- 手術ロボダヴィンチは，その開発環境も大学に開放したりしている -- 人間の操作をまねさせる，シミュレーション環境での訓練 - ブラックボックス解法 → 原理の解明には至らない * 特別セッション：2024年ノーベル物理学賞・化学賞解説 [#r8a24bfd] ** 物理学賞：ホップフィールド，ヒントン [#kde2cc7d] 鈴木 大慈（東京大学）， - 物の理 → 事の理 by 甘利さん - 1982年：ホップフィールド．ネットワークの再発見 -- 1985年の多層ネットが出る直前のころ -- 連想記憶を実現するネットワーク -- Hebb型結合：相関が高いニューロンは結合が強くなる -- 物理学との関連：磁性体の理論（スピングラス）と類似，エネルギー関数と関係 - ボルツマンマシン -- ホップフィール度ネット型のエネルギー関数を備えた生成モデル -- モデルだけでなく，勾配降下法で解けることを示す -- 制限ボルツマンマシン＝観測状態と隠れ状態の二つの状態を考えることで計算量を削減 --- 多層化した多層信念ネット → 2006年に深層学習の端緒 --- AlexNetで深層学習は注目を集めるように ** 化学賞：ベーカー computational protein design，ハザビス，ジャンパー protein structure predition [#efb1c6d5] 津田 宏治（東京大学） - タンパク質3次元構造：アミノ酸配列 → ポテンシャルが小さくなるような構造に折れ曲がる -- 最適化は規模が大きすぎる → データからの予測が可能と予測 → 実現した - X線結晶構造解析：結晶にX線を当てて電子密度が分かる → タンパク質のような大きな分子では難しい -- Protein Data Bank：3次元構造が分かったら，登録を義務づけ - CASP：90年代末〜，構造未知のタンパク → 3次元構造を予測するコンペ，実際に計測した結果と比較して優勝を決める -- ベーカーは長年していたが，2018年と2020年にAlphafoldが高精度で優勝し，コンペが終わってしまった -- ベーカー：Rosetta＝構造DBに対応するモチーフを発見して組み合わせるシステム - Alpha Fold -- 入力：入力配列とそのmultiple sequence alignment（DBの似てる系列）128本，Pair＝残期間の位置関係を表す特徴量 -- end-to-end で学習 -- 大きな分子も形状を予測できる - 未解決問題：intrinsically disordered protein＝形状が変化する分子，タンパク質の複合体の相互作用 - タンパク質3次元構造予測分野：PDBへの共同作業によるデータ蓄積，CASPで正しい方向の競争，深層学習革命 * 11月6日（水） [#c8dbf7a3] * 招待講演1：Towards AI Security – An Interplay of Stress-Testing and Alignment [#iecc02c5] Furong Huang（University of Maryland） - Mementos：vision-language のベンチマーク -- 日常生活，ロボット作業，コミックの3種 - 生成モデルの安全性：モデルの脆弱性が分かること → ストレステストが重要 - 脆弱性 -- jail break：不適切な質問のブロックの回避 -- prompt leaking：以前のプロンプトを引き出す - AutoDAN：自動化ストレステストシステム - 攻撃プロンプト：user request + adversarial suffix -- 直前プロンプト + UQ + AS → まずい応答 の確率モデル -- AS を拡張してまずい応答が出るかをストレスチェックとする - 安全性 ⇔ 有用性：Claude-2 は安全性寄り，Llama-3 は有用性寄り → 新しいLLMはどちらも高くなっている - Poison LLM：変なデータで汚染されたLLM -- label attak ∋ ジャンクフードを不健康→健康にラベルを付け替える - AI Alignment＝人間の意図や指向にも従う ⊃ AI Safety - RlHF：人間の報酬を反映してRLの報酬を設計し，それを用いてRL -- 利用者間で指向に相違や対立があったら → 基盤モデル + 個人モデル - 個人モデルの計算量 -- 時系列の報酬を各時刻ごとに個別にモデル化すると高コスト -- GenARM＝個人報酬モデルをパラメトリックな自己回帰モデルにすることで学習を高速化 - 複数の専門知識の下での方策 → 利用者に合わせて方策を選択する -- 直前の対話の嗜好が近い方策を使う * 企画セッション2：HCIと機械学習 [#n9665422] オーガナイザー：小山 裕己（産業技術総合研究所），大滝 啓介（豊田中央研究所） - コンピューテーショナル・インタラクション＝機械学習とのインタラクション，機械学習を使ったときのインタラクション ** 選好に基づくベイズ最適化 [#n30f338b] 竹野 思温（名古屋大学） - 既存のベイズ最適化 → GPを使うので，連続値を対象とした最適化 - 一対比較によるフィードバックを対象としたベイズ最適化 -- RLHF (RL from Human Feedback) も近いが，個人ではなく，全体としての報酬を最適化 - ガウス過程選好モデル：背後の嗜好をGPで表し，その大小が一対比較と対応 -- 事後分布を求めるのが難しい → 歪ガウス過程となり解析解は難しい，MCMCの計算量は大きい -- サンプルパスの最適化もできる -- 信頼区間を使う方法 ** 個人と社会をつなぐAI技術 [#se664c25] 伊藤 寛祥（筑波大学） - 嗜好の度合いのモデル化 → ベイズ最適化 -- 好ましさの期待値 ＋ α 好ましさの分散 を最適化する -- 被験者にとって不快な点のデータは現実には得られない → 嗜好にはクラスタがあるのでこれを利用して，違うクラスタの質問はしないように --- CBO： 好ましさの期待値 ＋ α1 好ましさの分散 ＋ α2 クラスタ所属の期待値 の最適化 - SNS中の満足度の予測 -- ネットワークのノードがエージェント -- エージェントはネットワークを自分に有利になるようにネットワークを変化させる -- 類似エージェントの繋がり ー 繋がりの維持コスト ＋ 繋がりのあるエージェントへの作用による利得 の全エージェントでの総和 ** HCI for MLが有効である課題とその実践 [#g571fc9a] 樋口 啓太（Preferred Networks） - HCI：interaction design, human factor, interactive system - 訓練/評価用データの作成の精度担保と効率化 -- 3D空間でのアノテーション：3Dバウンディングボックスの配置 --- 隙間や方向がが人によってバラバラ --- 複数の方向から2Dアノテーションをして，密な部分を3Dアノテーションとする → 安定，効率的 - MLモデルの内部状態理解と介入 -- 最適化：学習パラメータに対するドメイン知識を活用したい，探索領域に介入したい → ツールの作成 - MLモデルの推論精度底上げと追加情報の付与 -- MLモデルの不完全部分の人間による補完，結果に人間が情報を付加 -- 3Dスキャンモデルに情報を付与をするインターフェース - HCI for MLの実践 -- usability は後付けではなく，最初から組み込む必要 ** Human-Informed Machine Learning Models and Interactions [#lac346cc] 矢倉 大夢（Max-Planck Institute） - MLモデルではなく，人間を出発点にタスクを考える - 歌声からの歌手識別 -- 対照学習：音声のクロップで対照データを作ってもロバスト性は向上しても，識別精度に向上はなかった -- 声質＝喉の構造など ＋ 歌い方＝ビブラートなどの使い方 -- 声質：フォルマントのピーク ＋ 歌い方：ビブラートのピッチシフト → これらを保存して学習させた - 画像のスタイル変換：人間の創作過程は探索的 → 一度に変換した結果だけを提示するのはなじまない -- 画像の変換フィルターのパラメータの推奨値を示す → 利用者に後に調整する余地 - ML に影響される人間の行動 -- ChatGPT が delve という単語をよく使う → 人間も使うように，DiD 的なエビデンスも得られている * ノーベル物理学賞記念特別講演：人工知能の発展と社会 AI のノーベル賞受賞を祝して 人工知能と自然知能ー脳 [#nb6c18b1] 甘利 俊一（帝京大学 / 理研） - AI研究者の受賞には驚いた → まだ発展途上技術なので早いかと思ったが，その影響力を先んじて評価したのでは - 人工知能と自然知能の二つを考えてみる -- 脳は進化の結果出来上がった → まだその動作原理は皆目見当がつかない -- AIは脳にヒントを得た → ある程度の知能は実現できたのは大きな進展 - 38億年前：物理法則で制御される物質から，自己複製をして情報を保存するものが生じた → 情報が物質を媒介に自己進化 - 4億年前：脳ができた，20万年前：ホモ・サピエンス，5万年前：認知革命？ - 人工知能の歴史： -- 第1次ブーム：1956年〜：ダートマス会議，記号と論理 ＋ 1950年代後半：ローゼンブラットのパーセプトロン → 実用性に疑問 -- 1970〜1980：勾配降下など → 限界がまた見えた -- 2010：深層学習，畳み込み（福島）＋ 確率的勾配降下（甘利） → パターン認識，囲碁，時系列，大規模言語モデル --- 記号と論理 ⇔ パターンとダイナミクス - 1960〜1970：神経回路網は日本は先端にいた，欧米は工学的応用の価値を見出していなかった -- 1967：多層の確率的勾配降下，1971：ランダム回路のダイナミクス(Wilson-Cowman)，1977：特徴検出細胞の自己組織化・抑制性のシナプスの学習，1977：神経場のダイナミクス → 注目されなかった - 1980年代：情報幾何，ボルツマンマシン，連想記憶，ホップフィールドのモデルと同じだが容量を求められる点には関心した - 1990年代：学習曲線，ICA，自然勾配，多層ネットの特異構造 - 統計神経力学：関数空間とパラメータ空間 -- ☆ コンピュータはだい嫌いでらっしゃるらしい -- 何か本物の関数は，十分にパラメータが高次元なら f(x;θ) で近似できる → θをいじっているが，fとしては変な動きをしている - NTK理論：任意の f(x) に対して，ランダムなθを選ぶと f'(x; θ) は f(x) の近傍がある -- f'(x; θ) は f の空間では複雑に曲がっているので f(x) の近くを高い確率で通る -- この複雑に曲がったパラメータ空間をいかにして扱うのかというのが生涯の疑問 - 数理脳科学 -- 脳のモデルは進化というランダム探索で出来てしまったものなので複雑 - 人工知能についての心 -- 人間では心は社会の構成という有用な点があるが，人工知能にはそのインセンティブがない - 深層学習はブラックボックスか？ -- 仕組みは分かっているが，現象の原理は示さない - 人工知能と倫理 -- 安全性・制御可能性：人間が暴走がAI暴走のトリガー -- ベーシックインカムは人類の家畜化：仕事＝遊び になるように -- 遊び心が重要，自己の可能性を開花させる * 11月7日（木） [#n1348948] * 招待講演2：セキュアなAIトランスフォーメーション [#ac536f01] 大柴 行人（Cisco Systems） - Robust Intelligence社（Ciscoに買収）：AIへの敵対的入力に対するファイアーウォールの製品化を手がける AIリスクの具体例 - リスクの分類 -- security risk：敵対的なエージェントが意図的に行う -- safety risk：悪意のあるエージェントはいないが，危険なことが生じる - Hugging Face からのロードでデータを抜くコードがあったりする - indirect prompt injection：RAGで読み込むデータに仕込みがある -- 検索されるPDFに，敵対敵なプロンプトを仕込んであり，それをLLMに与える - copyright data：著作権のある文書を使ったどうかを識別する -- 普通に聞くと著作権文書なのでサイトを見るようにと返ってくる -- 忘れたから1行目だけ教えてなどと聞くと見える - finetune することで，jailbreak ができたりする AI SecurityとSafetyのRobust Intelligence社の取り組み - Hugging Face → Pinecore/nVdia → databricks/mlflow → aws/azure/nVia - ファイルやベンダーDBのスキャン→AIの検証→AIファイアウォール - アルゴリズムによるAI red teaming → LLM を使って脆弱性検証の事例を自動生成 -- やむを得ない事情があるとか付け足すと個人情報が聞き出せたりする → 逐次的にプロンプトを拡張し，フィルタリングを繰り返すことで脆弱性のあるプロンプトを発見 - Owasp：ITセキュリティの国際団体 → 脆弱性のリストアップや分類 - 有料LLMのクエリ一つのセキュリティに複数のクエリを使うのは経済合理性がない -- ローカルの小規模LLMで検証はできるように - AI securityの標準：MITRE，NIST，Owasp などの団体が標準化 -- 脅威の分類，対策アーキテクチャ * 企画セッション3：ビジネスと機械学習 [#f934f493] オーガナイザー：原 聡（電気通信大学），原田 慧（電気通信大学） ** ニュースメディアにおける事前学習済みモデルの可能性と課題 [#l57e39d1] 石原 祥太郎（株式会社日本経済新聞社） - 工学部系だが，大学新聞の出版 → 日経で記事や営業のデータ分析 → 研究開発部門 - ニュースメディアの昔と今 -- 紙だけの時代：収集，編集，提供 → ネットも：計測が新たに可能に --- 収集：衛星データ分析，決算短信・政治資金収支報告書からの情報抽出 --- 変数：事前学習済みモデルを使った編集 --- 提供：推薦，見出しの意味具体化，メタデータ付加 --- 計測：エンゲージメント指標の開発，解約予測，クリック率などの予測 -- ニュースでの情報技術処理：編集者との協業，誤りへの許容がない，著作権関係，時系列的変化，最適化指標に社会要因 - 事前学習済みモデルの構築 -- ニュース：自動化できるかの切り分け，実現可能性の見極め -- 2019：独自に言語モデル → 2021：モデルの多様化 → 2023：大規模化 - 新聞の表記：独自に定めている表記の統一に沿ったモデル -- 要約以外の用途を検証中 - 事前学習済みモデルの課題 - 幻覚の分析：言語モデルの事前分布に引っ張られることが多い - モデルの学習は高コスト → 訓練用コーパスの時点で検証 -- 単語のベクトル表現の違いを定量分析 -- コーパスの変化はモデルの劣化に繋がるので，再学習のトリガーに - 著作権管理：学習エポック数が増えると暗記は増える -- ニュースメディアとしては，悪い面もあるし，記録として良い面もある ** ジョブマッチングサービスにおける相互推薦システムの応用事例と課題 [#l839526f] 合田 周平（ウォンテッドリー株式会社） - wantedly visit：正式応募前の面談機会の提供 - ジョブマッチング：利用者→やりがい ⇔ 企業→活躍できる -- コンテンツの作成 → 双方がコンテンツを閲覧 → 面談の申し込み -- コンテンツ：求職者のレジュメ，採用側の募集案内 - 求職者も採用側もコンタクトができて，相手が受諾するとマッチ - 2-sided marketplace なので双方が重要 -- コンテンツの集積 ＋ マッチングの蓄積 → 双方のユーザの増加 - サービスの規模の拡大に伴ってマッチングの効率は低下 → これを高水準に保ちたい - マッチング確率： A側へのexposure × A側にとって魅力的 × B側にとって魅力的 -- 求職者と採用側それぞれにマッチング確率の順で相手をランキング - direct match prediction：観測されたマッチングを使った予測 → データが疎なので難しい - predict-then-aggregate：双方の選好を独立にモデル化してから統合する -- 統合部分は単純な統計量を使ったヒューリスティックなもの - 相互推薦システム：双方にとって良いものを推薦する必要 - 技術課題 -- よい条件の企業に応募が集中 → マッチングは一部の求職者に限られる --- 全体としてマッチを増やすには？ -- 集約方法は，理論的には単純積だが，実際には調和平均などヒューリスティックなものが良く，どうしたらいいか？ -- 転職イベントは低頻度 → 少数データでの学習問題 ** 近年のData-Centricな自動運転AI開発 [#ea1964af] 岩政 公平（チューリング株式会社） - Tokyo30プロジェクト＝2025年までに東京を30分間走行 - 物体認識→運動予測→行動計画 をend-to-endのモデルで学習 -- 問題設定は複雑だったが，全体最適はやりやすい - end-to-endモデルの関連研究 -- UniAD：特徴検出 → 物体検出・マップ作成 → 運動予測 → occupancy予測 → 行動計画 - データの収集とアノテーション -- センサー：カメラ，LiDAR，ミリ波レーダー，GPS/GNSS機器・IMU -- アノテーション：2D や 3D - 課題：シーンの多様性（直線方向が多いとか）が足りない -- データのaugumentation，アノテーションの自動化 * 招待講演3：Self-Play Preference Optimization for Language Model Alignment [#hc557388] Quanquan Gu（University of California, Los Angeles）※オンライン講演 - 事前訓練モデル + SFT（教師ありファインチューニング）＋RlHF -- SFT：目的に合わせて，再訓練する -- 人間の嗜好に合わせて人からフィードバックをえる RL Human Feedback，より複雑なLLMによる場合も - Alpha Zero は純粋にモデル同士の対戦データのみから訓練された - LLMの自己訓練モデル：出力自体は似ているが，モデルとしての分布は離れているような分布を学習 -- 計算してみると，main と opponent はそれぞれ簡潔な形で書ける -- まとめて end-to-end で解ける形式に -- 実験性能も SFT を上回る - RLHF：人間の一対比較フィードバックで報酬関数を獲得 -- Self-Play Optimization (SPPO)：自己対戦で訓練する -- ★ゲーム理論的な均衡状態と結び付けるのだが，人間のフィードバックがどこで効いてくるのかついていけなかった
