しましま/IBISML055
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
* 第55回IBISML研究会 [#pec710a2]
このページはしましまが [[第55回電子情報通信学会 情報論的...
- 日時：2024年12月20日(金) 〜 2024年12月21日(土)
- 場所：北海道大学
- プログラム： https://ken.ieice.org/ken/program/index.p...
- ホームページ： https://ibisml.org/ibisml055/
#contents
* 3月20日(金) [#ab7d9a80]
* 強化学習・バンディット [#v8656c09]
** 相互情報量に対する変分下限最大化に基づく多目的ベイズ最...
○石倉雅紀・烏山昌幸（名工大）
- パレートフロントを可能な限り発見することが目標
- 真のパレートフロントと，ガウス過程で記述したモデルとの...
-- 実際にはモデルは有限個の点で表すので，パレートフロント...
** 組合せ最適腕識別手法を用いたノイズ環境下での相関クラス...
○黒木祐子・宮内敦史（CENTAI）・ボンキ フランチェスコ（CEN...
- 相関クラスタリング＝2点間の類似度に基づく関数
-- 既存の効率的な最適化手法は，類似度が 0 か 1 のバイナリ...
- 既存手法でバンディットで候補点を選ぶが，threshold bandi...
** 事前知識を用いたQ学習 [#i3feb84b]
○今川孝久・榎田修一（九工大）
- Q学習で行動をバンディットで決める場合の改良
- UCBで上界をよりタイトにする
** 鉄道荷役における重量を考慮した貨車入替え計画 ～ 強化学...
○平嶋洋一（大阪工大）
- 鉄道荷役＝動力車を使って支線から貨車を運んで本線に運ぶ...
-- 本線の貨車は送付先ごとにまとまっていなければならず，近...
- 支線上で各貨車が存在する位置の集まり → 状態，目標配置
* ベイズ統計 [#d0438679]
** 深層学習モデルを用いた高速なデータ同化手法 [#ndd63afa]
○小野悠太（東大）・垂水勇太・福田圭祐・前田新一（PFN）
- 非線形な状態関数のデータ同化 → モデル自体と事後分布にNN...
** ガウス過程回帰モデルによるテスト分布を考慮した能動学習...
○大藏芳斗（名大）・竹野思温（名大/理研）・稲津 佑（名工...
- 分布ロバスト学習＝訓練とテストの分布が異なる共変量シフ...
** 科学者によるスペクトル分解過程のベイズモデリング [#c20...
○大久保駿人・天本義史・熊添博之・有竹俊光・本武陽一（一橋...
- スペクトル分解＝データを基底関数の和で表現
-- 物性値に関連するピークを，事前分布を使って重視するよう...
-- 事前分布の設定とARDの利用
* 応用 [#x3a212c5]
** ClassifierDiffusion: 識別器による確率密度推定と画像生...
○鳥羽真仁・内田誠一（九大）・早志英朗（阪大）
- 負例サンプルが，正例と同じ分布からサンプリングされるよ...
-- 負例サンプルを合わせるときに，密度が低い部分では移動さ...
** Generative Inference for object poses by Regressive-fe...
○Ryo Isobe・Rei Kawakami（Science Tokyo）・Satoshi Ikehat...
- analysis-by-synthesis：物体の姿勢推定を，生成した画像と...
** 位相的データ解析によるアモルファスガラスの象徴スペクト...
○森田秀利・本武陽一・天本義史・大久保駿人・土佐尚輝（一橋...
- 非結晶のガラスやアモルファスでも，近年の研究では中長期...
- 分子ダイナミクス（MD法）＝温度を下げていったときの変化...
- 位相的データ解析：各分子から半径を拡大していって，リン...
** Conformal Predictionとベイズ最適化 [#r7bb0141]
○南條 舜（総研大）・吉田 亮（統計数理研）
- conformal prediction＝予測集合に真値が含まれる確率を計...
-- CPを使った予測分布の不確実性に基づいて，ベイズ最適化を...
* 生成AIとその活用(1) [#y8ea79f8]
** [招待講演1] AI・自然言語処理、激動の五年間 －大規模言...
笠井 淳吾 (株式会社Kotoba Technologies Japan)
- Kotoba Technologies＝最初はLLMを作っていたが，LLMの音声...
- ここ5年間のNLP
-- word2vec (SkipGram, CBOW) ← 分布意味論に基づく
-- ELMo＝複数のタスクを一つのモデルで解く
-- BERT/GPT-2＝ELMoの大規模化，HuggingFaceの登場で普及
-- GPT-3＝incontext learning や prompt の考えの登場
-- GPT-4＝社会実装の時代に
- 大規模言語モデル時代の到来
-- 穴埋め問題を解くLLMは大規模化で性能が向上した
- 富岳LLM
-- 富岳で日本語LLMを作った
- 音声基盤モデル
-- text-to-speech，声質変換，アナウンサー調などのスタイル...
** [招待講演2] PLaMo-100B-Instruct - 国産大規模言語モデル...
中郷 孝祐 (株式会社Preferred Elements)
- PLaMo-100B-Instruct＝国産フルスクラッチLLM https://plam...
-- PFN開発，1000億パラメータ，日本語データ中心
-- 日本語が海外モデルでは少ない → 日本の法令，情報，書籍...
-- Plamoだど東京周辺のフレンチレストランなどの問いに答え...
-- 基盤モデル Plamo-Base → 指示について事後学習 Plamo-Ins...
- 事後学習
-- SFT (supervised fine tuning) ＝ 質問と回答のペアを準備...
--- 数学やコーディングは多くの情報がないと改善が見られない
-- DPO (direct preference optimization) ＝ 複数の回答から...
--- OpenAI の RLHF では PPO が使われていた → 強化学習で報...
--- DPO → 選ばれたものの生成確率を上げ，選ばれなかったも...
--- LLMが生成したデータに対する教示 (on-policy) にすると...
-- Iterative DPO：回答の生成 → 報酬モデルでラベル付け → ...
--- PPOと違って，これらのステップを独立に実装できる
-- model merge：様々な超パラメータで学習したモデルのパラ...
- 指示学習のデータ生成：人間のアノテータ → LLMによる生成
-- LLMで生成させる，英語のデータを翻訳
- 日本語の質問に対して特に性能向上が見られた
-- Rakuda ベンチマーク＝日本の地理など日本の情報が入って...
-- MT-Bench ＝ humanities, roleplay, writing は良いが，co...
- PlaMo Prime ＝ 製品版，long context，RAG，翻訳性能向上
- 今後：高品質データ合成，計算コストを1/10に，パラメータ...
** [招待講演3] Finetuning or RAG? 医療ドメイン特化 LLM 構...
岩澤 諄一郎 (株式会社Preferred Networks)
- https://tech.preferred.jp/ja/blog/llama3-preferred-meds...
- 医療・ヘルスケアでのLLMの活用：知識の抽出 (Open Evidenc...
- 医療分野でのfinetuningの必要性
-- GPT-4 でも合格点ギリギリ，薬剤の日本語名や医療専門用語...
-- 医療データはセンシティブなデータがある → 基盤モデルに...
- fine tuning
-- instruction tuning（指示学習）＝指示とその返答のペアで...
--- 元からある知識の強化はできるが，新しい知識の追加は難...
-- preference tuning（選好チューニング）＝人間の選好を学...
-- continued pretraining（継続事前学習）＝基盤モデルに同...
--- 新規の知識の導入には有利
- 学習方法
-- LoRA (Low-Rank Adaption) → GPU に載せる更新分のデータ...
-- QLoRA → LoRA をさらに量子化して計算量を削減
- IgakuQA：2018-2022 の5年間分の医師国家試験を集めたベン...
-- 問題中の画像は省略し，文字情報のみ
-- 日本語の問題の情報を加えて試験得点 50点 ほど向上
-- 破滅的忘却 (catastrophic forgetting) も生じてない
-- 全ての医療分野を網羅すべきか？ → 長期的にはYesだが，デ...
- RAG (retrieval augmented generation)＝外部データを検索...
-- 類似問題を検索して，検索結果をプロンプトの前に挿入
- 継続事前学習 と RAG のどちらが良い？ → 推論の不要な知識...
-- 単純な知識問題では差がないが，論理的思考が必要な場合は...
-- 両方使う → 継続事前学習だけだと26点 + RAGでさらに20点
- 今後の課題
-- 画像を含めたマルチモーダル対応
-- 禁忌選択肢を回避する，論理的推論の必要性
-- SFTを使って推論能力を上げる（MSのOrcaなど）→ 強化学習...
* 理論 [#xe00b92a]
** 非単調量子自然勾配法の情報幾何 [#s328e1a6]
○宮原英之（北大）
- 勾配法など＝更新幅の調整，逆方向に行く場合も
- 自然勾配法＝更新の勾配を，現在のモデルと更新後のモデル...
-- 目的関数の1次近似 ＋ 制約の2次近似 ＋ ラグランジュ未定...
- 量子系：確率分布ではなく量子の状態を表す行列のあいだの ...
** 共有潜在空間上でのベイズ最適化による機械学習アルゴリズ...
○石川和樹・尾崎令拓・神崎陽平（名工大）・竹内一郎（名大/...
- Combined Algorithm Selection and Hyperparameter optimiz...
- アルゴリズムごとに超パラメータの空間は異なるので，共通...
-- 潜在空間上の表現にはガウス過程 → 各アルゴリズムのパラ...
** ルールリストの族に対する線形整数計画法に基づくモデル更...
○佐々木耀一・岡嶋 穣（NEC）・有村博紀（北大）
- データドリフトで再訓練するときの後方信頼互換性＝再訓練...
-- 明示的に互換性を考えた制約項を加えた目的関数を導入
- 決定リストでは，順序マッチング＝1対他や順序に非単調なマ...
- 決定リストは目的関数を整数計画法で最適化
* 12月21日(土) [#x96d49b1]
* [企画セッション] 生成AIとその活用(2) [#v19a5ef7]
** [招待講演4] 大規模言語モデルTanukiの対話・タスク遂行能...
畠山 歓 (東京科学大学)
- 化学分野
-- 物性と構造の関係を調べるマテリアルインフォマティクスで...
-- LLMは化学分野のテスト問題などは解けるように
-- 実験を含めた科学研究全体の自動化をめざしている
- 化学の問題： 自由度 ≫10^20，基礎理論では挙動の全体は予...
- Tanuki-8x8B： 対話的な教育，230Bトークン，人間よりLLMの...
-- 2024年前半はLLMの出力での学習には懐疑的だったが，後半...
-- データ生成には，国内の有力LLMや，海外の数学などに強いL...
-- Wikipedia などを元に，対話的なコーパスにLLMを使って書...
-- 対話には優れていたが，知識問題には弱い
- 今後の課題
-- 記憶定着の難しい：1000件ほどの異なる表現でのテキストが...
-- 数学・コーディングは難しい：数10Bぐらいのコーパスでは...
** [招待講演5] クイズが解ければ電話が取れる？ 〜コールセ...
金本 勝吉 (リンカーズ株式会社)
- 早押しクイズのデモ
-- https://youtu.be/zd0KNXlT0y4
-- https://youtu.be/FdlCaY65Ixw
- AI王＝日本語質問応答のコンペ
-- 第4回は早押しになり，問題文は1文字ずつ与えられ，3回誤...
- 質問応答の歴史
-- 1960〜1970：LUNAR，BASEBALL → 特定ドメインの質問に答える
-- 2009〜2011：IBM Watson がクイズ番組 Japady! で人間に勝利
-- SQuAD＝スタンフォードがデータ集合を公開
-- 2017：DrQA
- Retriver-Reader方式＝回答を含むコンテキストを探すRetrie...
-- 2018：BERT
-- 2020/4：Dense Passge Retrieval
-- 2020/5：オリジナルのRAG＝retriever と generator を end...
- クイズAI：retriever-reader方式
-- BPR，E5，BM25 などの複数の検索モデルを採用
-- Fusin-in-Decoder＝transferomer系のモデルで回答生成と早...
-- 押してから考えるモデルの開発には失敗，回答の確信度がし...
- コールセンター業務への適用
-- クイズAIの応用：検索のノウハウ，不完全な質問への回答，...
-- コールセンターの業務が多種多様 → 検索を業務ごとに作る...
** [招待講演6] 金融分野における大規模言語モデルの応用と特...
平野 正徳 (株式会社Preferred Networks)
- 金融：60兆，銀行・証券・M&A・保険・カードなど幅広い
-- より新しい戦略で相手に対抗する必要性
- 金融特化のLLM：BloombergGPT（評判はよくない…）などがあ...
- 継続事前学習して評価 → ベンチマークの作成
-- japanese-lm-fin-harness＝金融知識の習得度
--- 景気に対するセンチメントの判断（難しい），証券分析の...
-- pfmt-bench-fin-ja＝金融に関する質問応答
--- 12種のタスク，数学はGPTでも解けないレベルにしてしまっ...
-- Anthropic Claude に few-shot で問題を生成させた
-- 中央銀行のスピーチ，金融政策決定会合の文書などで事前継...
- モデルマージ＝指示学習と金融チューニングとを線形結合
-- モデルによっては性能がするかは，日本語対応の影響が大き...
- 金融LLMの嗜好
-- 企業名に対するバイアスがない方が性能はよい
-- バリュー投資など，投資方針の嗜好がある
- 課題
-- 情報抽出器としては社会実装に繋がっている
-- レポート生成など情報出力器としてはまだまだ
* 信頼性・解釈性・公平性及び実応用 [#p1f59da4]
** 自動特徴量エンジニアリングに対する選択的推論 [#g05b0182]
○松川竜也・白石智洸（名大）・西納修一（名大/理研）・勝岡...
- 四則演算と初等関数で特徴量を無作為に生成 → AIC を使って...
- 最終的に，選択的推論を用いた検定で採否を決める
** SHAP値を用いた特徴量選択における予測精度とモデルの解釈...
○橋浦亮太・大森淳寛・中野直人（明大）
- 翌日の熱中症の搬送数予測モデル
- SHAPで選択した特徴を使って lightGBM と MLP を適用
** 低リソース環境でのニューラルネットワークを用いたメロデ...
○松永真樹・ゴーチェ ロヴィック（有明高専）
- VAEを使って，長さ・大きさ・音程のあるMIDIデータを生成
-- クラッシック500曲の先頭8音を適用
-- ルールベースのフィルタリング：大きな音程差の回避，単調...
** 深層学習 [#o672d9f5]
** SGDの確率的ノイズを利用した段階的最適化手法による経験...
○佐藤尚樹・飯塚秀明（明大）
- σ-nice ＝ 平滑化パラメータ σ に基づいて最適化する関数を...
- b＝バッチサイズ，真の勾配との差が C^2 で抑えられるとき...
** L1正則化ニューラルネットワークの特徴量混合による敵対的...
○稲岡陽向・武石啓成・竹内純一（九大）
- PGD攻撃＝画像のクラス分類の勾配を上る方向に移動した画像...
- これをモデルを混合した状況で検証
** ニュートン図形の方法によるTransformerの大域学習係数の...
林 祐輔（ALIGN）・坂本龍亮（北大）・○坂本航太郎（東大）
- 特異学習理論＝最適化する関数の最適解の集合（特異モデル...
-- ベイズ統計では Fisher情報行列を使って解析
-- SGDでも，最適解の周囲を移動する軌跡として分析できる
- transformerなどの複雑なモデルでは分析が難しい
-- ニュートンデータ＝解析関数を，各パラメータ何階微分すれ...
-- これを使って定義されるニュートン距離で，学習係数が表せる
- transformer を常微分方程式とみなす ＋ ニュートン多面錐 ...
** 言語モデルにおけるBKT転移 [#uf326356]
○都地悠馬（北大）・高橋 淳（東大）・Vwani Roychowdhury（...
- 相転移＝物理量の関数の不連続点
- BKT転移＝Binderパラメータの不連続点の変化がたかだか有界？
- 言語モデルの相転移はまだ未解決 → ある種の確率的文脈自由...
* 学習・予測手法 [#tfccc6a3]
** 最適化1ステップの学習による非負値行列因子分解のUnrolli...
○有竹俊光（一橋大）
- unrolling＝反復解法を有限回展開するとともに，定数パラメ...
- 交互最適化のNMFにunrollingを適用
-- 既存研究の Learned PAGD → Neural Adaptive Gradient NMF...
** モデル性能を保証した分布ロバストな訓練事例選択 [#g246e...
○田中智成（名大）・花田博幸（理研）・杨 瀚霆・青山竜也（...
- 運用環境が異なる状況で適用できるモデルを作るために，共...
- テスト集合での正解率の下界を求め，これを最適にするよう...
** 非定常時系列に対する分位点回帰を用いた指数重み付け平均...
○大森淳寛・橋浦亮太・中野直人（明大）
- 誤差の分位点ごとに予測を行うモデルを組み合わせる
** 非更新オートエンコーダを用いた高精度なコンセプトドリフ...
○髙野大晴・古賀久志（電通大）
- 既存手法 ABCD (Adaptive Bernsten Change Detector)＝概念...
-- 自己符号化器で表した分布が変化して，入力を復元できなく...
- ドリフトを検出したら分布を再学習するが，この再学習を省...
-- ドリフト検出用に，別の軽量モデルを作って併用する
終了行:
* 第55回IBISML研究会 [#pec710a2]
このページはしましまが [[第55回電子情報通信学会 情報論的...
- 日時：2024年12月20日(金) 〜 2024年12月21日(土)
- 場所：北海道大学
- プログラム： https://ken.ieice.org/ken/program/index.p...
- ホームページ： https://ibisml.org/ibisml055/
#contents
* 3月20日(金) [#ab7d9a80]
* 強化学習・バンディット [#v8656c09]
** 相互情報量に対する変分下限最大化に基づく多目的ベイズ最...
○石倉雅紀・烏山昌幸（名工大）
- パレートフロントを可能な限り発見することが目標
- 真のパレートフロントと，ガウス過程で記述したモデルとの...
-- 実際にはモデルは有限個の点で表すので，パレートフロント...
** 組合せ最適腕識別手法を用いたノイズ環境下での相関クラス...
○黒木祐子・宮内敦史（CENTAI）・ボンキ フランチェスコ（CEN...
- 相関クラスタリング＝2点間の類似度に基づく関数
-- 既存の効率的な最適化手法は，類似度が 0 か 1 のバイナリ...
- 既存手法でバンディットで候補点を選ぶが，threshold bandi...
** 事前知識を用いたQ学習 [#i3feb84b]
○今川孝久・榎田修一（九工大）
- Q学習で行動をバンディットで決める場合の改良
- UCBで上界をよりタイトにする
** 鉄道荷役における重量を考慮した貨車入替え計画 ～ 強化学...
○平嶋洋一（大阪工大）
- 鉄道荷役＝動力車を使って支線から貨車を運んで本線に運ぶ...
-- 本線の貨車は送付先ごとにまとまっていなければならず，近...
- 支線上で各貨車が存在する位置の集まり → 状態，目標配置
* ベイズ統計 [#d0438679]
** 深層学習モデルを用いた高速なデータ同化手法 [#ndd63afa]
○小野悠太（東大）・垂水勇太・福田圭祐・前田新一（PFN）
- 非線形な状態関数のデータ同化 → モデル自体と事後分布にNN...
** ガウス過程回帰モデルによるテスト分布を考慮した能動学習...
○大藏芳斗（名大）・竹野思温（名大/理研）・稲津 佑（名工...
- 分布ロバスト学習＝訓練とテストの分布が異なる共変量シフ...
** 科学者によるスペクトル分解過程のベイズモデリング [#c20...
○大久保駿人・天本義史・熊添博之・有竹俊光・本武陽一（一橋...
- スペクトル分解＝データを基底関数の和で表現
-- 物性値に関連するピークを，事前分布を使って重視するよう...
-- 事前分布の設定とARDの利用
* 応用 [#x3a212c5]
** ClassifierDiffusion: 識別器による確率密度推定と画像生...
○鳥羽真仁・内田誠一（九大）・早志英朗（阪大）
- 負例サンプルが，正例と同じ分布からサンプリングされるよ...
-- 負例サンプルを合わせるときに，密度が低い部分では移動さ...
** Generative Inference for object poses by Regressive-fe...
○Ryo Isobe・Rei Kawakami（Science Tokyo）・Satoshi Ikehat...
- analysis-by-synthesis：物体の姿勢推定を，生成した画像と...
** 位相的データ解析によるアモルファスガラスの象徴スペクト...
○森田秀利・本武陽一・天本義史・大久保駿人・土佐尚輝（一橋...
- 非結晶のガラスやアモルファスでも，近年の研究では中長期...
- 分子ダイナミクス（MD法）＝温度を下げていったときの変化...
- 位相的データ解析：各分子から半径を拡大していって，リン...
** Conformal Predictionとベイズ最適化 [#r7bb0141]
○南條 舜（総研大）・吉田 亮（統計数理研）
- conformal prediction＝予測集合に真値が含まれる確率を計...
-- CPを使った予測分布の不確実性に基づいて，ベイズ最適化を...
* 生成AIとその活用(1) [#y8ea79f8]
** [招待講演1] AI・自然言語処理、激動の五年間 －大規模言...
笠井 淳吾 (株式会社Kotoba Technologies Japan)
- Kotoba Technologies＝最初はLLMを作っていたが，LLMの音声...
- ここ5年間のNLP
-- word2vec (SkipGram, CBOW) ← 分布意味論に基づく
-- ELMo＝複数のタスクを一つのモデルで解く
-- BERT/GPT-2＝ELMoの大規模化，HuggingFaceの登場で普及
-- GPT-3＝incontext learning や prompt の考えの登場
-- GPT-4＝社会実装の時代に
- 大規模言語モデル時代の到来
-- 穴埋め問題を解くLLMは大規模化で性能が向上した
- 富岳LLM
-- 富岳で日本語LLMを作った
- 音声基盤モデル
-- text-to-speech，声質変換，アナウンサー調などのスタイル...
** [招待講演2] PLaMo-100B-Instruct - 国産大規模言語モデル...
中郷 孝祐 (株式会社Preferred Elements)
- PLaMo-100B-Instruct＝国産フルスクラッチLLM https://plam...
-- PFN開発，1000億パラメータ，日本語データ中心
-- 日本語が海外モデルでは少ない → 日本の法令，情報，書籍...
-- Plamoだど東京周辺のフレンチレストランなどの問いに答え...
-- 基盤モデル Plamo-Base → 指示について事後学習 Plamo-Ins...
- 事後学習
-- SFT (supervised fine tuning) ＝ 質問と回答のペアを準備...
--- 数学やコーディングは多くの情報がないと改善が見られない
-- DPO (direct preference optimization) ＝ 複数の回答から...
--- OpenAI の RLHF では PPO が使われていた → 強化学習で報...
--- DPO → 選ばれたものの生成確率を上げ，選ばれなかったも...
--- LLMが生成したデータに対する教示 (on-policy) にすると...
-- Iterative DPO：回答の生成 → 報酬モデルでラベル付け → ...
--- PPOと違って，これらのステップを独立に実装できる
-- model merge：様々な超パラメータで学習したモデルのパラ...
- 指示学習のデータ生成：人間のアノテータ → LLMによる生成
-- LLMで生成させる，英語のデータを翻訳
- 日本語の質問に対して特に性能向上が見られた
-- Rakuda ベンチマーク＝日本の地理など日本の情報が入って...
-- MT-Bench ＝ humanities, roleplay, writing は良いが，co...
- PlaMo Prime ＝ 製品版，long context，RAG，翻訳性能向上
- 今後：高品質データ合成，計算コストを1/10に，パラメータ...
** [招待講演3] Finetuning or RAG? 医療ドメイン特化 LLM 構...
岩澤 諄一郎 (株式会社Preferred Networks)
- https://tech.preferred.jp/ja/blog/llama3-preferred-meds...
- 医療・ヘルスケアでのLLMの活用：知識の抽出 (Open Evidenc...
- 医療分野でのfinetuningの必要性
-- GPT-4 でも合格点ギリギリ，薬剤の日本語名や医療専門用語...
-- 医療データはセンシティブなデータがある → 基盤モデルに...
- fine tuning
-- instruction tuning（指示学習）＝指示とその返答のペアで...
--- 元からある知識の強化はできるが，新しい知識の追加は難...
-- preference tuning（選好チューニング）＝人間の選好を学...
-- continued pretraining（継続事前学習）＝基盤モデルに同...
--- 新規の知識の導入には有利
- 学習方法
-- LoRA (Low-Rank Adaption) → GPU に載せる更新分のデータ...
-- QLoRA → LoRA をさらに量子化して計算量を削減
- IgakuQA：2018-2022 の5年間分の医師国家試験を集めたベン...
-- 問題中の画像は省略し，文字情報のみ
-- 日本語の問題の情報を加えて試験得点 50点 ほど向上
-- 破滅的忘却 (catastrophic forgetting) も生じてない
-- 全ての医療分野を網羅すべきか？ → 長期的にはYesだが，デ...
- RAG (retrieval augmented generation)＝外部データを検索...
-- 類似問題を検索して，検索結果をプロンプトの前に挿入
- 継続事前学習 と RAG のどちらが良い？ → 推論の不要な知識...
-- 単純な知識問題では差がないが，論理的思考が必要な場合は...
-- 両方使う → 継続事前学習だけだと26点 + RAGでさらに20点
- 今後の課題
-- 画像を含めたマルチモーダル対応
-- 禁忌選択肢を回避する，論理的推論の必要性
-- SFTを使って推論能力を上げる（MSのOrcaなど）→ 強化学習...
* 理論 [#xe00b92a]
** 非単調量子自然勾配法の情報幾何 [#s328e1a6]
○宮原英之（北大）
- 勾配法など＝更新幅の調整，逆方向に行く場合も
- 自然勾配法＝更新の勾配を，現在のモデルと更新後のモデル...
-- 目的関数の1次近似 ＋ 制約の2次近似 ＋ ラグランジュ未定...
- 量子系：確率分布ではなく量子の状態を表す行列のあいだの ...
** 共有潜在空間上でのベイズ最適化による機械学習アルゴリズ...
○石川和樹・尾崎令拓・神崎陽平（名工大）・竹内一郎（名大/...
- Combined Algorithm Selection and Hyperparameter optimiz...
- アルゴリズムごとに超パラメータの空間は異なるので，共通...
-- 潜在空間上の表現にはガウス過程 → 各アルゴリズムのパラ...
** ルールリストの族に対する線形整数計画法に基づくモデル更...
○佐々木耀一・岡嶋 穣（NEC）・有村博紀（北大）
- データドリフトで再訓練するときの後方信頼互換性＝再訓練...
-- 明示的に互換性を考えた制約項を加えた目的関数を導入
- 決定リストでは，順序マッチング＝1対他や順序に非単調なマ...
- 決定リストは目的関数を整数計画法で最適化
* 12月21日(土) [#x96d49b1]
* [企画セッション] 生成AIとその活用(2) [#v19a5ef7]
** [招待講演4] 大規模言語モデルTanukiの対話・タスク遂行能...
畠山 歓 (東京科学大学)
- 化学分野
-- 物性と構造の関係を調べるマテリアルインフォマティクスで...
-- LLMは化学分野のテスト問題などは解けるように
-- 実験を含めた科学研究全体の自動化をめざしている
- 化学の問題： 自由度 ≫10^20，基礎理論では挙動の全体は予...
- Tanuki-8x8B： 対話的な教育，230Bトークン，人間よりLLMの...
-- 2024年前半はLLMの出力での学習には懐疑的だったが，後半...
-- データ生成には，国内の有力LLMや，海外の数学などに強いL...
-- Wikipedia などを元に，対話的なコーパスにLLMを使って書...
-- 対話には優れていたが，知識問題には弱い
- 今後の課題
-- 記憶定着の難しい：1000件ほどの異なる表現でのテキストが...
-- 数学・コーディングは難しい：数10Bぐらいのコーパスでは...
** [招待講演5] クイズが解ければ電話が取れる？ 〜コールセ...
金本 勝吉 (リンカーズ株式会社)
- 早押しクイズのデモ
-- https://youtu.be/zd0KNXlT0y4
-- https://youtu.be/FdlCaY65Ixw
- AI王＝日本語質問応答のコンペ
-- 第4回は早押しになり，問題文は1文字ずつ与えられ，3回誤...
- 質問応答の歴史
-- 1960〜1970：LUNAR，BASEBALL → 特定ドメインの質問に答える
-- 2009〜2011：IBM Watson がクイズ番組 Japady! で人間に勝利
-- SQuAD＝スタンフォードがデータ集合を公開
-- 2017：DrQA
- Retriver-Reader方式＝回答を含むコンテキストを探すRetrie...
-- 2018：BERT
-- 2020/4：Dense Passge Retrieval
-- 2020/5：オリジナルのRAG＝retriever と generator を end...
- クイズAI：retriever-reader方式
-- BPR，E5，BM25 などの複数の検索モデルを採用
-- Fusin-in-Decoder＝transferomer系のモデルで回答生成と早...
-- 押してから考えるモデルの開発には失敗，回答の確信度がし...
- コールセンター業務への適用
-- クイズAIの応用：検索のノウハウ，不完全な質問への回答，...
-- コールセンターの業務が多種多様 → 検索を業務ごとに作る...
** [招待講演6] 金融分野における大規模言語モデルの応用と特...
平野 正徳 (株式会社Preferred Networks)
- 金融：60兆，銀行・証券・M&A・保険・カードなど幅広い
-- より新しい戦略で相手に対抗する必要性
- 金融特化のLLM：BloombergGPT（評判はよくない…）などがあ...
- 継続事前学習して評価 → ベンチマークの作成
-- japanese-lm-fin-harness＝金融知識の習得度
--- 景気に対するセンチメントの判断（難しい），証券分析の...
-- pfmt-bench-fin-ja＝金融に関する質問応答
--- 12種のタスク，数学はGPTでも解けないレベルにしてしまっ...
-- Anthropic Claude に few-shot で問題を生成させた
-- 中央銀行のスピーチ，金融政策決定会合の文書などで事前継...
- モデルマージ＝指示学習と金融チューニングとを線形結合
-- モデルによっては性能がするかは，日本語対応の影響が大き...
- 金融LLMの嗜好
-- 企業名に対するバイアスがない方が性能はよい
-- バリュー投資など，投資方針の嗜好がある
- 課題
-- 情報抽出器としては社会実装に繋がっている
-- レポート生成など情報出力器としてはまだまだ
* 信頼性・解釈性・公平性及び実応用 [#p1f59da4]
** 自動特徴量エンジニアリングに対する選択的推論 [#g05b0182]
○松川竜也・白石智洸（名大）・西納修一（名大/理研）・勝岡...
- 四則演算と初等関数で特徴量を無作為に生成 → AIC を使って...
- 最終的に，選択的推論を用いた検定で採否を決める
** SHAP値を用いた特徴量選択における予測精度とモデルの解釈...
○橋浦亮太・大森淳寛・中野直人（明大）
- 翌日の熱中症の搬送数予測モデル
- SHAPで選択した特徴を使って lightGBM と MLP を適用
** 低リソース環境でのニューラルネットワークを用いたメロデ...
○松永真樹・ゴーチェ ロヴィック（有明高専）
- VAEを使って，長さ・大きさ・音程のあるMIDIデータを生成
-- クラッシック500曲の先頭8音を適用
-- ルールベースのフィルタリング：大きな音程差の回避，単調...
** 深層学習 [#o672d9f5]
** SGDの確率的ノイズを利用した段階的最適化手法による経験...
○佐藤尚樹・飯塚秀明（明大）
- σ-nice ＝ 平滑化パラメータ σ に基づいて最適化する関数を...
- b＝バッチサイズ，真の勾配との差が C^2 で抑えられるとき...
** L1正則化ニューラルネットワークの特徴量混合による敵対的...
○稲岡陽向・武石啓成・竹内純一（九大）
- PGD攻撃＝画像のクラス分類の勾配を上る方向に移動した画像...
- これをモデルを混合した状況で検証
** ニュートン図形の方法によるTransformerの大域学習係数の...
林 祐輔（ALIGN）・坂本龍亮（北大）・○坂本航太郎（東大）
- 特異学習理論＝最適化する関数の最適解の集合（特異モデル...
-- ベイズ統計では Fisher情報行列を使って解析
-- SGDでも，最適解の周囲を移動する軌跡として分析できる
- transformerなどの複雑なモデルでは分析が難しい
-- ニュートンデータ＝解析関数を，各パラメータ何階微分すれ...
-- これを使って定義されるニュートン距離で，学習係数が表せる
- transformer を常微分方程式とみなす ＋ ニュートン多面錐 ...
** 言語モデルにおけるBKT転移 [#uf326356]
○都地悠馬（北大）・高橋 淳（東大）・Vwani Roychowdhury（...
- 相転移＝物理量の関数の不連続点
- BKT転移＝Binderパラメータの不連続点の変化がたかだか有界？
- 言語モデルの相転移はまだ未解決 → ある種の確率的文脈自由...
* 学習・予測手法 [#tfccc6a3]
** 最適化1ステップの学習による非負値行列因子分解のUnrolli...
○有竹俊光（一橋大）
- unrolling＝反復解法を有限回展開するとともに，定数パラメ...
- 交互最適化のNMFにunrollingを適用
-- 既存研究の Learned PAGD → Neural Adaptive Gradient NMF...
** モデル性能を保証した分布ロバストな訓練事例選択 [#g246e...
○田中智成（名大）・花田博幸（理研）・杨 瀚霆・青山竜也（...
- 運用環境が異なる状況で適用できるモデルを作るために，共...
- テスト集合での正解率の下界を求め，これを最適にするよう...
** 非定常時系列に対する分位点回帰を用いた指数重み付け平均...
○大森淳寛・橋浦亮太・中野直人（明大）
- 誤差の分位点ごとに予測を行うモデルを組み合わせる
** 非更新オートエンコーダを用いた高精度なコンセプトドリフ...
○髙野大晴・古賀久志（電通大）
- 既存手法 ABCD (Adaptive Bernsten Change Detector)＝概念...
-- 自己符号化器で表した分布が変化して，入力を復元できなく...
- ドリフトを検出したら分布を再学習するが，この再学習を省...
-- ドリフト検出用に，別の軽量モデルを作って併用する
ページ名:
![[PukiWiki]](image/ibisforest.png "[PukiWiki]")
