データスカッシング

データスカッシング (data squashing)†

\(1/n\) のデータをランダムサンプリングして学習すると，推定したパラメータの偏差はn倍になってしまう．この偏差を元と同じオーダーに抑える．

基本文献はデータスカッシング (data squashing)の端緒となった論文．次のようなサンプリング法を提案：

1. データを領域ごとにbinに分割
2. 適当な次数のモーメントを，各bin内で計算
3. 各領域内のモーメントを用い，推定に使う尤度関数が一致するように，少数のデータと重みを導く．

こうして得られた重みとサンプルを使って学習をすることで，少数のデータで高精度の推定が可能になる．

このようにサンプリング手法の工夫による方法をデータスカッシングと著者は呼んだが，大規模クラスタリング手法のBIRCHのようにデータを 粗視化 (coarse graining) するような方法もデータスカッシングと呼ばれることが多いと思う．

-- しましま

関連項目†

• data squashing
   
• データマイニング
   
• 検索:データスカッシング

リンク集†

関連文献†

• 基本文献
  William DuMouchel, Chris Volinsky, Theodore Johnson, Corinna Cortes, and Daryl Pregibon "Squashing Flat Files Flatter" 5th KDD, pp.6-15 (1999)
  GoogleScholarAll:Squashing Flat Files Flatter
• 鈴木 英之進 "データスカッシング ---逆転の発想によるスケールダウン戦略---" 情報処理, vol.46, no.1 (2005)

朱鷺の杜Wiki

• 機械学習
• 学会・研究会
• 書籍・資料
• 論文英語
• フリーウェア
  • python
  • numpy
• テストデータ
   
• 日本語版PRML本
• カーネル多変量解析
   
• 人気ページ
• 今日の人気ページ
• ページ一覧

参加しよう

• Wiki超入門
• 練習用ページ
• 数式の表示
• こびとさん
• 編集用ID: ibis
• パスワード: 「VC次元」のVのフルスペルで最初だけ大文字
   

  最新の30件

  2024-05-31

  • 人工知能学会全国大会
  • しましま/人工知能学会全国大会2024

  2024-04-13

  • python

  2024-04-09

  • K-NEL
  • K-NEL/errata

  2023-11-22

  • PRML/errata2

  2023-11-21

  • PRML/errata1

  2023-11-01

  • しましま/IBIS2023

  2023-10-29

  • IBIS

  2023-06-11

  • しましま/人工知能学会全国大会2023

  2023-03-28

  • Book

  2022-11-27

  • 朱鷺の社

  2022-11-24

  • しましま/IBIS2022

  2022-07-08

  • AutoTicketLinkName

  2022-06-17

  • しましま/人工知能学会全国大会2022

  2021-11-13

  • しましま/IBIS2021

  2021-10-29

  • 回帰分析

  2021-06-11

  • しましま/人工知能学会全国大会2021

  2021-03-07

  • MenuBar

  2021-02-15

  • python/numpy

  2020-12-22

  • 特異値分解

  2020-12-18

  • complement naive Bayes

  2020-11-27

  • しましま/IBIS2020

  2020-10-17

  • Paper/bias-on-the-web

  2020-07-16

  • F値

  2020-06-30

  • DataSet

  2020-06-24

  • バイアス-バリアンス

  2020-06-10

  • Paper

  2020-03-15

  • PRML
  • PRML/link

カウンタ

• 累計: 9612
• 今日: 1
• 昨日: 0