DataSet

テスト用データ集合 †

アルゴリズムの比較検証に利用できるテスト用データについてまとめましょう．

ID は ibis でパスワードは VC 次元の V のフルスペルです(頭だけ大文字)

関連情報 †

• Knowledge Forge：データ集合のレポジトリ
• Amazon Web Services Hosted Public Data Sets
• Datasets for Data Mining @ kdnuggets
  • kdnuggetts のデータ集合のリンク集記事
• MLcomp：各データごとの性能比較
• mldata.org
• Where can I get large datasets open to the public? @ Quora

総合 †

• UCI Machine Learning Repository
• ACM KDDCup
• UCI KDD Repository
• StatLib --- Datasets Archive
• Quandl：市場・社会データの検索

機械学習，データマイニング †

• TunedIT：分析コンペのサイト．arff で検索すると arff 形式のデータが得られる
• UCR Time Series Classification/Clustering
• Internet Traffic Archive：Webのログファイル
• GroupLens：協調フィルタリング
• Frequent Itemset Mining Dataset Repository：頻出パターン抽出問題のためのテストデータ
• Matrix Market：行列形式のデータのポータル
• Market-Basket Synthetic Data Generator

統計 †

• The Royal Statistical Society Datasets Website
• UCLA Statistics Data Sets
• CHANCE Data Sets
• Regression DataSets
• Time Series Data Library
• 総務省統計局 匿名データの提供サービス

自然言語処理 †

• The LDC (Linguistic Data Consortium) Corpus Catalog
• NTCIR：日本語
• TREC (Text Retrieval Conference)
• Use of corpora in translation studies @ Lees大：多言語コーパス
• Web日本語Nグラム第1版
• 日本語WordNet
• CLUTO data set：文書クラスタリングソフトのテスト用．downloadより
• David D. Lewis：Reuters-21758など
• Reuters Corpus：自然言語処理，最も有名なコーパス
• 20 Newsgroups
• Ohsumed：自然言語処理
• WebKB：自然言語処理
• LETOR: Benchmark Data Sets for Learning to Rank：自然言語処理，3段階適合度評価
• code and data @ Andrew MaCullum：SRAAデータ集合，Coraの論文関係のデータなど
• personalBib：Citeseer 引用データ
• Multi-Label Classification：マルチラベル文書分類

画像認識 †

• Database Overview @ ベルリン工科大
• Datasets for Computer Vision Research @ イリノイ大
• Computer Vision Test Images：テスト画像データへのリンク集
• Real World Image Database：キャリブレーション情報付の画像データ
• Caltech 101：一般画像認識のスタンダード
• The Berkeley Segmentation Dataset and Benchmark：領域分割を目的とした人物画像
• Large-Scale Concept Ontlogy for Multimedia (LSCOM)
• 一般画像認識・画像検索のコンペ
  • CLEF Cross Language Image Retrieval Track (ImageCREF)
  • The PASCAL Visual Object Classes
  • TREC Video Retrieval Evaluation
• 顔画像認識
  • Face Recognition Database @ MIT
  • Labeled Faces in the Wild：正面以外も含む
  • database @ Face Recognition Homepage

ネットワーク †

• Stanford Large Network Dataset Collection：ソーシャルネットなどのデータ
• Arizona State Univ. Network Data
• Koblenz Network Collection

その他 †

• EMU Speech Database System：音声データにアクセスするソフト
• VoxForge：ヨーロッパ系言語の読み上げ音声データ
• Million Song Dataset @ Columbia University，楽曲の波形情報とメタデータ
• EDGE Datasets Livedoor Clip のデータ (研究機関向け)
• Data for Evaluating Learning in Valid Experiments：回帰分析
• Enron Email Dataset
• ICDM2007 Data Mining Contest：電波強度データからの位置推定
• MNIST DATABASE of handwritten digits：手書き文字の分類
• Predictive Toxicology Challenge：化合物の毒性の予測
• SUSHI Preference Data Set：寿司の嗜好についての調査データ．順序変量や協調フィルタリング．
• 単語感情極性対応表
• similarity learning 文字に回転や拡大縮小変換をしたもののの類似性を学習
• 視覚像再構成fMRIデータ：fMRIのイメージと視覚刺激のデータ．fMRIの出力から見ているものを予測．
• 楽天データ公開：商品データ・利用者評価データ
• CAIDA Data @ The Cooperative Association for Internet Data Analysis
• EconData：経済時系列
• GeoDa：地理空間データ
• DataSetRDFDumps:Linked Open Data へのリンク集

書籍で使われていたデータ †

• Categorical Data Analysis
• The Elements of Statistical Learning
• Pattern Recognition and Machine Learning