欠損値 の変更点

• 追加された行はこの色です。
• 削除された行はこの色です。
• 欠損値 へ行く。

* 欠損値 (欠測値; missing value), 欠損データ (missing data) [#yaa92fe1]

//ここには %項目の説明を書いてください．よろしければ署名しておいてください．

アルゴリズムへの入力で，ある対象の全ての特徴や，一部の特徴の値がない場合．

欠損していると，特徴の値は分からないが，欠損していること自体が情報となる場合もある．例えば，年齢が欠損していれば，ある程度以上の年齢と予測できる．

*** 欠損値の扱い [#xb32d207]

- 欠損値のある特徴を，全ての対象について無視したり，欠損値のある対象のデータを除外したりする
- 「欠損値」という値にする
- 手作業で適切な値を選んで補完する
- 処理するアルゴリズムで，あまり影響の出ないような定数で置換する
- 同じ特徴の欠損していない値の平均や中央値などの統計量で置換する
- 別の情報や，他の観測された情報基づきを用いて，最尤推定などの統計的推定を行う
- 欠損した特徴を潜在変数とみなし，EMアルゴリズムなどを適用
- 時系列などの場合は，前後の値から補間する
- 上記の方法とは意図が異なるが，観測値の数でバイアスが生じることがあるので，欠損した割合に基づいて重み付けする必要のある場合も

*** 欠損が生じる原因 [#wd210c58]
- 失敗，紛失：人為的ミスや観測機器の問題で値がえられなかった
- 意図的なもの：アンケート調査で年齢を書かない．患者に負担がかかる検査は，特に疾患の疑いのある人にしか行わない．
- 対象がない：顧客数が0人のときは，顧客の平均年齢という特徴はない

> -- しましま

** 関連項目 [#d4c949d1]

//英語や同義語のあとに，#brで区切って関連する項目をリストしてください．
-[[欠測値]]
-[[missing value]]
-[[欠損データ]]
-[[missing data]]
#br
-[[はずれ値]]
-[[被覆率]]
#br
-[[検索:欠損 欠測 missing]]

** リンク集 [#wd66b28b]

//関連するWWW資源があればリンクしてください．
-[[Wikipedia:Missing_values]]

** 関連文献 [#ia25d4d4]

//この%項目%に関連する書籍や論文を紹介してください．

-[[Book/統計学辞典]] 第II部3.3節
-[[Book/統計学の基礎I(統計科学のフロンティア1)]] 1.2節
-[[Book/Data Mining - Concepts and Techniques]] 2.3.1節
-[[Book/Data Mining - Practical Machine Learning Tools and Techniques]] 4.2節 Missing values and numeric attributes
-[[Book/Pattern Classification]] 2.10.1節
-[[Book/The Elements of Statistical Learning]] 9.6節