公称データの欠落こんにちは。 私は、住宅データセットの多数の予測変数に基づいて価格を予測する必要があるクラス プロジェクトを行っています。 すべての数値行をクリーンアップし、外れ値を取り除きました。質問には、parking_options と landry_options という 2 つの列が含まれています。 これら 2 つの列内には、行の欠損値が約 218,000 個あります。 私の質問は、不足している名目データをどうするかということです。 これはデータセット (384,000 のうち) のかなりの部分であり、これらの行を完全に削除したくありません。 データが意図的に空白のままになっている場合があることは知っていますが、これは私のケースではないと思います。 一部の大規模な住宅では、landry_options と parking_options に null 値が設定されているため、これらの null 値が駐車禁止とランドリー禁止を意味すると単純に考えるべきではないと思います。
データの探索と視覚化ウィンドウズRe: 公称データが欠落している基本的な選択肢は 2 つあると思います。 1 つ目は、JMP の「情報欠落」機能を採用/呼び出すことです。 JMP ドキュメントの機能の説明へのリンクは次のとおりです。 JMP に欠けている情報。 しかし、これは、観測値が欠落しているという事実の中に何らかの「情報」があると考えているか、少なくとも仮定するつもりであることを意味します。 たとえば、人々はプライバシー上の懸念や、観察の欠落によくあるその他の理由から、何かに応答することを好まないとします。 基本的に、JMP は「欠損」を名目予測変数の追加レベルとして扱います。 2 番目のオプションは、思い切って、予測子変数のすべての値を持つ観測値のみを使用することです。 まだ約 166,000 件の観測値を処理する必要があります。 最後に、両方の経路を試して、それぞれが到達する実際的な結論を比較します。 異なるという実際的な結論がほとんどない場合、「欠落」は最終的な決定に影響を与えませんでした。
Re: 公称データが欠落している使用するとき情報が不足しているということは、すべての行がないデータは同じ「グループ」に属します - の観点から情報: 情報が欠落しているのは常に同じ「理由」であるということですか?
つまり、そうではありません:
- 彼らの半数はランドリーも駐車場も持たず、それを言いたくない、そして彼らの半数は超富裕層で、5つの駐車場と3つのランドリーを持っているが、それを言いたくないため、欠落しています。
Re: 公称データが欠落している種の。 2 番目のシナリオでも、何らかの理由で応答したくないという共通点があります。 だからこそ、情報欠損を使用するのは、ある意味、思い上がりです。 そして、なぜ私が、各分析間で実際的な結論が異なるかどうかを確認するために、情報欠損がある場合とない場合でモデルをフィッティングすることを提案したのか。
Re: 公称データが欠落しているこのことを教える者として、P_Bartell からの適切なアドバイスに加えて、いくつかのコメントがあります。情報欠落がある場合とない場合の両方を試してください。同様に、予測しようとしている依存変数 (おそらく価格?) に関して、欠損データのある住宅と完全なデータのある住宅がどのように比較されるかをグラフで調査する必要があります。言い換えれば、洗濯オプションがない家の価格が、それらのオプションがある家の価格と同様に動作する場合 (動作とは、平方フィートなどとの関係を意味します)、おそらくそれらのオプションはそれほど重要ではなく、P_Bartell のように「弾丸を噛む」ことができます。それを置きます。ただし、妥協するということは、データが欠落している観測値を無視するのではなく、その変数を無視することを意味する可能性があります。ランドリー オプションはそれほど重要ではない可能性があり、この変数が欠落している理由はランダムである可能性があります (これは「情報欠落」で調査されるものですが、追加のグラフィック調査で補足します。
もう一つ気になったのは、「異常値を取り除く」というコメントです。人にそうするように教える人もいるし、教科書によってはそうするように指示する人もいると思います。違います。データを削除するのは悪い習慣だと思います。異常値が間違いであるように見えない限り、それらはデータの一部であり、さらなる正当化なしにそれらを削除すべきではないと思います。外れ値を除去するよりも、外れ値に関して不変の尺度を使用する方がはるかに優れています (たとえば、平均ではなく中央値。分位点回帰を使用して調査できます)。
Re: 公称データが欠落している歴史的に見て、すべての偉大な発見は異常値から始まりました。 結果は期待できませんでした。 捨ててしまうということは、新しいことを発見できないということです。 モデルはこれらの異常な結果を説明できる可能性があります。
Re: 公称データが欠落している優れたポイントの追加@dale_lehman外れ値について。
そして、のコメントに付け加えますと、 @Mark_Bailey 、外れ値が存在する場合、ツリーベースの手法 (ブースト ツリー、デシジョン ツリー、ランダム フォレストなど) など、外れ値の影響が少ないモデルを選択したり、線形モデルに正則化を追加したりできます (LASSO 回帰など)。
また、モデルに対する異常値の影響を軽減するための重み付けなど、さまざまなパラメーターや代替ソリューションを試してみることもできます。
