時々空虚さは意味があります。融資申請者が自分の借金と給与の欄を空欄のままにしている場合、空欄は意味があると思いませんか。求職者がこの前の求人フィールドを空白のままにした場合、空虚さは意味があると思いませんか？政治的候補者が最後の有罪判決を受けた重罪のための空のフィールドを持つフォームに記入した場合、その空虚さはうまくいけば積極的に有益です。欠けている値も値です - それらは私たちの統計的方法で対応するのが難しいです。平均を見つけるためにそれらに算術演算をすることはできません。しかし、あなたはまだ実用的な方法でそれらを使用することができます。
いくつかのデータセットは欠損値でいっぱいです。Xのいずれかが欠けている場合、標準的な方法では観測値全体を削除する必要があります。多数の変数を使用してモデル化したときに、いずれかの変数が欠落していると、推定するデータがなくなる可能性があります。さらに、十分なデータが得られたとしても、欠損値を作成するメカニズムが応答に関連している場合は常に、データのその部分がデータの偏ったサンプルになる可能性があります。結果は偏っています。
問題を解決するための1つのアプローチは代弁 - 欠損値を推定するか、場合によっては欠損値の分布を指定して回答の分布を作成します。インピュテーションは、大規模な文献を含む統計の豊富な分野です。ある種の代入は簡単です - 欠損値ではないすべてのX変数からそれらを予測することによって欠損値を推定するようなものです。他の種類は難しく、なぜ値が欠けているのかというメカニズムに入ります。
しかし、私たちは単なるデータマイナーであると仮定します。そうでなければ捨てなければならないであろうすべての観測を回復するために、大きな予測モデルに簡単に投げ入れる何かが欲しいのです。
また、欠損値が有益であるとします。ローンが不良で、ローン申請者が収入または現在の借金を見逃しているかどうかを予測するためにデータを検討している場合、申請者はここで何らかの理由で回避されていると想定するほうがよいでしょう。行方不明のままにしておくという行為は、申請者へのローンのリスクについての強力な手がかりです。
欠けているフィールドを予測しようとする代わりに、それをコーディングします。フィールドがカテゴリカルの場合は、足りないものを別のカテゴリとして扱います。分野が継続的であるならば、我々は他の何かをしなければなりません。その変数について、各連続回帰子Xに対して設計行列に2つの列を作成します。
X連続= if（IsMissing（x）、x、xbar）Xがない= IsMissing（x）
最初の列は、Xが欠落している場合を除いて単なるXです。その場合は、そのXの平均を代入します。2番目の列は、欠落の指標です。
これらの各設計列には、それに対して推定されたパラメータがあります。最初の列は、欠けていないすべてのXの推定値です。2つ目は、Xが欠落している場合に予測Yがどれだけ変化しなければならないかということです。この変化は、平均XがYに対して予測したものから測定されます。
この欠損値符号化は長い間実用的な方法として使用されてきた。に JMP JMP 10の新しいNeuralプラットフォームで導入されました。今と JMP 11 他のほとんどのFit Modelプラットフォームにも紹介しています。
これまでは、データマイニングが主にNeuralおよびPartitionプラットフォームに適していることをサポートしていました。通常のモデリングプラットフォームでは、データに欠損値が多数あると苦しみました。これで、連続共変量に欠損値がある場合は必ず欠損値コーディングシステムを使用し、カテゴリ欠損の場合は欠損値レベルを使用することを指定するオプション「有益な欠損」があります。
サンプルディレクトリには、Equityというデータセットがあります。これは、多数の欠損値を含む標準的な予測モデリングの例です。たとえば、列DEBTINCの22％の値が欠落しています。
有益な欠落がなければ、ロジスティックフィットは5,960の観測値のうち3,364しか使用しません。ただし、情報が欠落していると、すべてのデータが適合します。情報不足がなければ、Rsquareは.23でしたが、情報不足がなければ、Rsquareは.45です。私たちはもっとたくさんの観測を当てはめ、そしてもっと良く当てはめています。
レポートでは、連続リグレッサの多くに2つのパラメータがあることに注意してください。たとえば、MORTDUEまたはMissingの場合はMean、MORTDUEはMissingです。インディケータ「Is Missing」という用語のパラメータ推定値が有意ではない場合は、平均値による代入を使用するとうまくいきます。しかし、その値が有意であれば、欠損値は平均値とは異なる何かを言っています。
式の列を後退させるために多大な努力を払うことで、このテクニックを以前に実行できました。JMP 11では、「情報がない」というメニュー項目をクリックするだけです。
Fit Modelプラットフォームは、従来の予測プラットフォームと結合して予測モデルを作成する準備が整いました。ちなみに、Informative MissingはFit Modelプラットフォームにあります。 JMP 11 ほとんどのフィッティングパーソナリティのために。
注意： これはの一部です大きな統計 John Sallによる一連のブログ投稿。彼のすべてを読むビッグ統計の投稿 。
Martinさん、
Bands Data.jmpファイルをもう一度調べて、欠落している連続変数を列記録データの平均にするために2つの列式を使用し、0/1のIndicator列を追加してIs Missing / Non Igresss Missing dataを指定し、2つの新しい列を使用して回帰を実行し、欠損値を含む元のデータの回帰と比較しました。
JMP Proと比較すると、それはやはり長年にわたるやり方ですが、少なくとも私にとってはうまくいきます。
宜しくお願いします、
ダビデ
こんにちはダビデ、
あなたが言及したサンプルファイルは添付されていません。しかし、式はうまくいくはずで、今度は元の列ではなく両方の新しい列を回帰に追加する必要があります。欠けていることが有益であることが判明した場合、指標欄は重要であることが判明するはずです。最新のJMPバージョンの有益な欠落オプションでは、Johnのスクリーンショットや最終的に見られるように、有意な変数が「Col 1または欠落している場合は平均1」またはCol 1が欠落していると表示されます。報告書。
それが役立つことを願っています、
マーティン
こんにちはマーティン、
JMP7では、ColMean（x）を使用して列平均（x）値で連続Xを作成します。
IfMissing（x）=> ColMean（x）;
=> x
そしてXがない= IsMissing（x）
面倒ですが、不足しているデータ値がバンドに与える影響を明らかにするのに役立ちますか？（Y）
ダビデ
こんにちはダビデ、
Johnが中間部分で説明したように、変数ごとに新しい式列を作成できます。欠落が発生します。連続変数に2つの新しい式列を追加しただけです（新しい列を右クリックして式を選択します）。
X連続= if（IsMissing（x）、xbar、x）
そして2列目は単なる指標：
Xがない= IsMissing（x）
私はジョンのブログの公式は行方不明の結果としてxを持ち、それ以外はxbarなのでバグだと思っていることに注意してください。不足している変数がある場合は、列の平均を追加したいので、これは上記の式のように変更する必要があると思います。ところで。常に平均が最良の代入であるとは限らないので、適切な代入公式によって列の平均を変更することができます（ただし、これはそれ自体が別のトピックです）。
これで2つの列があり、乱雑な元の列の代わりにこれら2つを因子として回帰に追加できます。
JMP 11の時点で多くの予測子がある場合、これはかなりの努力になる可能性があるので、このオプションは含まれています。
ライセンスを新しいJMPバージョン（現在のJMP 13.1）に更新できないという特別な理由はありますか？あなたが見たいと思うかもしれない厄介なデータをモデル化するのを助けるはるかに多くが加えられました。
よろしく、
マーティン
非常に役立ちます。
Informative Missingがどのように機能するかを理解したいのですが、私はJMP7 / 8を私のライセンスソフトウェアとして持っていることに制約を受けています。
このアプローチを再現するためにJMP7のみを使用して、Bands_Data.jmpのRobert Anderson Partitionモデルを実行しようとしています。
これは、段階的回帰を妨げる多くの欠損データ値を含む回帰保険データおよび製造変数を扱うときに非常に役立ちます。
デビッドアッシュリング
0783 400 6111
