Manchmal ist Leere sinnvoll. Wenn ein Darlehensbewerber seine Schulden- und Gehaltsfelder leer lässt, glauben Sie nicht, dass Leerheit sinnvoll ist? Wenn ein Bewerber dieses vorherige Feld leer lässt, glauben Sie nicht, dass Leerheit sinnvoll ist? Wenn ein politischer Kandidat ein Formular ausfüllt, das für das zuletzt verurteilte Verbrechen ein leeres Feld hat, ist diese Leere hoffentlich positiv informativ. Fehlende Werte sind auch Werte - sie sind nur schwer mit unseren statistischen Methoden zu vereinbaren. Sie können nicht mit ihnen rechnen, um Mittel zu finden. Sie können sie aber trotzdem praktisch einsetzen.
Einige Datensätze sind voll mit fehlenden Werten. Die Standardmethoden müssen eine ganze Beobachtung verwerfen, wenn eines der Xs fehlt. Wenn Sie mit vielen Variablen modellieren und die eine oder andere der Variablen fehlt, kann es vorkommen, dass Sie keine Daten zum Schätzen haben. Selbst wenn Sie genug Daten haben, kann dieser Teil der Daten ein voreingenommenes Beispiel der Daten sein, wenn sich der Mechanismus zum Erstellen der fehlenden Werte auf die Antwort bezieht. Die Ergebnisse sind voreingenommen.
Ein Ansatz zur Behebung des Problems ist Zurechnung - Sie schätzen die fehlenden Werte oder stellen in einigen Fällen eine Verteilung der fehlenden Werte bereit, wodurch eine Antwortverteilung erzeugt wird. Die Imputation ist eine reiche Statistik mit einer großen Literatur. Einige Arten der Imputation sind einfach - wie das Schätzen der fehlenden Werte, indem sie aus allen X-Variablen vorhergesagt werden, die nicht fehlen. Andere Arten sind schwer und beinhalten den Mechanismus, warum die Werte fehlen.
Nehmen wir jedoch an, wir sind nur Data Miner - wir möchten einfach etwas einfaches in große Vorhersagemodelle einbeziehen, um all die Beobachtungen wiederzugewinnen, die wir sonst wegwerfen müssten.
Angenommen, fehlende Werte sind informativ. Wenn Sie die Daten studieren, um vorhersagen zu können, ob ein Darlehen schlecht ist und der Darlehensbewerber sein Einkommen oder seine aktuellen Schulden verliert, sollten wir wahrscheinlich davon ausgehen, dass der Antragsteller hier aus einem bestimmten Grund ausweicht. Das Verlassen des Feldes ist ein starker Hinweis auf das Risiko eines Darlehens an den Antragsteller.
Anstatt zu versuchen, das fehlende Feld vorherzusagen, werden wir dafür kodieren. Wenn das Feld kategorial ist, behandeln wir das Vermissen einfach als eine andere Kategorie. Wenn das Feld kontinuierlich ist, müssen wir etwas anderes tun. Für diese Variable erstellen wir zwei Spalten in der Designmatrix für jeden stetigen Regressor X:
X Continuous = if (IsMissing (x), x, xbar)X fehlt = IsMissing (x)
Die erste Spalte ist nur X, außer wenn X fehlt. In diesem Fall ersetzen wir den Mittelwert dieses X. Die zweite Spalte ist der Indikator für das Fehlen.
Für jede dieser Designspalten wird ein Parameter geschätzt. Die erste Spalte ist die Schätzung für alle nicht fehlenden Xs. Das zweite wird sein, wie viel sich das vorhergesagte Y ändern muss, wenn X fehlt, wobei die Änderung an dem gemessen wird, was ein Durchschnitt X für Y vorhersagen würde.
Diese Fehlwertkodierung wird seit langem als praktisches Verfahren eingesetzt. Im JMP wurde in JMP 10 mit der neuen Neural-Plattform eingeführt. Jetzt mit JMP 11 Wir führen es für die meisten anderen Fit Model-Plattformen ein.
In der Vergangenheit haben wir Data-Mining-Anpassungen hauptsächlich mit Neural- und Partition-Plattformen unterstützt, bei denen die Verarbeitung von Werten fehlte. Die regulären Modellierungsplattformen litten, als viele Daten in den Daten fehlten. Jetzt haben wir eine Option "Informative Missing", die angibt, dass das Coding-System für fehlende Werte immer dann verwendet wird, wenn eine kontinuierliche Kovariate fehlende Werte hat, und außerdem ein fehlender Wert für kategorisches Fehlendes verwendet wird.
Das Beispielverzeichnis verfügt über einen Datensatz namens Equity, der ein Standardbeispiel für Vorhersagemodelle mit vielen fehlenden Werten ist. In der Spalte DEBTINC fehlen beispielsweise 22% der Werte.
Ohne informatives Fehlen verwendet die Logistik nur 3.364 von 5.960 Beobachtungen. Mit Informative Missing sind jedoch alle Daten passend. Ohne informatives Fehlendes war der Rsquare 0,23, aber mit informativen Fehlenden ist Rsquare .45. Wir passen viel mehr Beobachtungen an und auch viel besser.
Beachten Sie in den Berichten, dass viele der kontinuierlichen Regressoren zwei Parameter haben: zum Beispiel MORTDUE oder Mean, wenn sie fehlen, und MORTDUE fehlt. Wenn die Parameterschätzung in Bezug auf den Indikator "fehlt" nicht signifikant ist, hätte die Verwendung der Imputation im Mittelwert funktioniert. Wenn der Wert jedoch signifikant ist, sagen die fehlenden Werte etwas anderes als der Mittelwert aus.
Sie könnten diese Technik vorher mit viel Aufwand tun, um Formelsäulen zu regressieren. Bei JMP 11 müssen Sie nur auf einen Menüpunkt mit der Bezeichnung "Informative Missing" klicken.
Jetzt sind die Fit Model-Plattformen bereit, sich den traditionellen Vorhersageplattformen anzuschließen, um Prognosemodelle zu erstellen. Informative Missing ist übrigens in der Fit Model-Plattform in enthalten JMP 11 für die meisten passenden Persönlichkeiten.
Hinweis: Dies ist Teil eines Große Statistiken Serie von Blogbeiträgen von John Sall. Lesen Sie alle seine Große Statistikbeiträge .
Lieber Martin,
Ich ging noch einmal die Bands Data.jmp-Datei durch und verwende die beiden Spaltenformeln, um fehlende gemeine Variablen in den Mittelwert der in Spalten aufgenommenen Daten umzuwandeln, und fügte die Indikatorspalte von 0/1 hinzu, um anzugeben, ob es sich um fehlende oder nicht vorhandene Variablen handelt. lief die Regressionen mit den 2 neuen Spalten und verglich sie mit der Regression der ursprünglichen Daten mit fehlenden Werten.
Im Vergleich zu JMP Pro ist dies immer noch ein langwieriger Weg, aber zumindest funktioniert es für mich.
Freundliche Grüße,
David
Hallo David,
Die von Ihnen erwähnte Beispieldatei wurde nicht angehängt. Die Formel sollte jedoch funktionieren, und Sie müssen jetzt beide neuen Spalten zu Ihrer Regression anstelle der ursprünglichen hinzufügen. Wenn sich der Mangel als informativ herausstellt, sollte sich die Indikatorspalte als signifikant erweisen. In der informativen Option für fehlende Versionen in neueren JMP-Versionen wird die Ausgabe so generiert, dass die signifikante Variable als "Col 1 oder Mittelwert, wenn sie fehlt" oder Col 1 fehlt "angezeigt wird, wie Sie in Johns Screenshot oder im Finale sehen können Bericht.
Hoffentlich hilft das,
Martin
Hallo Martin,
In JMP7 erstelle ich das stetige X mit Spaltenmittelwerten (x) mit ColMean (x) in:
IfMissing (x) => ColMean (x);
=> x
Und X fehlt = IsMissing (x)
Mühsam, aber es funktioniert, um die Auswirkungen der fehlenden Datenwerte auf Bands aufzudecken? (Y)
David
Hallo David,
Wie im mittleren Teil beschrieben, können Sie für jede der fehlenden Variablen neue Formelspalten erstellen. Sie müssen nur für eine kontinuierliche Variable zwei neue Formelspalten hinzufügen (klicken Sie mit der rechten Maustaste auf Ihre neue Spalte und wählen Sie die Formel aus):
X Continuous = if (IsMissing (x), xbar, x)
und zweite Spalte nur den Indikator:
X fehlt = IsMissing (x)
Bitte beachten Sie, dass ich an die Formel von Johns Blog glaube, dass er ein Fehler ist, da er x als Folge des Fehlens und sonst xbar hat. Ich denke, dies sollte wie in der obigen Formel geändert werden, da Sie den Spaltenmittelwert hinzufügen möchten, falls eine Variable fehlt. Übrigens Sie können den Spaltenmittelwert durch eine beliebige Imputationsformel ändern, die Sie für angemessen halten, da nicht immer der Mittelwert die beste Imputation ist (dies ist jedoch ein separates Thema für sich).
Jetzt haben Sie zwei Spalten, und Sie können diese zwei anstelle der unordentlichen Originalspalte zu Ihrer Regression als Faktoren hinzufügen.
Da dies mit JMP 11 viele Vorhersagen haben kann, wurde diese Option in Betracht gezogen.
Gibt es einen bestimmten Grund, warum Sie Ihre Lizenz nicht auf eine neuere JMP-Version (aktuelles JMP 13.1) aktualisieren können? Es wurde viel mehr hinzugefügt, um chaotische Daten zu modellieren, die Sie sich vielleicht ansehen möchten.
Grüße,
Martin
Sehr hilfreich.
Ich möchte verstehen, wie Informative Missing funktioniert, aber JMP7 / 8 ist meine lizenzierte Software.
Ich versuche, das Robert Anderson-Partitionsmodell von Bands_Data.jmp nur mit JMP7 auszuführen, um den Ansatz zu replizieren.
Dies wäre sehr hilfreich gewesen, wenn es um Regression von Versicherungsdaten und Fertigungsvariablen geht, wobei viele fehlende Datenwerte die schrittweise Regression behindern.
David Ashling
0783 400 6111
