Für jeden, der Datenanalysen durchführt, ist es üblich, einen großen Teil der Zeit für die Datenbereinigung zu verwenden. Echte Daten sind schmutzige Daten. Selbst wenn Sie automatisierte Erfassungswerkzeuge verwenden, finden Fehler, Anomalien und Inkonsistenzen immer noch Einzug in Ihre Daten.
In den nächsten Blogbeiträgen möchte ich Ihnen einige einfache Techniken zur Verbesserung der Datenintegrität zeigen. Ich werde darüber sprechen, wonach ich suchen soll und wie ich es verwenden kann JMP . In vielen Fällen verfügt JMP über alle Funktionen, die Sie zur Durchführung der Aufgabe benötigen. In einigen Fällen habe ich Skripte zusammengestellt, um die Reinigung zu erleichtern. Ich werde diese Skripte in der zur Verfügung stellen JMP-Benutzergemeinschaft .
Berücksichtigen Sie drei allgemeine Stellen, an denen Probleme auftreten können, um die Datenbereinigung in Zusammenhang zu bringen. Der erste Punkt, an dem Sie möglicherweise auf Probleme stoßen, ist das Erstellen Ihres Datensatzes. Fehlende Trennzeichen, nicht übereinstimmende Spaltennamen und nicht synchronisierte Zeitstempel machen den Zugriff auf Daten sowie das Verketten und Verbinden von Daten schwierig. Sobald sich die Daten in einer JMP-Datei befinden, werden Sie mit einer Reihe anderer Probleme konfrontiert: Falsche Daten- oder Modellierungstypen, Spalten ohne Werte, Fehlercodes und falsch geschriebene Werte sind üblich. Schließlich können Sie im Analyseprozess feststellen, dass Sie Ausreißer entfernen, Spalten transformieren oder Variablenebenen zusammenfassen müssen.
Beginnen wir in der Mitte, dem zweiten Bereich, der oben erwähnt wurde. Sie haben Ihren Datensatz erstellt, müssen jedoch vor der Analyse bereinigt werden. Ich vermute, dass Sie hier die meisten Ihrer Probleme haben werden. Zu Beginn konzentrieren wir uns darauf, nicht benötigte Spalten zu entfernen und die Daten- und Modellierungstypen zu korrigieren. Vieles davon kann nur mit dem Columns Viewer erreicht werden.
Zur Veranschaulichung verwende ich Daten, die ich von der Website der US-amerikanischen Umweltschutzbehörde (US-Umweltschutzbehörde) heruntergeladen habe Kraftstoffverbrauch . Sieben separate Excel-Arbeitsblätter (eines für jedes Jahr im Datensatz) wurden heruntergeladen und verkettet. Sie können finden die Daten in der JMP User Community.
Als erstes können wir Variablen mit wenig oder gar keiner Information entfernen. Spalten, bei denen alle Werte gleich sind (oder fehlen), sind ideale Kandidaten. Verwenden des Columns Viewer (unter dem Menü Cols):
Filtern Sie nur nach den kategorialen Werten, indem Sie das Kontrollkästchen deaktivieren Kontinuierlich . (Dies ist der gleiche Spalteneditor, den Sie in allen Dialogfeldern der Plattform finden.)Wählen Sie alle Spalten aus und klicken Sie auf Zusammenfassung anzeigen .Klicken Sie mit der rechten Maustaste in die Tabelle unter Zusammengefasste Statistiken und wähle Nach Spalte sortieren… Wählen N Kategorien und überprüfen Sie die Aufsteigend Alle Spalten, die Sie in der Übersichtstabelle auswählen, werden gleichzeitig in der übergeordneten Datentabelle ausgewählt. Dies erleichtert viele Spaltenoperationen, da Sie vor dem Ausführen der Operationen die Möglichkeit haben, Spalten mit bestimmten Eigenschaften vorzuwählen.
Abbildung 1. Der Columns Viewer-Filter kann verwendet werden, um Datentabellenspalten mit bestimmten Eigenschaften schnell zu identifizieren.
Figur 2. Spalten, die im Columns Viewer-Übersichtsfenster ausgewählt wurden, werden auch in der Datentabelle ausgewählt.
Beachten Sie, dass die oberen drei Spalten alle fehlenden Werte enthalten und entfernt werden können. Sobald Sie sie ausgewählt haben, Cols> Spalten löschen entfernt sie aus der Datentabelle. Beachten Sie, dass die gelöschten Spalten nicht aus der Übersichtstabelle entfernt werden. Daher ist es möglicherweise sinnvoll, sie erneut auszuführen Zusammenfassung anzeigen (Denken Sie daran, alle Spalten erneut auszuwählen). Sie können den Bericht aufräumen, indem Sie die alte Übersichtstabelle entfernen (sehen Sie unter dem Hotspot neben dem Symbol) Zusammengefasste Statistiken Titel).
Die nächsten 10 Spalten haben nur einen Wert. Die Entscheidung, sie beizubehalten, hängt von dem Anteil der fehlenden Werte ab und davon, ob sie der Meinung sind, dass ihre Identifizierung zusätzliche Informationen liefert. Zwei der Säulen Unterdrückt? und Polizei / Emerg haben keine fehlenden Werte (dh alle Zeilen sind identisch), so dass sie sicher entfernt werden können. Sieben der verbleibenden acht Spalten fehlen größtenteils (> 99,997%) und sind möglicherweise gute Kandidaten für die Eliminierung. Die verbleibende Spalte Guzzler? hat etwa 5% nicht verfehlt und könnte es wert sein, gehalten zu werden. (Ich gehe davon aus, dass keine der Spalten Teil einer Variablen ist, die auf mehrere Spalten aufgeteilt wurde. Ich werde in einem späteren Beitrag über das Finden und Beheben dieser Situation sprechen.)
In den oben genannten Beispielen für die einzelnen Kategorien fehlte der Großteil der Daten. Wenn jedoch die meisten Daten nicht vorhanden waren, kann ein ähnliches Argument verwendet werden, um zu rechtfertigen, wann eine Spalte entfernt werden soll. Wenn eine Spalte aus einem einzelnen Wert besteht, aber der Anteil der fehlenden Werte groß genug ist, können Sie dies in Betracht ziehen. Wo diese fehlenden Werte sind, könnte Ihnen etwas sagen.
Wir können auch Spalten mit mehreren Kategorien mit einem hohen Grad an Fehlheit entfernen. Klicken Sie dazu mit der rechten Maustaste und sortieren Sie die Übersichtstabelle nach N fehlt . Überprüfen Sie nicht das Aufsteigend Dieses Mal, da Sie nur Spalten berücksichtigen möchten, deren Werte weitgehend fehlen. Da diese Spalten mehr als eine Kategorie haben, möchten Sie sie möglicherweise auch genauer untersuchen. Dazu wählen Sie sie in der Übersichtstabelle aus und klicken Sie auf Verteilung Taste. Nach wie vor müssen Sie entscheiden, welcher Anteil der nicht fehlenden Werte die Beibehaltung der Spalte rechtfertigt.
Wenn Sie mit den kategorialen Daten fertig sind, können Sie dieselben Operationen mit den fortlaufenden Daten ausführen. Wählen Sie im Filter-Popup-Dialogfeld erneut die Option aus Kontinuierlich und abwählen Ordinal und Nominal (erinnere dich daran, dass ich die Alt vor dem Klicken auf den Hotspot können Sie mehrere Optionen auswählen). Nach Anzeige der Zusammenfassung aufsteigend sortieren nach Std Dev (es ist ganz rechts). Die Spalten wo Std Dev gleich Null ist nur ein einzelner Wert. Es sollte nur einen geben ( Kamm CO2 gerundet eingestellt ). Sortiere nach N fehlt um die Spalten zu finden, deren Werte meist fehlen.
Wenn Sie nicht mehr benötigte Spalten entfernt haben, können Sie die Daten- und Modellierungstypen überprüfen. Wenn JMP anfänglich Daten aus anderen Quellen einliest, erhalten Spalten, die nur Zahlen enthalten, das Numerisch Datentyp und Kontinuierlich Modellierungsart. Ansonsten wird ihnen das zugewiesen Charakter Datentyp und Nominal Modellierungsart. Gelegentlich setzt JMP eine Spalte auf Numerisch auch wenn es einige Zeichenwerte hat. In diesem Fall erhalten Sie eine Warnmeldung wie in Abbildung 3.
Figur 3. Warnmeldung, wenn Zeichenwerte als fehlend angezeigt werden.
Während die Standardeinstellungen in JMP in den meisten Fällen gut funktionieren, gibt es einige Situationen, die Sie kennen sollten. Erstens, wenn eine numerische Spalte fremden Text enthält - „NA“, Fehlercodes, Symbole, um ungewöhnliche Beobachtungen zu kennzeichnen usw. - Die Spalte kann als gelesen werden Charakter / Nominal . Zweitens können numerische Werte entsprechen codiert Werte und nicht gemessen Werte. In diesen Situationen sollten Sie den Modellierungstyp als behandeln Nominal . Schließlich sollten in bestimmten Situationen gemessene kategoriale Werte als Ordinalwerte behandelt werden. Glücklicherweise gibt es relativ wenige Fälle, in denen es Unterschiede zwischen der Modellierung mit gibt Nominal Daten und Modellieren mit Ordinal Daten.
So können wir weiter mit dem Columns Viewer arbeiten. Unsere nächste Aufgabe besteht darin, kategoriale numerische Spalten zu finden. (Unsere anderen Aufgaben müssen auf den nächsten Beitrag warten.)
So finden Sie diese Spalten:
Erstellen Sie eine Zusammenfassung aller fortlaufenden Spalten im Columns Viewer.Unter dem Zusammengefasste Statistiken Hotspot wählen Sie Datentabellenansicht.Wählen Sie alle aus Numerisch Spalten und ändern Sie ihren Modellierungstyp in Ordinal . Ich benutze gerne Ordinal, weil die meisten Daten anfänglich sind Kontinuierlich oder Nominal . Wenn man es ordinär macht, weiß ich, dass es ist Numerisch , aber ich denke darüber nach, es kategorisch zu machen. Stellen Sie sicher, dass alle Spalten in der Spalten-Ansichtsauswahl ausgewählt sind und auf klicken Zusammenfassung anzeigen . Wenn du eine leere hast Spalten-Ansichtsauswahl Aktivieren Sie in diesem Fall zuerst Ordinal im Columns Viewer-Filter.Klicken Sie mit der rechten Maustaste in die Zusammenfassung und wählen Sie In Datentabelle erstellen. Da Sie bereits über eine Datenansicht verfügen, müssen Sie keine weitere erstellen.Aktualisieren Sie die Tabelle aus Schritt 2 mit der Tabelle aus Schritt 4. Übereinstimmung mit der genannten Spalte Säulen .Wählen Sie die in Schritt 2 erstellte Tabelle aus. Gehe zu Tabellen> Aktualisieren Wählen Sie die in Schritt 4 erstellte Tabelle aus dem Listenfeld aus und markieren Sie die Option Spalten abgleichen Angenommen, Sie haben keine Spaltennamen geändert, wählen Sie die Spalten aus Säulen aus jeder Tabelle und klicken Sie auf Spiel . Ihre Ergebnisse sind ähnlich wie in Abbildung 4.Klicken OK .Sortiere nach N Kategorien .
Figur 4. Update mit übereinstimmenden Spalten verwenden.
Wie bei der Übersichtstabelle im Berichtsfenster ist die Ergebnistabelle mit der Datentabelle verknüpft, aus der sie erstellt wurde. Da Sie eine Datenansicht verwenden, müssen Sie möglicherweise die Auswahl der Spalten aufheben, die zuvor in der übergeordneten Datentabelle ausgewählt wurden. Um kategoriale Variablen zu finden, suchen Sie nach den Spalten, die eine kleine Anzahl von Kategorien und / oder einen Min-Wert in der Nähe von 0 haben.
Dieser Ansatz zum Auffinden kategorialer numerischer Daten ist zwar alles andere als perfekt, ist jedoch ein schneller und einfacher Start. Sie können eine einfache Überprüfung durchführen, indem Sie in der Zusammenfassungsdatentabelle Zeilen auswählen, zur übergeordneten Tabelle zurückkehren und sie dann ausführen Verteilung auf den ausgewählten Spalten. Wenn Sie dies mit Spalten tun N Kategorien gleich 6 oder weniger werden Sie feststellen, dass einige der Spalten Werte mit Dezimalzahlen enthalten. Obwohl es schön gewesen wäre, diese Spalten von Anfang an ausgeschlossen zu haben, bietet Columns Viewer dies derzeit nicht an, daher machen wir dies mit etwas Skripting.
Wir werden das nächste Mal darüber reden.
