ich benutzte JMP ein neueres erkunden FAA Drohne Datensatz inspiriert durch eine wöchentliche Herausforderung zur Datenvisualisierung 52Vis . Der Datensatz enthält "Berichte über unbemannte Flugzeuge ( UAS ) Sichtungen von Piloten, Bürgern und Strafverfolgungsbehörden. "Ich entschied mich, die Zeitdaten zu untersuchen. Ich beschreibe, wie ich die Zeitdaten aufbereitete, einige Qualitätsprobleme feststellte und sie entsprechend kategorisierte. Glücklicherweise erleichtert JMP die visuelle Datenbereinigung.
Daten vorbereiten
Die Daten werden in zwei separaten Excel-Dateien bereitgestellt. Die Excel-Import-Benutzeroberfläche von JMP konnte problemlos mit den Standardeinstellungen importiert werden. Die Spaltennamen sind jedoch etwas unordentlich und stimmen nicht einmal überein.
Ich habe die Spaltennamen aufgeräumt und sie verwendet Verketten unter dem Tabellen Menü, um eine Datentabelle an die andere anzuhängen. Verketten behandelte sogar die Säulen in unterschiedlicher Reihenfolge.
Qualitätsprobleme finden
Ich begann mit den Daten zu spielen und bemerkte einige Qualitätsprobleme im Zeitbereich. Ich habe eine neue Kolumne erstellt, die die Tageszeit aus dem Terminzeit Spalte und machte ein Histogramm dafür. ich nannte es Uhrzeit-Tabelle weil ich später eine andere Tageszeit berechnen werde.
Das auffälligste Merkmal ist die Spitze um Mitternacht. Es stellt sich heraus, dass viele Male genau um 12:00 Uhr berichtet wird, offensichtlich als fehlender Wertcode. Ein zweites Merkmal ist der kleinere, aber signifikante Einbruch am Mittag. Wahrscheinlich wurde der AM / PM-Teil für die Mittagszeit falsch codiert, und einige der Mittagsstunden werden in der Mitternachtsstunde angezeigt (zusätzlich zu den fehlenden Wertzeiten).
Während die Verteilung ansonsten gut aussieht, scheint sie sich eher in die Abendstunden zu verlagern als erwartet. Wenn es nur einen Weg gäbe, die Zeitwerte zu überprüfen ...
GMT extrahieren
Tatsächlich gibt es eine Möglichkeit, die Zeitwerte auf Qualität zu überprüfen! Das Bericht Die Spalte enthält Freitext, der den Vorfall beschreibt, und enthält oft eine Berichtszeit in 24-Stunden-GMT (beachten Sie das Z-Suffix).
Lassen Sie uns also die GMT-Zeit extrahieren und mit der Zeit in der Tabelle vergleichen. Ich werde eine neue Formelspalte erstellen, die auf einem regulären Ausdruck basiert, um die Ziffern zwischen "Zeit:" und "Z" im Berichtstext zu extrahieren.
Und noch einen, um ihn in einen JMP-Zeitwert (Anzahl Sekunden) umzuwandeln.
Die neue Zeitspalte wird aufgerufen Uhrzeit extrahiert Z , und wir können es mit der Tabellenzeit in einem Streudiagramm vergleichen, um einige interessante Muster aufzudecken.
Ich habe zwei diagonale Bezugslinien hinzugefügt. Die orangefarbene entspricht EST, und die diagonalen Cluster in der Nähe sind andere US-Zeitzonen. In der grauen Diagonale ist die Zeit in der Tabelle dieselbe wie in GMT. Viele davon! Seltsamerweise treten nur wenige vor 13.00 Uhr (1300Z) Stunden auf, was für GMT-Sichtungszeiten in den USA vernünftig erscheint, nicht jedoch für Ortszeiten.
Zeit kategorisieren
An diesem Punkt können wir uns vorstellen, dass die Zeiten in drei Kategorien fallen:
Fehlt - Im Freitext gab es keine GMT-Zeit Identisch - Die GMT-Zeit war die gleiche wie die "lokale" Zeit Versatz - Die GMT-Zeit war ein Versatz von der Ortszeit und für die USA normalerweise angemessenIch habe ein paar Spalten hinzugefügt, um diese Klassifizierung zu berechnen, und dann ein Histogramm für jede Kategorie gezeichnet.
Jetzt können wir sehen, wie die identische Kategorie die Ortszeiten bis in den Abend hinein verzerrte. Die Offset-Kategorie weist während der Tagesstunden einen erwarteten Peak auf und passt gut zu den Zeiten, zu denen die GMT-Zeiten fehlten. Die beiden letzteren leiden aufgrund von Codierungsproblemen unter der Spitze um 12:00 Uhr und um 12:00 Uhr. Es ist nicht klar, warum die Kategorie "Identisch" eine weitgehend einheitliche Verteilung aufweist. Es könnte eine Kombination aus zwei versetzten Normalverteilungen sein, eine für die Ostküste und eine für die Westküste.
Fazit
Durch die Berücksichtigung der extrahierten GMT-Zeit können wir verdächtige Zeitwerte für weitere zeitbasierte Analysen herausfiltern. Das heißt, wir haben mehr Vertrauen in die Ortszeiten, die von GMT abgesetzt sind. Und da diejenigen, die eine GMT-Zeit verpassen, eine ähnliche Verteilung haben, können wir diejenigen mit ähnlichem Vertrauen einsetzen.
Die 52Vis-Herausforderung ist auf Scripting-Lösungen ausgerichtet. Glücklicherweise bietet JMP beide Schnittstellen an: Interaktiv und Scripting. Obwohl bei meinen ersten Erkundungen die interaktive Schnittstelle verwendet wurde, erstellte ich ein Skript in JMP Scripting Language (JSL) für die Herausforderung, die alle meine Schritte reproduziert. Wenn Sie interessiert sind, können Sie die JSL in sehen frühere Version dieses Beitrags auf GitHub.
Noch ein paar Dinge ...
Selbst mit wenigen Datenspalten gibt es noch mehr zu erforschen. Du kannst den ... benutzen Geocoder-Add-In Um die Stadt / das Bundesland in Längen- und Breitengrade für das Mapping umzuwandeln.
Und haben Sie die Höhenangaben im angezeigten Berichtstext bemerkt? Eine gute Anzahl der Berichte enthält Höhendaten und manchmal Informationen über das Aussehen oder die Größe des unbemannten Flugzeugs.
