Gerhard Svolba ist ein Kollege bei SAS Der ist nicht nur ein erfahrener Analytiker und ein fürsorglicher Vater, sondern auch ein Autor von SAS Press und ein begeisterter Segler. Er hat wertvolle Nachforschungen angestellt Erkennen von Datenqualitätsproblemen und ihre Konsequenzen für die Datenanalyse .
Der Beginn der Regatta (Foto mit freundlicher Genehmigung von Gerhard Svolba)
Als Statistiker bin ich mir der Bedeutung und Belastung einer soliden Datenqualitätsbewertung sehr wohl bewusst. Und weil ich Windsurfen und Tauchen bin, haben Gerhard und ich immer viel zu besprechen, wenn wir uns treffen. Vor kurzem erzählte er mir, dass er seine letzte Segelregatta aufgenommen und angeboten habe, mir die Logdatei zur Verfügung zu stellen. Ich akzeptierte und einige Tage später erhielt ich eine JMP Datentabelle (sehr freundlich!) mit den Daten von seinem GPX-Logger, zusammen mit einigen Empfehlungen, wonach in den Daten gesucht werden soll.
Die Datentabelle mit den Protokolldaten
Für mich gibt es keine Datendatei, die so langweilig ist wie ein GPX-Protokoll. Es ist nur ein Zeitstempel, Koordinaten, Geschwindigkeit und Kompassrichtung.
Was können Sie von einer solchen Datei erwarten? Schlimmer noch, meine Standard-Anfangsanalyse - die Daten in den Graph Builder zu bringen - zeigte nur einige ungerade Linien.
Österreich und Neusiedlersee
Das Zoomen aus dem Bild ergab, dass die Regatta in einem See stattfand - im äußersten Osten Österreichs. Und ja, Gerhard ist Österreicher, und Sie sollten nicht nur hören, was er zu sagen hat, sondern auch seinen wunderbaren Akzent hören.
Zurück zur Regatta. Beim Segeln ist es interessant zu sehen, wie das Rennen verlief, da es nur einige Bojen gibt, aber keine vorgeschriebene Strecke zwischen den Bojen. Mit Hilfe des Local Data Filters konnte ich den Zeitstempel verwenden, um die Bewegungen des Segelschiffs zu verfolgen.
Die Punkte im Graph Builder, der Local Data Filter und die Graph-Optionen
In der Grafik mit allen Wegpunkten habe ich zuerst „Sperrskalen“ vom Hot Spot aus festgelegt, da ich nicht in den ausgewählten Bereich zoomen wollte, sondern der Route über den gesamten Kurs folgen möchte.
Teile des Kurses werden an verschiedenen Positionen des Schiebereglers angezeigt
Mit dem Schieberegler wählte ich eine winzige Zeitscheibe aus und bewegte sie über die Skala. Ich konnte sehen, wie sie ihr Boot im westlichen Teil der Gegend behielten, dann ein langes Bein in Richtung Südosten und dann ein paar machten Heften Manöver vor einer scharfen Kurve nach Norden (wahrscheinlich um eine Boje). Sie gingen direkt nach Norden und Nordwesten und starteten dann eine zweite Runde mit einer anderen Wende-Strategie.
Zeitbereich ohne Aufnahmen
Zu meiner großen Überraschung verschwanden alle Punkte nach der zweiten Runde, und ich fand eine angemessene Zeit ohne jegliche Aktivität. Nichts macht mehr Spaß, als Kollegen ihre Fehler zu zeigen! Also rief ich Gerhard an und erzählte ihm von meinen Erkenntnissen.
"Nun", sagte er; „Ich habe vergessen zu sagen: Die Daten stammen aus drei Rennen, eines nach dem anderen.“ Gut zu wissen.
Nun wollte ich die verschiedenen Rassen anhand einer Variablen im Datensatz identifizieren. Mit den interaktiven Funktionen von JMP ist nichts einfacher als das. Ich habe den linken Schieberegler an den Ursprung der Skala verschoben. Nun wurden beide Runden des ersten Rennens gezeigt. Aus dem Kontextmenü habe ich "Name Selection in Column" ausgewählt, die Spalte benannt und den Wert 1 zugewiesen. Dann machte ich dasselbe für die nächsten beiden Rennen mit den Nummern 2 und 3 und berechnete die Summe aller in einer vierten Spalte. Nun konnte ich die Rennen in einer Grafik überlagern.
Grafisches Subsetting und Beschriften von Datenpunkten
Überlagern Sie Diagramme mit drei identifizierten Rennen
Nachdem ich gerade mit dem Slider herumgespielt und telefoniert hatte, erfuhr ich, dass ich Daten aus drei Rennen hatte. Nachdem ich etwas Fachwissen hinzugefügt hatte, konnte ich auch etwas darüber erfahren, worüber ich keine Daten habe. Ich weiß, wo die Bojen platziert wurden, und ich habe ziemlich gute Informationen darüber, in welche Richtung der Wind wehte.
Ein Segelboot sollte die höchste Geschwindigkeit über dem Boden erreichen, wenn es mit Wind von hinten fährt. Die Daten haben Kompasskurs und Geschwindigkeit, also habe ich mir diese angesehen.
Nord-Nordwest-Kurse, ausgewählt in Distribution
Der Wind wehte von Nord nach Nordwest. In Anbetracht der Tatsache, dass ein Segelboot keinen festen Boden bietet, habe ich eine Reihe von Kompassrichtungen auf der Nordbahn ausgewählt, darunter die hohen Grade von 300 bis 360 Grad und die unter 20 Grad, um die schnellsten Teile der Strecke zu finden. Um meine Auswahl noch einmal zu überprüfen, habe ich mir die Positionsgrafik angesehen und etwas korrigiert, so dass ich wirklich die gesamte zurückgelegte Strecke zurücklegen konnte, ohne zurückzulegen.
Nordkompassablesungen bei südwärts gerichteten Tacks?
Stellen Sie sich meine Überraschung vor, als ich herausfand, dass einige der ausgewählten Datenpunkte angezeigt wurden nach Süden gehende Beine des Kurses, da ich dachte, ich hätte nur Nordkurse ausgewählt. Nun hatte ich einen anderen Grund, Gerhard anzurufen, und diesmal war die Antwort nicht so einfach. Der GPX-Logger exportiert seine Daten als unformatierten Stream. Üblicherweise werden Überschriften mit zwei Dezimalstellen angegeben. Wenn die Richtung jedoch genau eine ganze Zahl war, übersprang der Logger einfach die Dezimalstellen. Der Datenimport ignorierte dieses Verhalten zuerst und interpretierte die letzten beiden Ziffern immer als Dezimalzahlen. Zum Beispiel wurde 34815 als 348,15 Grad korrekt importiert, 34815 jedoch als 3,48 Grad.
Das Interessante an diesem Befund ist, dass es nur durch die Kombination einiger Logik (Auswahl der nördlichen Gänge) und einer Grafik (Darstellung der Segelbootpositionen) sichtbar wurde. Logik allein hätte diesen Fehler nicht gefunden. Ohne die interaktiven Grafiken in JMP hätten wir dieses Problem nicht aufdecken können. Und für den logischen Teil war es nicht notwendig, Code zu schreiben. es genügte nur, einige Balken im Histogramm zu verschieben.
Ich komme nicht zu dem Schluss, dass es mit JMP Spaß macht, die Qualität eines bestimmten Datensatzes zu bewerten. Aber zumindest macht es JMP recht einfach. Es bietet Einblicke, die Sie mit anderen Strategien oder Tools nicht erhalten können, und es ist schnell. Und da ich mit diesen Daten daran erinnert wurde, ist es oft einfacher, das Problem zu finden als die Ursache zu ermitteln.
