Gerhard Svolba è un collega di SAS che non è solo un esperto analista e un padre premuroso, ma anche un autore per SAS Press e un appassionato velista. Ha fatto ricerche preziose su rilevamento di problemi di qualità dei dati e il loro conseguenze per l'analisi dei dati .
L'inizio della regata (Foto usata per gentile concessione di Gerhard Svolba)
Come statistico, sono ben consapevole dell'importanza e del peso di una solida valutazione della qualità dei dati. E poiché io mi dedico al wind-surf e alle immersioni subacquee, Gerhard e io abbiamo sempre molto di cui parlare quando ci incontriamo. Di recente, mi ha detto che ha registrato la sua ultima regata di vela e si è offerto di fornirmi il file di registro. Ho accettato, e qualche giorno dopo ho ricevuto un JMP tabella dati (molto amichevole!) con i dati del suo logger GPX, insieme ad alcuni consigli su cosa cercare nei dati.
La tabella dei dati con i dati di registrazione
Per me, non esiste un file di dati noioso come un log GPX. È solo un timestamp, coordinate, velocità e direzione della bussola.
Cosa puoi aspettarti da un file del genere? Ancor peggio, la mia analisi iniziale standard - portando i dati in Graph Builder - mostrava solo alcune linee strane.
Austria e il lago di Neusiedl
Bene, zoomare fuori dal quadro ha rivelato che la regata si è svolta in un lago - nella zona più orientale dell'Austria. E sì, Gerhard è un austriaco, e non dovresti solo ascoltare ciò che ha da dire, ma anche ascoltare il suo meraviglioso accento.
Torna alla regata stessa. Con la vela, è interessante vedere come è andata la gara, in quanto ci sono solo alcune boe da superare ma nessuna traccia prestabilita tra le boe. Con l'aiuto del filtro locale, potrei usare il timestamp per seguire le mosse della nave a vela.
I punti in Graph Builder, il filtro dei dati locali e le opzioni del grafico
Nel grafico che mostra tutti i waypoint, prima ho impostato "lock scale" dall'hot spot perché non volevo ingrandire l'area selezionata ma seguire il percorso sull'intero corso.
Parti del percorso visualizzate in diverse posizioni del cursore
Con il cursore, ho selezionato una piccola porzione temporale e l'ho spostata sopra la scala. Ho potuto vedere come hanno mantenuto la loro barca nella parte occidentale della zona, poi ha fatto una lunga gamba verso il sud-est, e poi alcuni virata manovre prima di una brusca curva verso nord (probabilmente attorno a una boa). Sono andati dritti a nord, a nord-ovest, e poi hanno iniziato un secondo round con una diversa strategia di virata.
Intervallo di tempo senza registrazioni
Con mia grande sorpresa, tutti i punti sono svaniti dopo il secondo turno e ho trovato un ragionevole periodo di tempo senza alcuna attività. Niente è più divertente di mostrare ai colleghi i loro errori! Così ho chiamato Gerhard e gli ho parlato delle mie scoperte.
"Bene," disse lui; "Ho dimenticato di dirti: i dati provengono da tre gare, una dopo l'altra." Buono a sapersi.
Ora volevo identificare le diverse razze di una variabile nel set di dati. Non c'è niente di più semplice con le funzionalità interattive di JMP. Ho appena spostato la maniglia del cursore sinistro sull'origine della scala. Ora sono stati mostrati entrambi i round della prima gara. Dal menu di scelta rapida, ho scelto "Selezione nome in colonna", denominato la colonna e assegnato il valore 1. Poi ho fatto lo stesso per le prossime due gare con i numeri 2 e 3, rispettivamente, e calcolato la somma di tutti in una quarta colonna. Ora ero in grado di sovrapporre le gare in un grafico.
Sottotitoli ed etichettatura grafica dei punti dati
Sovrapponi i grafici con tre razze identificate
Finora, dopo aver giocato con il cursore e aver fatto una telefonata, ho imparato che avevo dati da tre gare. Una volta aggiunta la conoscenza della materia, sono stato anche in grado di apprendere cose su cui non ho dati. So dove sono state collocate le boe e ho delle informazioni abbastanza buone su quale direzione il vento stesse soffiando.
Una barca a vela dovrebbe ottenere la massima velocità sul terreno quando sta navigando con il vento da dietro. I dati hanno direzione e velocità della bussola, quindi li ho guardati.
Corsi nord-nord-occidentali selezionati in Distribuzione
Il vento soffiava da nord a nord-ovest. Prendendo in considerazione che una barca a vela non fornisce terreno solido, ho selezionato una gamma di voci della bussola attorno al percorso nord, compresi i gradi alti da 300 a 360 gradi e quelli sotto i 20 gradi, per trovare le parti più veloci del percorso. Per ricontrollare la mia selezione, ho esaminato il grafico posizionale e corretto leggermente la mia selezione in modo da coprire davvero la distanza completa percorsa senza virare.
Letture della bussola nord sui chiodi verso sud?
Immagina la mia sorpresa quando ho scoperto che alcuni dei punti dati selezionati apparivano gambe in direzione sud del corso, dal momento che pensavo di aver selezionato solo corsi del nord. Ora avevo un altro motivo per chiamare Gerhard, e questa volta la risposta non fu così facile. Il logger GPX esporta i suoi dati come un flusso non formattato. Solitamente i titoli sono riportati con due cifre decimali. Ma se la direzione registrata era esattamente a un numero intero, allora quel logger saltava semplicemente i decimali. L'importazione dei dati ha prima ignorato tale comportamento e ha sempre interpretato le ultime due cifre come decimali. Ad esempio, 34815 è stato importato correttamente come 348,15 gradi, ma 348 sono stati importati erroneamente come 3,48 gradi.
Ciò che è interessante di questa scoperta è che è stato rivelato solo dalla combinazione di una logica (selezionando i percorsi del nord) e un grafico (che mostra le posizioni della barca a vela). La logica da sola non avrebbe trovato questo errore. Senza i grafici interattivi in JMP, non avremmo potuto scoprire questo problema. E per la parte logica, non c'era bisogno di scrivere codice; bastava far scorrere alcune barre nell'istogramma.
Non concluderei che con JMP è divertente valutare la qualità di un dato set di dati. Ma almeno, JMP lo rende abbastanza facile. Offre informazioni che non è possibile utilizzare con altre strategie o strumenti ed è veloce. E come mi è stato ricordato con questi dati, trovare il problema è spesso più facile che identificare la causa.
