Gerhard Svolba est un collègue à SAS qui est non seulement un analyste expérimenté et un père attentionné, mais aussi un auteur pour SAS Press et un marin enthousiaste. Il a fait des recherches précieuses sur détecter les problèmes de qualité des données et leur conséquences pour l'analyse des données .
Le début de la régate (Photo utilisée avec la permission de Gerhard Svolba)
En tant que statisticien, je suis bien conscient de l’importance et du fardeau d’une solide évaluation de la qualité des données. Et comme je pratique la planche à voile et la plongée sous-marine, Gerhard et moi avons toujours beaucoup à parler lorsque nous nous rencontrons. Récemment, il m'a dit qu'il avait enregistré sa dernière régate de voile et proposé de me fournir le fichier journal. J'ai accepté et quelques jours plus tard, j'ai reçu un JMP table de données (très conviviale!) avec les données de son enregistreur GPX, avec quelques recommandations pour ce qu’il faut rechercher dans les données
La table de données avec les données de journalisation
Pour moi, il n'y a pas de fichier de données aussi ennuyeux qu'un journal GPX. C'est juste un horodatage, des coordonnées, une vitesse et un cap.
Que pouvez-vous attendre d'un fichier comme ça? Pire encore, mon analyse initiale standard - importer les données dans Graph Builder - ne montrait que des lignes étranges.
Autriche et lac de Neusiedl
Eh bien, un zoom arrière sur la photo a révélé que la régate avait eu lieu dans un lac - à l'extrême est de l'Autriche. Et oui, Gerhard est un Autrichien et vous ne devez pas seulement écouter ce qu'il a à dire, mais aussi entendre son merveilleux accent.
Retour à la régate elle-même. Avec la navigation à la voile, il est intéressant de voir comment s'est déroulée la course, car il ne reste que quelques bouées à passer mais aucune piste prescrite entre les bouées. Avec l'aide du filtre de données local, je pouvais utiliser l'horodatage pour suivre les mouvements du voilier.
Les points dans le Générateur de graphiques, le filtre de données local et les options de graphique
Dans le graphique présentant tous les points de cheminement, j'ai d'abord défini des «échelles de verrouillage» à partir du point chaud, car je ne voulais pas zoomer sur la zone sélectionnée mais suivre l'itinéraire sur tout le parcours.
Parties du parcours affichées à différentes positions du curseur
Avec le curseur, j'ai sélectionné une petite tranche de temps et l'ai déplacée sur l'échelle. Je pouvais voir comment ils gardaient leur bateau dans la partie ouest de la zone, puis faisaient un long trajet en direction du sud-est, puis quelques virer de bord manœuvres avant un virage serré au nord (probablement autour d’une bouée). Ils sont allés tout droit vers le nord, le nord-ouest, puis ont entamé un deuxième round avec une stratégie de virement de bord différente.
Intervalle de temps sans enregistrement
À ma grande surprise, tous les points ont disparu après le deuxième tour et j'ai trouvé une période de temps raisonnable sans aucune activité. Rien n’est plus amusant que de montrer aux collègues leurs erreurs! Alors j'ai appelé Gerhard et lui ai parlé de mes découvertes.
«Eh bien, dit-il; "J'ai oublié de vous dire: les données proviennent de trois courses, l'une après l'autre." C'est bon à savoir.
Maintenant, je voulais identifier les différentes races par une variable dans l'ensemble de données. Rien de plus simple avec les capacités interactives de JMP. Je viens de déplacer le curseur gauche vers l’origine de la balance. Maintenant, les deux manches de la première course ont été montrées. Dans le menu contextuel, j'ai sélectionné «Nom de la sélection dans la colonne», nommé la colonne et attribué la valeur 1. Ensuite, j'ai fait la même chose pour les deux courses suivantes avec les numéros 2 et 3, respectivement, et calculé la somme de tous dans une quatrième colonne. Maintenant, je pouvais superposer les courses dans un graphique.
Sous-ensemble graphique et étiquetage des points de données
Superposition de graphiques avec trois races identifiées
Jusqu'ici, après avoir joué avec le curseur et passé un appel téléphonique, j'ai appris que j'avais des données de trois courses. Une fois que j'ai ajouté des connaissances en la matière, j'ai également pu apprendre des choses sur lesquelles je n'ai aucune donnée. Je sais où les bouées ont été placées et j'ai une assez bonne information sur la direction du vent.
Un voilier devrait atteindre la vitesse la plus élevée au sol lorsqu'il navigue avec le vent venant de l'arrière. Les données ont le cap et la vitesse de la boussole, je les ai donc examinées.
Parcours nord-nord-ouest sélectionnés dans Distribution
Le vent soufflait du nord au nord-ouest. Considérant qu’un bateau à voile n’offrait pas un terrain solide, j’ai choisi une gamme de rubriques de boussole autour du parcours nord, y compris les hauts degrés de 300 à 360 degrés et celles inférieures à 20 degrés, pour trouver les parties les plus rapides du parcours. Pour vérifier ma sélection, j'ai regardé le graphique de position et corrigé un peu ma sélection afin de couvrir réellement toute la distance parcourue sans virer de bord.
Lecture de la boussole nord sur les virements en direction du sud?
Imaginez ma surprise lorsque j’ai constaté que certains des points de données sélectionnés apparaissaient sur jambes en direction du sud du parcours, car je pensais n'avoir choisi que des parcours du nord. J'avais maintenant une autre raison d'appeler Gerhard, et cette fois la réponse n'a pas été aussi facile. Le consignateur GPX exporte ses données sous forme de flux non formaté. Les en-têtes sont généralement signalés avec deux chiffres décimaux. Mais si la direction consignée était exactement égale à un nombre entier, cet enregistreur a simplement ignoré les décimales. L'importation de données a d'abord ignoré ce comportement et a toujours interprété les deux derniers chiffres comme des décimales. Par exemple, 34815 a été correctement importé à 348,15 degrés, mais 348 à faussement importé à 3,48 degrés.
Ce qui est intéressant dans cette découverte, c’est qu’elle n’a été révélée que par la combinaison d’une logique (choix de parcours nordiques) et d’un graphique (indiquant les positions du voilier). La logique seule n'aurait pas trouvé cette erreur. Sans les graphiques interactifs dans JMP, nous n'aurions pas pu découvrir ce problème. Et pour la partie logique, il n'était pas nécessaire d'écrire du code; il suffisait de faire glisser des barres dans l'histogramme.
Je ne conclurai pas qu'avec JMP, il est amusant d'évaluer la qualité d'un ensemble de données donné. Mais au moins, JMP facilite les choses. Il offre un aperçu du fait que vous ne pouvez pas utiliser d'autres stratégies ou outils, et c'est rapide. Et comme ces données me le rappelaient, trouver le problème est souvent plus facile que d’en identifier la cause.
