j'ai utilisé JMP explorer une récente FAA drone ensemble de données , inspiré par un défi hebdomadaire de visualisation de données appelé 52Vis . L'ensemble de données contient "des comptes rendus d'aéronefs sans équipage ( UAS ) observations de pilotes, de citoyens et d’applications policières. "J’ai décidé de me concentrer sur l’exploration des données de temps. Je vais décrire la manière dont j'ai préparé les données temporelles, constaté des problèmes de qualité et les catégorisé en conséquence. Heureusement, JMP facilite le nettoyage visuel des données.
Préparer les données
Les données sont fournies dans deux fichiers Excel distincts et l’interface utilisateur d’importation Excel de JMP n’a rencontré aucun problème pour les importer avec les paramètres par défaut. Cependant, les noms des colonnes sont un peu brouillons et ne se correspondent même pas.
J'ai nettoyé les noms de colonne pour faire correspondre et ensuite utilisé Enchaîner sous le les tables menu pour ajouter une table de données à l’autre. Enchaîner même manipulé les colonnes étant dans des ordres différents.
Trouver des problèmes de qualité
J'ai commencé à jouer avec les données et j'ai remarqué quelques problèmes de qualité avec le champ temporel. J'ai créé une nouvelle colonne qui extrait l'heure du jour de la Date et heure colonne et fait un histogramme pour cela. Je l'ai appelé Tableau des heures de la journée parce que je vais calculer une heure différente de la journée plus tard.
La caractéristique la plus notable est le pic à minuit. Il se trouve qu'il est souvent indiqué comme étant exactement à midi, apparemment comme un code de valeur manquant. Une deuxième caractéristique est la baisse plus petite mais significative de midi. Il est probable que la partie AM / PM a été mal codée dans certaines heures de midi et que certaines heures sont indiquées dans la plage de minuit (en plus des heures de valeur manquantes).
Bien que la distribution paraisse bien, sinon, il semble que le soir soit plus décalé que prévu. Si seulement il y avait moyen de vérifier la qualité, vérifiez les valeurs de temps ...
Extraire GMT
En fait, il existe un moyen de vérifier la qualité des valeurs de temps! le rapport La colonne contient du texte libre décrivant l’incident et inclut souvent une heure de rapport en heure GMT (notez le suffixe Z).
Extrayons l’heure GMT et comparons avec l’heure indiquée dans le tableau. Je vais créer une nouvelle colonne de formule basée sur une expression régulière pour extraire les chiffres entre "Heure:" et "Z" dans le texte du rapport.
Et un autre pour le convertir en une valeur de temps JMP (nombre de secondes).
La nouvelle colonne de temps s'appelle Heure du jour extraite Z , et nous pouvons le comparer au temps de la table dans un diagramme de dispersion pour révéler des modèles intéressants.
J'ai ajouté deux lignes de référence en diagonale. La zone orange correspond à EST et les groupes de diagonales à proximité correspondent aux autres fuseaux horaires des États-Unis. La diagonale grise est l'endroit où l'heure dans le tableau est la même que l'heure GMT. Beaucoup de ceux-là! Étrangement, peu d’entre elles surviennent avant 13 heures (1300Z), ce qui semble raisonnable pour les heures d’observation GMT aux États-Unis mais pas pour les heures locales.
Temps de catégorisation
À ce stade, nous pouvons penser que le temps se divise en trois catégories:
Manquant - il n'y avait pas d'heure GMT dans le texte libre Identique - l'heure GMT était la même que l'heure "locale" Décalage - L’heure GMT était décalée par rapport à l’heure locale, ce qui est généralement raisonnable pour les États-Unis.J'ai ajouté quelques colonnes pour calculer cette classification, puis un histogramme pour chaque catégorie.
Nous pouvons maintenant voir comment la catégorie Identical a décalé les heures locales en soirée. La catégorie Offset présente un pic plus attendu pendant la journée et correspond bien aux heures où les heures GMT étaient manquantes. Les deux derniers ont des problèmes de codage qui ont provoqué une augmentation de 12 heures et une baisse de 12 heures. On ne sait pas pourquoi la catégorie Identical a une distribution essentiellement uniforme. Cela pourrait être une combinaison de deux distributions normales compensées, une pour la côte est et une pour la côte ouest.
Conclusion
En considérant l'heure GMT extraite, nous pouvons filtrer les valeurs de temps suspectes pour une analyse ultérieure basée sur le temps. C'est-à-dire que nous avons davantage confiance dans les heures locales qui sont décalées par rapport à l'heure GMT. Et puisque ceux qui manquent l'heure GMT ont une distribution similaire, nous pouvons utiliser ceux avec une confiance similaire.
Le défi 52Vis est axé sur les solutions de script. Heureusement, JMP propose les deux types d’interfaces: interactif et script. Bien que mes explorations initiales aient utilisé l'interface interactive, j'ai créé un script dans le langage de script JMP (JSL) pour le défi qui reproduit toutes mes étapes. Si vous êtes intéressé, vous pouvez voir la JSL dans un version précédente de ce post sur GitHub.
Quelques autres choses ...
Même avec seulement quelques colonnes de données, il reste encore beaucoup à explorer. Vous pouvez utiliser le complément du géocodeur convertir la ville / l’état en longitude et en latitude pour la cartographie.
Et avez-vous remarqué les données d'altitude dans le texte du rapport que j'ai montré? Bon nombre des rapports contiennent des données d'altitude et parfois des informations sur l'apparence ou la taille de l'avion sans pilote.
