<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />De temps en temps, je remarque le champ de date dans mes ensembles de données de démonstration et je réalise que je travaille avec des plages de dates vieilles de plus de 10 ans. Habituellement, c'est beaucoup de travail ou à tout le moins peu pratique d'obtenir les données mises à jour ou de les simuler en ajoutant quelques années à la colonne de date. Je pense qu'il est possible de scripter l'acquisition de nouvelles données et de les formater pour qu'elles soient prêtes pour la démonstration. Je soupçonne que plusieurs personnes le font déjà dans le cadre de petits projets marginaux.
Je joins un script qui fait un assez bon travail pour sortir et obtenir un ensemble de données. Le script ajoute des colonnes calculées pertinentes, puis ajoute des scripts de graphiques et d'analyse au tableau afin qu'il soit prêt à être utilisé.
L'ensemble de données est le Google Flu Data. Le phénomène observé est que la fréquence des termes de recherche sur la grippe semble parallèle aux tendances de surveillance de la grippe du CDC. Même si l’ampleur de la réponse semble varier légèrement d’une année à l’autre, le timing semble assez bien correspondre.
Arrière-plan:
http://gking.harvard.edu/files/gking/files/0314policyforumff.pdf
http://www.theatlantic.com/technology/archive/2014/03/in-defense-of-google-flu-trends/359688/
Tendances Google sur la grippe
Que contient l'ensemble de données :
Les données sont définies comme tendance de recherche pour plusieurs villes, emplacements d'État, tous les États (régions HHS supprimées). Les données sont collectées chaque semaine et il existe des colonnes de formule temporelle pour l'année, la semaine, le mois, la saison de la grippe (année + 6 mois) et semaine de la saison de la grippe.Il existe également une colonne de changement d'une semaine à l'autre et une colonne de tendance de recherche cumulée par année ainsi que quelques colonnes de cluster.Tous les calculs sont effectués dans une formule ou par le script qui extrait les données. La latitude et la longueur de l'emplacement sont intégrées dans le script afin qu'il mette automatiquement à jour les nouvelles données, ce qui est pratique pour les tracés à bulles, qui s'affichent parfaitement avec cet ensemble de données.
Les graphiques du tableau montrent les tendances de différentes manières et incluent également un ajustement non linéaire des données cumulées. Les résultats de l'ajustement non linéaire sont utiles pour trouver les points d'inflexion pour chacun des emplacements par année. Il s'agit d'un moyen de classer la rapidité avec laquelle chaque endroit a connu environ 50 % de son infection maximale au cours de la saison (ou qui a eu la pire infection le plus rapidement chaque année).
Il y a un petit piège à rechercher. La colonne d'emplacement contient à la fois les états et la ville. Filtrez donc par type d'emplacement avant d'essayer d'utiliser l'emplacement dans le rôle de carte pour le générateur de graphiques, sinon GB ne reconnaîtra pas l'emplacement en tant qu'état.
Si vous disposez déjà d'un script qui fait quelque chose comme ça, postez-le sur ce fil (s'il vous plaît.)
Tous mes vœux,
Byron
PS J'ai ajouté un deuxième script, il sort et récupère les données actuelles de l'indice des prix du logement Freddie Mac. La démo FMHPI est probablement l’un des ensembles de données les plus utilisés et abusés. Il montre la puissance du clustering pour trouver des États présentant des tendances HPI similaires. Dans le passé, cela était également relativement complexe, nécessitant des étapes de manipulation de table substantielles pour arriver au chiffre final. Certaines personnes ont même écrit de jolis workflows EG pour effectuer la manipulation des données. Dans JMP 12, la nouvelle option Stacked Data de la plateforme Cluster rend toute la partie clustering de la démo ridiculement simple. (Je recommande de regrouper toute la période, puis la période depuis 2000, puis les 7 ou 8 dernières années.Utilisez le filtre de lignes pour créer les sous-ensembles, puis utilisez GB, Date vs HPI, State comme superposition et cluster comme wrap. Ajoutez un sélecteur de colonne rapide pour basculer entre les différents clusters.)
Ces données n'ont généralement qu'un quart de retard environ, cela vaut donc la peine d'être actualisé si vous comptez les utiliser.Dans le script, le fichier Excel du site Freddie Mac est ouvert et formaté en un tableau empilé qui devrait être prêt à être utilisé.
