L'un des problèmes liés à l'exploration de données et aux statistiques consiste à collecter des données et à les manipuler dans votre logiciel. Heureusement, JMP rend cela très facile.
Cependant, une fois que vous disposez des données, que devez-vous faire ? Tout d’abord, vous devez examiner ce que vous avez collecté et « gérer » les données (en les nettoyant, par exemple), puis vous devez les analyser. Dans cet article de blog, nous examinerons les trois domaines : la collecte de données Web, la gestion des données et l'analyse.
Collecte de données
L'actualité récente s'est concentrée sur divers aspects de l'immigration aux États-Unis. Explorons donc les tendances de l'immigration aux États-Unis, en examinant spécifiquement le nombre de personnes obtenant le statut de résident permanent légal, les « cartes vertes ». Les données pertinentes sont disponibles gratuitement auprès du gouvernement américain dans le Annuaire des statistiques de l'immigration 2016 .La page Web spécifique à partir de laquelle nous extrairons les données est la suivante :
https://www.dhs.gov/immigration-statistics/yearbook/2016/table1
Ce tableau comporte deux colonnes d'informations : Année et Numéro, comme indiqué ci-dessous. Ces données sont personnellement significatives pour moi puisque ma femme était l'une de ces personnes qui s'ajoutent au décompte de 2014. Sans elle, le nombre aurait été de 1 016 517 en 2014.
Table 1: 2016 Yearbook of Immigration StatisticsTable 1: 2016 Yearbook of Immigration StatisticsTable 1: 2016 Yearbook of Immigration StatisticsTable 1: 2016 Yearbook of Immigration StatisticsTableau 1 : Annuaire des statistiques de l'immigration 2016
Extraction de données Web
Maintenant que nous avons la page Web cible à analyser, nous devons introduire les données dans JMP . Pour cela, nous pouvons utiliser Internet ouvert . Il s'agit d'un outil puissant, que l'on peut trouver en allant sur Fichier > Ouvrir sur Internet .À partir de là, nous voyons la fonction suivante (avec l'URL qui nous intéresse déjà collée).Nous avons plusieurs choix quant à la manière d'ouvrir la page Web dans JMP.Pour cet exemple, nous ouvrirons la page Web en tant que données et espérons que les deux colonnes de données seront détectées de manière appropriée, ce qui dépend des développeurs de pages Web qui organisent les choses de manière logique.Une fois que nous avons collé l'URL et sélectionné comment ouvrir l'URL, nous pouvons cliquer sur D'ACCORD .
Internet Open dialog box in JMPInternet Open dialog box in JMPInternet Open dialog box in JMPInternet Open dialog box in JMPBoîte de dialogue Internet Ouvrir dans JMP
Ensuite, JMP effectuera une recherche sur la page Web à la recherche de tables pouvant contenir des données. Ce que JMP a détecté nous sera affiché sous forme de liste. Heureusement, cette page Web ne contenait qu'un seul élément que JMP pensait être des données. Nous devons sélectionner la ou les tables que nous souhaitons ouvrir, Tableau 1 ici, puis cliquez D'ACCORD .
Importing Detected TablesImporting Detected TablesImporting Detected TablesImporting Detected TablesImportation de tables détectées
JMP va maintenant créer une nouvelle table de données contenant les données récupérées sur le Web.
Resultant Data TableResultant Data TableResultant Data TableResultant Data TableTableau de données résultant
Gestion des données
À première vue, les données semblent avoir été chargées efficacement : par exemple, les deux variables sont continues (comme on pouvait s'y attendre), et un coup d'œil aux données ne montre rien d'extraordinaire. Cependant, si nous traçons les données (en utilisant Générateur de graphiques par exemple), nous constatons que nous avons une valeur aberrante en 1976.
Data wrangling reveals an outlierData wrangling reveals an outlierData wrangling reveals an outlierData wrangling reveals an outlierLa confrontation des données révèle une valeur aberrante
Apparemment, 1976 a été inscrit comme 19761. Nous devons donc considérer quelques possibilités :
- Quelqu'un a-t-il « gros doigt » en 19761 et ajouté un « 1 » supplémentaire à cette année ?
- Le « 1 » correspond-il à la deuxième colonne de données, soit 1 499 093 personnes en 1976 ?
- Est-ce autre chose ?
Si nous revenons à la page Web d'origine, nous voyons que la troisième option est la bonne réponse.Le « 1 » supplémentaire provenait d'une note de bas de page transcrite par JMP dans le cadre de l'année. La note de bas de page présente des informations au lecteur sur le changement d'exercice financier survenu en 1976. Pour les besoins de cette analyse, nous supprimerons uniquement le « 1 » ; cependant, une analyse plus approfondie pourrait déterminer si ce chiffre est accidentellement surestimé au cours des années adjacentes.
Je devrais faire un autre point pour le chercheur : il est relativement facile de résoudre ce problème puisque nous comprenons naturellement les années. Cependant, si un problème similaire existait dans les données sur l’immigration, nous ne pourrions peut-être pas le détecter car cela varie considérablement. Ainsi, si vous créez des tableaux de données pour Internet, pensez aux futurs chercheurs et placez vos notes de bas de page dans les colonnes les plus intuitives.
Analyse et interprétation des données
Pour une analyse rapide, nous utiliserons Ajuster Y par X et créer divers modèles. Nous pouvons créer plus que de simples modèles de régression linéaire dans Ajuster Y par X , comme discuté dans Chapitre 9 de mon livre Biostatistiques avec JMP .
Nous allons d’abord ajuster un ajustement linéaire du premier ordre, c’est-à-dire une régression linéaire, par sélection Ligne d'ajustement . Cette ligne, la ligne rouge ci-dessous, n'est évidemment pas un bon modèle pour nos données. Ainsi, nous allons procéder à la création de divers ajustements polynomiaux d’ordre supérieur, du deuxième au sixième ordre, comme indiqué ci-dessous.
Applying Various Curve FitsApplying Various Curve FitsApplying Various Curve FitsApplying Various Curve FitsApplication de divers ajustements de courbe
Visuellement, nous pouvons voir que l'ajustement du deuxième ordre (ligne verte) ne semble pas non plus bien modéliser les données. Cependant, les ajustements du troisième au sixième ordre semblent capturer certaines des complexités des données brutes. Pour moi, l'ajustement du sixième ordre semble le meilleur car il n'a pas l'augmentation apparemment exponentielle autour de l'année 2017 que nous observons dans les ajustements du troisième et du quatrième ordre. Bien que l’ajustement du cinquième ordre semble correct à la fin des données, son début est étrange. Ainsi, le modèle du sixième ordre semble être le meilleur parmi ces options.
À partir de là, nous voudrions examiner les résidus, etc. Une analyse grossière en examinant la variance expliquée peut également aider. Le tableau suivant fournit une évaluation approximative de la qualité des modèles via le R-carré et le R-carré ajusté. L'ajustement du R au carré est important car il nous pénalise pour l'ajout de variables supplémentaires.Dans l’ensemble, l’évaluation montre que le modèle du sixième ordre explique de nombreuses variations. En associant cela à notre évaluation visuelle des modèles, l'ajustement du sixième ordre semble être le meilleur modèle créé à l'aide de cette approche.
| Commande |
R au carré |
R au carré ajusté |
| 1 |
0,336 |
0,333 |
| 2 |
0,359 |
0,353 |
| 3 |
0,552 |
0,545 |
| 4 |
0,562 |
0,553 |
| 5 |
0,639 |
0,630 |
| 6 |
0,669 |
0,659 |
Or, cette interprétation concerne les carrés moyens d’un problème qui comporte de nombreux degrés de liberté alloués à l’erreur. Ainsi, la qualité des prédictions issues de l’un de ces modèles pourrait être faible.
La prochaine étape pourrait consister à explorer davantage les capacités de modélisation de séries chronologiques dans JMP en utilisant ces données. Cependant, cela suffit pour une journée !
Pour plus d'informations sur la collecte de données, y compris sur le Web, jetez un œil au chapitre 2 de mon livre Biostatistiques avec JMP .Le chapitre 3 du livre traite en profondeur de la gestion des données.
