Vous souhaitez donc en savoir plus sur l'intégration de Python et JMP. Tout d'abord, assurez-vous d'être au courant en regardant la vidéo associée, si ce n'est pas déjà fait.
Un groupe d'ingénieurs JMP a développé une série de blogs qui montrent la facilité avec laquelle JMP et Python peuvent être intégrés pour gérer des tâches quotidiennes, telles que le nettoyage des données, ainsi que des analyses et des modélisations plus avancées. Un merci spécial à Yasmine Hajar ( @yasmine_hajar ) et Wendy Tseng ( @wendytseng ) pour leur aide avec le codage Python utilisé dans la vidéo et le blog.
Dans cette vidéo, nous vous montrons comment, à l'aide d'une simple souris et de vos yeux, trouver des valeurs aberrantes potentielles et les supprimer du tableau de données. Vous apprendrez également à analyser les valeurs manquantes et, si nécessaire, à imputer des valeurs en tant que substituts pour voir l'analyse résultante si les données n'étaient pas manquantes.
JMP et Python sont complémentaires depuis plusieurs années maintenant, et avec la sortie de JMP 18, il est beaucoup plus facile d'intégrer les analyses Python à l'excellente visualisation des données de JMP. Cependant, et je suis très partial ici, le nettoyage des données dans JMP est beaucoup plus facile que dans Python pour une raison très basique : le codage.
À titre d'exemple, avec JMP, vous pouvez rechercher visuellement les valeurs aberrantes dans la plateforme de distribution en mode univarié et dans la plateforme multivariée en mode multivarié. Il existe une fonctionnalité permettant de rechercher les valeurs aberrantes T2 de Hoteling pour toutes les données d'intérêt à l'aide de la plateforme de cartes de contrôle multivariées pilotées par modèle, mais nous la garderons pour une autre fois. Encore une fois, regardez la vidéo d'accompagnement pour voir toutes ces fonctionnalités en action.
En attendant, voici une liste de certaines des options de nettoyage des données en Python :
- Extraire des modèles spécifiques à partir de données textuelles, telles que des adresses e-mail, des numéros de téléphone ou des dates.
- Supprimez les caractères ou sous-chaînes indésirables des données texte.
- Remplacez des modèles ou des sous-chaînes spécifiques par de nouvelles valeurs.
- Normalisez les données textuelles en convertissant tous les caractères en minuscules ou en majuscules.
- Identifiez et supprimez les doublons en fonction des données textuelles.
- Renommez les colonnes avec un ensemble d’étiquettes plus reconnaissables.
- Supprimez les colonnes inutiles dans un DataFrame.
- Modifier l'index d'un DataFrame.
Les cinq premières options peuvent être réalisées rapidement grâce à l'option de recodage de JMP. De plus, en utilisant l'option Noms de colonnes sous le menu déroulant Cols, il suffit de quelques clics pour renommer les colonnes.
Supprimer les colonnes inutiles dans un tableau de données est aussi simple que de sélectionner les colonnes qui vous intéressent, puis de cliquer avec le bouton droit sur l'un des en-têtes de colonne sélectionnés et de choisir Supprimer les colonnes.
JMP est le meilleur outil pour trouver les valeurs manquantes et imputer les données manquantes. La localisation et la séquestration des valeurs aberrantes sont également simples dans JMP, comme vous pouvez le voir ci-dessous.
Vous trouverez ci-dessous le code Python permettant d'ouvrir une table JMP et d'explorer les valeurs aberrantes et les valeurs manquantes. Vous trouverez ci-dessous une image de la trame de données et une partie de la sortie pour les valeurs aberrantes et les valeurs manquantes. Notez que les valeurs aberrantes dans Python sont déterminées à l'aide d'un score Z avec une valeur absolue supérieure à 3. Sur la base de ce critère, Python a trouvé des valeurs aberrantes pour pratiquement toutes les colonnes continues de la table de données.
Pour analyser les valeurs aberrantes dans JMP, suivez cet exemple, qui utilise Arrythmia.jmp de l'index des données d'échantillon JMP. Accédez à Analyser > Criblage > Explorer les valeurs aberrantes.
Vous pouvez déterminer quelles données sont réellement aberrantes et recalculer facilement les plages de valeurs aberrantes en quelques clics. JMP recommande de ne jamais supprimer complètement les données de votre ensemble de données, en raison des pistes d'audit potentielles. Vous pouvez toujours masquer et exclure des données dans JMP pour les exclure de vos analyses sans les supprimer de l'ensemble de données. Masquer des données dans Python nécessite davantage de codage et signifie très probablement que les données ne peuvent être vues par personne.
Pour explorer les valeurs manquantes dans JMP, ouvrez la table de données, accédez à Analyser > Filtrage > Explorer les valeurs manquantes.
