55388_fr-FR

liliconcom

10 dangers dans vos données tabulaires

Building predictive models from data tables? Watch out for these 10 villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Watch out for these 10 villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Watch out for these 10 villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Watch out for these 10 villains. Image courtesy of prettysleepy on Pixaby.Construire des modèles prédictifs à partir de tableaux de données ? Méfiez-vous de ces 10 méchants. Image gracieuseté de Prettysleepy sur Pixaby.

Je me suis immergé dans le monde des compétitions de science des données, dans lesquelles les performances prédictives sur un groupe en aveugle vous classent, vous et vos coéquipiers, dans un classement, avec des prix et une crédibilité en jeu. Pour réussir ces concours, vous devez être très efficace et intelligent avec votre temps, car il y a des centaines de petites décisions et différentes directions que vous pouvez prendre en cours de route.Si vous vous trompez ou perdez du temps, quelqu'un vous dépasse. Parfois, on a même l’impression qu’il existe des dangers qui tentent délibérément de vous faire trébucher. Cela ressemble un peu à la vraie vie, n'est-ce pas ?

Pour chaque bonne pratique et habileté avec les données que j'ai apprises, j'ai probablement commis 10 fois plus d'erreurs. Au fil du temps, j’ai dressé une liste de 10 dangers contre lesquels il faut constamment se méfier et lutter. Comme je le décris dans un post précédent , les données ne nous parviennent jamais propres et ces problèmes nous guettent toujours. Bien que la liste se concentre sur les données tabulaires, de nombreux problèmes se répercutent sur les images, le texte et d'autres types de données structurelles.

Ces dangers sont si réels et omniprésents qu'ils peuvent revêtir leur propre caractère méchant et, en fait, pour m'amuser, j'ai associé chacun d'entre eux à un super-vilain. Dans le tableau ci-dessous, voyez si vous pouvez imaginer ces malfaiteurs personnifiant sournoisement leurs dangers sur vos tableaux de données.  

 

Danger	Super-vilain	Des questions	Réponses	JMP Plateformes
1. Forme inappropriée	Mystique , le métamorphe séduisant et trompeur du X Men	un. La table est-elle de forme large, ni haute ni empilée ? b. Les lignes correspondent-elles à des observations distinctes à entraîner et/ou à prédire et les colonnes aux cibles et aux caractéristiques ?	1. Inspection visuelle 2. Effectuer la manipulation et la remodelage des données si nécessaire	Transposer, diviser, empiler, joindre, mettre à jour
2. Valeurs incorrectes	Joker depuis Homme chauve-souris , cherchant toujours à te jouer de mauvais tours	un. Les valeurs des données sont-elles correctes ? b. Qu’est-ce qui a pu causer des erreurs ?	1. Analyse visuelle 2. Graphiques et statistiques univariés, bivariés et multivariés 3. Vérifiez et vérifiez les sources de données originales si nécessaire	Distribution, générateur de graphiques, multivarié
3. Valeurs manquantes	Lord Voldemort depuis Harry Potter , Celui-dont-on-ne-doit-pas-prononcer-le-nom peut mystérieusement supprimer les valeurs-qui-devraient-être-là	un. Les valeurs manquent-elles au hasard ou existe-t-il des modèles systématiques ? b. Les modèles de valeurs manquantes sont-ils prédictifs ?	1. Étudier attentivement le degré et les modèles de disparition ; concevoir de nouvelles fonctionnalités selon les besoins 2. Créez des indicateurs de valeur manquante et vérifiez s'ils sont corrélés à la réponse 3. Remarque : L'imputation n'est généralement pas nécessaire pour les arbres à gradient amélioré.	Analyser > Écran > Explorer les valeurs manquantes, les colonnes > Recoder, Générateur de graphiques
4. Prédicteurs invalides	M. Burns depuis Les Simpsons , complotant égoïstement d'une manière qui rend votre vie misérable	un. Certaines colonnes sont-elles irréalisables ou inappropriées à utiliser pour des prédictions futures ? b. Tous les prédicteurs potentiels ont-ils un sens scientifiquement et éthiquement ?	1. Parcourez toutes les colonnes et comprenez la signification de chacune 2. Supprimez les colonnes non valides ou déplacez-les au début ou à la fin du tableau afin qu'elles ne soient pas sélectionnées ultérieurement.	Cols > Supprimer, Cols > Réorganiser, Déplacer les colonnes avec la souris dans le panneau latéral gauche
5. Cardinalité élevée	Magnéto depuis Les X-Men, contrôle tout ce qui contient du métal et peut vous lancer de nombreuses pièces en même temps	un. Quels prédicteurs catégoriels ont un nombre élevé de niveaux ? b. Quels types de codages numériques ont du sens ? c. Les catégories basse fréquence devraient-elles être réduites à néant ?	1. Inspecter le nombre et la fréquence nombre de niveaux 2. Recoder les niveaux selon les besoins 3. Calculez les encodages numériques, en étant particulièrement prudent s'ils utilisent des informations cibles pour éviter le surajustement	Distribution, Cols > Recoder
6. Valeurs intérieures et valeurs aberrantes	Singes ailés depuis Le magicien d'Oz, volant constamment à l'intérieur et à l'extérieur, exécutant les mauvaises volontés de la méchante sorcière	un. Les valeurs extrêmes se situent-elles dans des limites raisonnables ? b. Certaines valeurs sont-elles répétées trop fréquemment de manière inattendue ?	1. Inspectez les histogrammes et les quantiles 2. Vérifiez que les valeurs inhabituelles sont correctes 3. Utilisez la transformation logarithmique pour évaluer les distributions continues vraiment asymétriques 4. Distances de Mahalanobis	Distribution, Multivarié, Analyse > Dépistage > Explorer les valeurs aberrantes
7. Données dupliquées	Chats siamois depuis la belle et le Clochard , avec des intentions doublement mauvaises et une chanson ennuyeuse et entraînante	un. Des lignes ou des colonnes sont-elles accidentellement dupliquées ?   b. Certaines colonnes sont-elles isomorphes ? c. Les valeurs d'ID sont-elles uniques pour chaque ligne ?	1. Analyse visuelle 2. Matrice de nuage de points de clustering bidirectionnel	Résumé, Tri, Clustering (pour les lignes), Multivarié (pour les colonnes)
8. Déséquilibre de réponse	Jabba le Hutt depuis Guerres des étoiles , heureux de t'écraser et de t'écraser sous toute sa graisse dégoûtante	un. De quel genre de réponse s’agit-il ? b. Qu’elles soient binaires ou nominales, les proportions sont-elles représentatives de la population que vous souhaitez prédire ? c. Pour le continu, sa distribution a-t-elle un sens ?	1. Inspecter la distribution des réponses 2. Envisager la pondération, le suréchantillonnage et le sous-échantillonnage ; peut dépendre des mesures de performances souhaitées	Distribution, Cols > Nouvelles colonnes pour créer une variable de poids
9. Incohérences entre les tests de formation	Oeil de Sauron depuis le Seigneur des Anneaux , te regardant toujours pour trouver tes contradictions les plus intimes et les exploiter	un. Les distributions de la réponse et des prédicteurs sont-elles similaires entre les divisions de formation, de validation et de test ? b. Les futurs ensembles de tests resteront-ils dans le champ d’application ou existe-t-il un réel besoin d’extrapolation ?	1. Créez une nouvelle variable indiquant les fractionnements ; puis utilisez-le pour explorer dynamiquement les distributions 2. Utiliser des projections de faible dimension pour comparer les structures de sous-ensembles	Ajuster Y par X, où Y représente toutes les variables et X est l'indicateur divisé, créer des tracés en mosaïque pour les variables nominales et des comparaisons empiriques de distribution cumulative pour les variables continues, multivarié
10. Fuite de données	Ursule depuis La petite Sirène, peut complètement vous aveugler avec son encre noire de jais, la faisant couler dans des endroits indésirables	un. Certaines fonctionnalités des divisions de formation, de validation et de test utilisent-elles de manière inappropriée les informations de la réponse ? b. Les colonnes d’ID sont-elles prédictives ?	1. Recherchez les relations inattendues et tout indice pouvant indiquer qu'une fonctionnalité présente une fuite 2. Concevoir de nouvelles fonctionnalités avec des fonctions simples pour vérifier davantage les fuites	Ajuster Y par X, Générateur de graphiques, Multivarié, Clustering, Sélectionner des colonnes > Clic droit > Nouvelle colonne de formule

 

Comment pouvons-nous traiter efficacement ces causes de problèmes gênants, en particulier lorsqu'ils conspirent ensemble et que nous n'avons pas suffisamment de temps pour écrire et déboguer du code personnalisé ? La dernière colonne contient le JMP routines que j'utilise tous les jours pour les gérer, c'est mon arme secrète et indispensable.S'inspirant d'un célèbre petit super-héros des années 1950 et l'interface utilisateur révolutionnaire de l'Apple MacIntosh, JMP s'améliore régulièrement depuis 30 ans sous une philosophie directrice principale d'intégration ultra-étroite des statistiques et des graphiques, pilotée par une souris.  

Building predictive models from data tables? Look out for ten villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Look out for ten villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Look out for ten villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Look out for ten villains. Image courtesy of prettysleepy on Pixaby.Construire des modèles prédictifs à partir de tableaux de données ? Attention à dix méchants. Image gracieuseté de Prettysleepy sur Pixaby.

Consultez la liste de contrôle de Russ Wolfinger des 10 dangers à gérer lors du nettoyage et de la préparation des données pour l'apprentissage automatique.