Découvrez comment utiliser des techniques statistiques simples pour identifier les variables et interactions importantes dans vos données, en vue de construire des modèles de prédiction performants et de découvrir des informations supplémentaires.
Découvrez comment :
- Comprendre les prérequis à prendre en compte avant de commencer à identifier les variables importantes
- Nettoyer et préparer les données à l'aide de Column Viewer
- Identifiez et décidez comment traiter les valeurs aberrantes et les données manquantes à l'aide des fonctions Explorer les valeurs manquantes, Explorer les valeurs aberrantes et Explorer les tendances.
- Assurez-vous que l'ensemble de données représente au mieux le système que vous prévoyez d'étudier.
- Utilisez les distributions dans les en-têtes de colonnes et le générateur de graphiques pour explorer les données et visualiser les tendances.
- Effectuer une analyse multivariée pour identifier les variables corrélées
- Utilisez le filtrage des réponses pour identifier les variables les plus importantes qui affectent la réponse.
- Utilisez le criblage des prédicteurs (méthodes d'arbres de décision) pour tester de nombreux facteurs dans la prédiction d'une réponse.
- Utilisez l'analyse multivariée pour identifier les variables présentant une forte corrélation.
- Le regroupement de variables permet de rassembler les variables corrélées et d'identifier la variable la plus représentative.
- Utilisez la fonction « Modèle d’ajustement » > « Sélection des réponses » et « Régression pas à pas » pour identifier les interactions et les termes d’ordre supérieur en fonction de vos variables importantes et uniques.
Questions auxquelles Scott (@scott_allen) et Byron (@Byron_JMP) ont répondu lors du webinaire en direct de juin 2023.
Q : Comment avez-vous « désélectionné » dans l'outil de création de graphiques ?
A : Cliquez sur l'espace blanc du graphique, et non sur un marqueur.
Q : Pourriez-vous développer votre explication concernant la valeur p et son rang ? Que signifie une valeur élevée ou faible ? À quoi faut-il s’attendre en observant certaines valeurs ou tendances ?
A : Pour la p-valeur et la plupart des statistiques, consultez [lien manquant]. De plus, dans JMP, si vous avez besoin d'aide concernant une statistique (ou tout autre élément affiché), sélectionnez Outils > ? et cliquez sur la zone concernée (ici, l'en-tête de la colonne de la p-valeur). Voir également cette explication.
Q : En quoi la plateforme de sélection des prédicteurs diffère-t-elle du modèle de forêt aléatoire ?
A : Dans JMP, nous l'appelons Random Forest Forêt Bootstrap (car Random Forest est une marque déposée). C'est la même chose. Le Predictor Screening n'inclut pas de modèle, seulement un classement.
Q : Puisque l'écran de prédiction n'indique pas le pourcentage de variation attribué à chaque prédicteur individuel, existe-t-il une autre plateforme qui le fait ?
A : Le rapport de sélection des prédicteurs présente la liste des prédicteurs, leur contribution respective et leur classement. Les prédicteurs ayant la contribution la plus élevée sont susceptibles d'être importants pour la prédiction de Y. La colonne « Contribution » indique la contribution de chaque prédicteur au modèle Bootstrap Forest. La colonne « Proportion » du rapport indique le pourcentage de contribution de chaque variable.
Q : L'analyse multivariée peut-elle avoir des valeurs de corrélation absolues au lieu de -1 à 1 ?
A : Oui et non. Le tableau est une matrice de coefficients de corrélation qui résume la force des relations linéaires entre chaque paire de variables de réponse (Y). Voir les méthodes multivariées .
Q : Comment sélectionneriez-vous les variables les plus importantes si vous aviez des variables indépendantes continues, binomiales (oui/non) et ordonnées (faible, moyenne, élevée) ?
A: Oui, vous pouvez utiliser toutes ces méthodes : le dépistage des prédicteurs et le dépistage des réponses.
Q : Utilisez-vous parfois la régression pas à pas ? JMP propose-t-il la régression par sous-ensembles complets ?
A : Voir les détails sur la régression par étapes .
Q : Une grande partie de mes données contient plusieurs réponses, ce qui limite certaines fonctionnalités de JMP. Effectuez-vous un nettoyage spécifique pour ces données, ou les utilisez-vous telles quelles ? Je fais référence à la propriété de colonne « Réponses multiples » (une liste de plusieurs points de données). Je suppose qu’il est plus simple de les répartir dans deux colonnes distinctes, mais je voulais savoir s’il existe une meilleure solution.
A : Oui, nous vous permettons de stocker plusieurs réponses dans une seule cellule sous forme de tableau, mais pour les analyser, il est correct de les répartir dans différentes colonnes.
Q : Comment les méthodes arborescentes se comparent-elles à la PLS ou à l'ACP ?
A : Avec l'ACP ou la PLS, on cherche à représenter l'ensemble des données avec un nombre réduit de variables latentes. L'objectif est de trouver un nombre réduit de dimensions permettant de représenter toutes les données. C'est différent des méthodes arborescentes, qui aident à identifier précisément ce qui explique un phénomène. Les méthodes arborescentes supplantent l'ACP et la PLS pour une meilleure modélisation. Les méthodes arborescentes sont excellentes pour la modélisation des données, mais elles sont très sensibles aux variations et peuvent facilement sur-apprendre. Avec les méthodes arborescentes, qui prélèvent un échantillon aléatoire des lignes et un échantillon aléatoire des colonnes à chaque construction d'un nouvel arbre, on obtient une grande robustesse aux valeurs aberrantes. Elles sont également capables de modéliser les interactions, ainsi que les fonctions quadratiques ou cubiques, si elles sont présentes dans les données. Ainsi, il n'est pas nécessaire de faire de nombreuses hypothèses.
Q : Puis-je utiliser le filtrage des prédicteurs et le filtrage des réponses pour des variables dépendantes numériques et des variables indépendantes continues, binomiales et ordonnées ?
A : Oui.
Découvrez comment :
- Utilisez JMP Partition pour identifier les facteurs significatifs
- Préciser et automatiquement tous les effets d'interaction du modèle
Modeling Workflow with Factor SelectionModélisation du flux de travail avec sélection de facteursModélisation du flux de travail avec sélection de facteurs
BONUS : Scott Allen (@scott_allen) et Byron Wingerd (@Byron_JMP) ont également répondu aux questions après la démo de 2022 !
Q : Existe-t-il un tutoriel vidéo pour les outils de détection des valeurs aberrantes ?
A : C'est un bon exemple qui traite de l'outil Explorer les valeurs aberrantes dans JMP. Vous pouvez également consulter la documentation et les exemples .
Q : Pourquoi ne pas commencer par éliminer les variables corrélées ?
A : La présence de variables corrélées influence souvent le choix de la méthode de modélisation. La PLS, par exemple, est plus robuste face aux variables X corrélées. L'ordre des étapes peut également être une question de préférence. On peut procéder de deux manières : d'abord la sélection des prédicteurs, puis le clustering, ou inversement. Attention : le clustering peut manquer de précision en présence de nombreuses valeurs manquantes ou de colonnes invariables (comme les paramètres d'un instrument). Un nettoyage et une préparation supplémentaires des données sont parfois nécessaires avant de procéder au clustering.
Q : Comment choisiriez-vous l'algorithme de prédiction ?
A : C'est une question complexe et la réponse dépend de votre situation. Le plus souvent, un modèle linéaire sera le plus simple et le plus informatif. D'autres méthodes permettent de contourner des problèmes spécifiques liés aux données ou aux objectifs d'analyse.
Q : Pourquoi les termes linéaires sont-ils si fortement recommandés ? Si ma corrélation est Y=X^2, pourquoi JMP essaie-t-il constamment d'ajouter le terme X ?
A : Cela est lié à l'hérédité des effets. Parfois, les termes d'ordre supérieur sont significatifs, mais pas l'effet principal. Il est donc important de conserver l'effet principal. Par exemple, si vous le supprimiez, le filtre de prédiction n'afficherait pas de changement de pente ; vous verriez seulement la courbure et la prédiction serait moins précise.
Q : Pour le dépistage des prédicteurs, les données des facteurs et des réponses doivent-elles être recueillies dans le même ordre (appariées) ou peut-on utiliser des données recueillies de manière aléatoire (non appariées) ?
A : L'ordre n'a pas vraiment d'importance, mais pour l'analyse multivariée, on a souvent tendance à regrouper les Y. L'ordre dans lequel vous les ajoutez à Y correspond à l'ordre dans lequel ils apparaîtront dans la matrice.
Q : Une analyse de régression multilinéaire des facteurs x (600 colonnes) permettrait-elle de déterminer quelles colonnes x contribuent le plus au rendement ?
A : Si vous effectuez une simple régression linéaire sur 600 colonnes, vous diluez considérablement ce qui explique votre variable Y. Les méthodes arborescentes comme Partition sont très efficaces pour identifier précisément les colonnes qui, parmi ces 600, contribuent à votre résultat. Lors de la présentation de Predictor Screening par Scott, un échantillon aléatoire de lignes et de colonnes a été utilisé pour construire un arbre, répété 100 fois, puis la moyenne de ces 100 arbres a été calculée pour obtenir le résultat final. Avec Partition, vous pouvez forcer des actions, orienter les décisions à différents endroits ou suivre une variable lors de sa division. Vous pouvez ensuite consulter le rapport d'importance de la variance, ou…
L'historique des partitions et les variations du coefficient de détermination (R²) sont présentés. Cet exemple est trop volumineux pour être analysé en détail, mais il vous donnera une idée de l'utilisation de la fonction Partition.
Q : Si les 600 régressions linéaires distinctes diluent le pouvoir explicatif de votre modèle, est-ce pour cela que Response Screening utilise la correction FDR (taux de fausses découvertes) dans ces statistiques récapitulatives (que Scott a montrées et sous-estimées ascendantes auparavant) pour essayer de compenser cela ?
A : Par hasard, on peut trouver des éléments très pertinents, qu'il est important de filtrer. Or, on ne souhaite pas que ces découvertes soient le fruit du hasard, c'est pourquoi le FDR permet de corriger ce biais. J'insiste sur le terme « permet », car aucun modèle n'est parfait. De même, pour tous les modèles arborescents, en cas de linéarité multiple, il est préférable de commencer par isoler la variance et identifier les variables les plus importantes, plutôt que d'intégrer toutes les variables directement dans le modèle. Il est parfois possible de construire des modèles d'ensemble avec JMP Pro .
Q : Existe-t-il trois autres méthodes pour faire cela avec JMP Pro ?
A; Oui, y compris en utilisant le module complémentaire XGBoost . Voir ci-dessous.
