Découvrez comment utiliser des techniques statistiques simples pour identifier les variables et les interactions importantes dans vos données en tant que précurseur de la création de modèles de prédiction hautement performants et de la découverte d'informations supplémentaires.
Découvrez comment :
- Comprendre les conditions préalables à prendre en compte avant de commencer à identifier les variables importantes
- Nettoyer et préparer les données à l'aide de Column Viewer
- Identifiez et décidez comment gérer les valeurs aberrantes et les données manquantes en utilisant Explorer les valeurs manquantes, Explorer les valeurs aberrantes et Explorer les modèles
- Assurez-vous que l'ensemble de données est la meilleure représentation du système que vous prévoyez d'étudier<
- Utilisez les distributions dans les en-têtes de colonne et le générateur de graphiques pour explorer les données et visualiser les tendances
- Effectuer une analyse multivariée pour identifier variables corrélées
- Utilisez le filtrage des réponses pour identifier les variables les plus importantes qui affectent la réponse
- Utilisez le dépistage des prédicteurs (méthodes d'arbre de décision) pour tester de nombreux facteurs dans la prédiction d'une réponse
- Utiliser l'analyse multivariée pour identifier les variables avec une corrélation élevée
- Regrouper les variables pour regrouper les variables corrélées et identifier la variable unique la plus représentative
- Utilisez Fit Model>Response Screening et Stepwise Regression pour trouver des interactions et des termes d'ordre supérieur en fonction de vos variables importantes et uniques
Questions répondues par Scott @scott_allen et @Byron_JMP lors du webinaire en direct de juin 2023.
Q : Comment avez-vous "désélectionné" dans le générateur de graphiques ?
A : Cliquez sur l'espace blanc dans le graphique, pas sur un marqueur.
Q : Pourriez-vous développer davantage votre explication concernant la valeur P et son rang ? Qu'est-ce que cela signifie, son haut par rapport à son bas, à quoi s'attendre lorsque nous voyons certaines valeurs ou tendances, etc.
R : Pour la valeur p et la plupart des statistiques, considérez .En outre, lorsque vous êtes dans JMP et que vous souhaitez obtenir de l'aide sur une statistique (ou tout autre élément affiché).Sélectionnez Outils > ? et cliquez sur la zone (dans ce cas, l'en-tête de colonne de la valeur p) pour laquelle vous souhaitez obtenir de l'aide.Regarde aussi ce explication.
Q : En quoi la plate-forme de filtrage des prédicteurs est-elle différente du modèle de forêt aléatoire ?
R : Dans JMP, nous appelons Random Forest Forêt d'amorçage (parce que Random Forest est une marque déposée). C'est la même chose. Le dépistage prédictif n'inclut pas de modèle, uniquement le classement.
Q : Étant donné que l'écran des prédicteurs ne vous indique pas le pourcentage de variation attribué à chaque prédicteur individuel, y a-t-il une autre plate-forme qui fait exactement cela ?
R : Le rapport de sélection des prédicteurs affiche la liste des prédicteurs avec leurs contributions et leur classement respectifs. Les prédicteurs avec les contributions les plus élevées sont susceptibles d'être importants pour prédire Y. La colonne Contribution affiche la contribution de chaque prédicteur au modèle Bootstrap Forest. La colonne Portion du rapport affiche la contribution en pourcentage de chaque variable.
Q : L'analyse multivariée peut-elle avoir des nombres de corrélation absolus au lieu de -1 à 1 ?
R : Oui et non. Le tableau est une matrice de coefficients de corrélation qui résume la force des relations linéaires entre chaque paire de variables de réponse (Y). Voir méthodes multivariées .
Q : Comment sélectionneriez-vous les variables les plus importantes si vous aviez des variables indépendantes continues, binomiales (oui/non) et ordonnées (bas, moyen, haut) ?
R : Oui, vous pouvez utiliser toutes ces méthodes : le dépistage des prédicteurs et le dépistage des réponses.
Q : Avez-vous déjà utilisé la régression pas à pas ? JMP propose-t-il toutes les régressions de sous-ensembles possibles ?
R : Voir détails sur la régression pas à pas .
Q : Une grande partie de mes données contient plusieurs réponses, et je trouve que cela limite certaines des actions que je peux effectuer dans JMP. Effectuez-vous un nettoyage spécial des données à réponses multiples ou travaillez-vous avec elles telles quelles ? Je fais référence à une propriété de colonne "Multiple Response" (une liste de plusieurs points de données). Je suppose qu'il est plus facile de les diviser en deux colonnes différentes, mais je voulais voir s'il y avait un meilleur moyen.
A: Oui, nous vous laissons stocker réponses multiples dans une cellule comme un, mais pour les analyser, les diviser en différentes colonnes est correct.
Q : Comment les méthodes basées sur l'arborescence se comparent-elles à PLS ou PCA ?
R : Avec PCA ou PLS, nous essayons de représenter toutes les données avec ce plus petit nombre de variables latentes.Vous essayez de trouver un nombre réduit de dimensions pouvant représenter toutes les données. C'est différent des méthodes basées sur les arbres, qui vous aident à déterminer ce qui explique réellement quelque chose. Les méthodes arborescentes supplantent l'ACP et le PLS pour mieux construire. Les méthodes basées sur les arbres sont fantastiques pour modéliser les données, mais elles sont très sensibles aux changements et peuvent s'adapter à beaucoup de choses. Avec les méthodes basées sur les arbres où vous prenez un échantillon aléatoire des lignes et un échantillon aléatoire des colonnes chaque fois que vous créez un nouvel arbre, le rend vraiment robuste aux valeurs aberrantes, et il est capable de modéliser comme des interactions et comme des quadratiques ou cubes, s'ils existent dans les données. Ainsi, vous n'avez pas à faire un tas d'hypothèses.
Q : Puis-je utiliser le filtrage des prédicteurs et le filtrage des réponses pour les variables dépendantes qui sont numériques et mes variables indépendantes sont continues, binomiales et ordonnées.
R : Oui.
Découvrez comment :
- Utiliser JMP Partition pour identifier les facteurs significatifs
- Précisément et automatiquement tous les effets d'interaction du modèle
Modeling Workflow with Factor SelectionFlux de travail de modélisation avec sélection de facteurs
Scott Allen @scott_allen et Byron Wingerd @Byron_JMP répondu aux questions après la démo.
Q : Existe-t-il un didacticiel vidéo pour les outils des valeurs aberrantes ?
R : C'est un bon qui couvre le Explorer les valeurs aberrantes outil dans JMP.Vous pouvez également passer par le documentation et exemples .
Q : Pourquoi ne vous débarrassez-vous pas d'abord des variables corrélées ?
R : La présence de variables corrélées informe souvent la méthode de modélisation. PLS, par exemple, est plus robuste aux X corrélés. De plus, l'ordre peut être une préférence. Vous pouvez le faire dans les deux sens - dépistage des prédicteurs puis regroupement ou vice versa.Sachez que le regroupement peut être un peu imprécis lorsque vous avez beaucoup de valeurs manquantes ou de colonnes qui ne changent pas (comme un paramètre d'instrument).Parfois, un nettoyage et une préparation supplémentaires des données sont nécessaires si vous souhaitez commencer par le clustering.
Q : Comment décideriez-vous de l'algorithme de prédiction ?
R : C'est une question compliquée et la réponse dépend de votre situation. La plupart du temps, un modèle linéaire sera le plus simple et le plus informatif. D'autres méthodes permettent de contourner des problèmes spécifiques avec les données ou les objectifs d'analyse.
Q : Pourquoi les termes linéaires sont-ils si fortement recommandés ?Si ma corrélation est Y=X^2, pourquoi JMP continue-t-il d'essayer d'ajouter le terme X ?
A: Cela se rapporte à l'hérédité de l'effet. Parfois, vos termes d'ordre supérieur sont significatifs, mais pas l'effet principal. Donc, vous voulez garder l'effet principal.Par exemple, si vous supprimiez l'effet principal, dans le fichier de prédiction, vous ne verriez pas la pente changer, vous verriez simplement la courbure et n'obtiendriez pas une prédiction aussi bonne.
Q : Pour le dépistage prédictif, les données des facteurs et des réponses doivent-elles être recueillies dans le même ordre (appariées) ou des données recueillies au hasard (non appariées) peuvent être utilisées.
R : L'ordre n'a pas vraiment d'importance, mais pour l'analyse multivariée, nous aimons souvent ajouter des Y dans un groupe.L'ordre dans lequel vous les ajoutez à Y est l'ordre dans lequel ils seront affichés dans la matrice.
Q : Une analyse de régression multilinéaire des facteurs x (600 colonnes) aiderait-elle à identifier les colonnes x qui contribuent le plus au rendement ?
R : Si vous faites juste une régression linéaire sur 600 colonnes, vous diluez vraiment ce qui explique votre Y. Les méthodes d'arborescence comme Partition fonctionnent très bien pour essayer de déterminer laquelle de ces 600 colonnes vous y amène. Lorsque Scott a montré Predictor Screening, il a pris un échantillon aléatoire des lignes et des colonnes et il construit un arbre, le fait 100 fois et fait la moyenne sur ces cent arbres pour vous donner le résultat.Avec Partition, vous pouvez forcer les choses à se produire, vous pouvez forcer les décisions à se produire à différents endroits ou suivre quelque chose au fur et à mesure qu'il se divise. Vous pouvez ensuite consulter le rapport sur l'importance de la variance, ou
l'historique de fractionnement et les changements de R-Square.Cet exemple est trop volumineux pour le faire, mais vous donnera une idée de la façon d'utiliser Partition.
Q : Si les 600 régressions linéaires distinctes diluent le pouvoir explicatif de votre modèle, est-ce la raison pour laquelle le filtrage des réponses utilise la correction FDR (False Discovery Rate) dans ces statistiques récapitulatives (que Scott a montrées et raccourcies avant) pour essayer de compenser cela ?
R : Par le seul hasard, vous allez trouver des choses qui sont vraiment bonnes, vous voulez essayer de les filtrer. Nous ne voulons pas trouver des choses par hasard, seuls, donc FDR aide à corriger cela.J'insiste sur AIDE, car aucun modèle n'est parfait. De même, tous les modèles basés sur des arbres, dans les situations où vous avez une linéarité multiple, sont les meilleurs lorsque vous essayez d'abord de séparer la variance et de trouver les variables qui sont vraiment les plus importantes au lieu de tout jeter dans le modèle.Parfois, vous pouvez créer des modèles d'ensemble à l'aide de JMP Pro .
Q : Existe-t-il d'autres méthodes pour effectuer cette opération avec JMP Pro ?
UN; Oui, y compris en utilisant le Complément XGBoost .Voir ci-dessous.
Salut @HelenaG
Merci pour les questions. Je pense que Predictor Screening est un excellent outil et je suis heureux que vous le trouviez utile. Au lieu de répondre à votre question individuelle, permettez-moi d'expliquer un peu plus en détail ce qui se passe dans cette analyse.
L'analyse Predictor Screening exécute un modèle de partition Bootstrap Forest (avec 100 arbres de décision par défaut), puis classe les prédicteurs en fonction de leur contribution au modèle. En bref, l'analyse Bootstrap Forest calcule la moyenne de nombreux arbres de décision. Pour créer un arbre, il faut un amorcer échantillon d'observations et ajuste récursivement un modèle en effectuant des scissions avec un ensemble aléatoire de prédicteurs. Cela continue jusqu'à ce qu'une règle d'arrêt soit satisfaite. Ensuite, un autre arbre est créé avec un nouvel ensemble d'observations bootstrap et des fractionnements de prédicteurs aléatoires. Une fois que tous les arbres ont été créés, ils sont moyennés dans une "forêt" d'arbres (d'où le nom).
De retour à la sortie du filtrage des prédicteurs, la colonne de contribution fournit la somme des carrés pour une réponse numérique continue et G^2 pour une réponse catégorique. La colonne de la portion est la contribution du prédicteur individuel divisée par la somme de toutes les contributions. Ce n'est pas la même chose que la variance expliquée par chaque prédicteur individuel.
Pour en savoir plus sur ces plateformes, je vous recommande de lire le Modèle de partition et Forêt Boostrap aperçus dans la documentation.
-Scott
Salut @nick_shelton,
Grâce à votre présentation, j'utilise le dépistage Predictor et je suis vraiment satisfait des résultats. Concernant cette plateforme, je demande maintenant votre expertise approfondie sur les points suivants :
1. Comment est calculée la part qui est présentée dans les résultats du JMP pour le dépistage des prédicteurs ? Je veux dire, en termes de Bootstrap Forest (BF), que signifie cette partie et comment la valeur spécifique est-elle atteinte ? (J'écris un article scientifique à l'aide de cela et j'aurais besoin de ce détail).
2. En termes d'interprétation, j'ai compris que cette partie explique le pourcentage de variabilité d'une réponse (rendement) expliquée par un prédicteur. Est-ce correct?
3. Toujours dans la plate-forme de filtrage des prédicteurs, que signifie "colonne de contribution" ?Comment est-il calculé en termes d'algorithme BF?
Merci d'avance, Nick!
Nick Shelton @nick_shelton , responsable de JMP SE, a présenté ce sujet dans le passé et j'ai retiré les anciennes vidéos.J'ai emprunté un commentaire qu'il a fait au spectateur @HelenaG parce qu'il peut être pertinent pour toute personne visionnant cette vidéo et Q&A par JMP SEs Scot Allen @scott_allen et Byron Wingerd @Byron_JMP :
Hélène a demandé :
J'aimerais mieux comprendre ce qui suit : toutes les étapes liées à l'identification et à l'évaluation des interactions (avec les outils de dépistage des réponses et de régression pas à pas) sont basées sur une hypothèse linéaire - est-ce exact ? Si oui, y a-t-il une suggestion pour vérifier les interactions non linéaires ?
Nick a écrit :
J L'identification des interactions est mieux réalisée par l'expertise du domaine et une compréhension scientifique/physique connue des variables analysées.
Lorsque les interactions entre les variables ne sont pas bien comprises, la personnalité du modèle "Response Screening" dans Fit Model fonctionne bien pour quantifier la force entre les termes d'interaction individuels et la variable de réponse.
La personnalité du modèle "Régression pas à pas" dans Fit Model fonctionne bien pour identifier la meilleure combinaison de termes (Ex : effets principaux, interactions...) à utiliser pour un modèle potentiel.
Le terme modèle "linéaire" fait référence à la façon dont la formule du modèle est structurée, mais les personnalités des modèles "Response Screening" et "Stepwise Regression" dans Fit Model peuvent également être utilisées pour explorer des relations non linéaires.
Nous pouvons inclure des effets et des interactions non linéaires dans une analyse en ajoutant des termes polynomiaux.
Dans Ajuster le modèle, vous pouvez explorer toutes les relations polynomiales (non linéaires) en ajoutant le terme correspondant dans la zone Effets du modèle (Ex : Relation quadratique (x1*x1), Relation cubique (x1*x1*x1), Interaction quadratique (x1* x1*x2)...)
Pour plus d'informations sur les polynômes et sur la manière dont ils peuvent aider à comprendre les relations entre les variables, veuillez regarder la courte vidéo ci-dessous :
https://community.jmp.com/t5/Short-Videos/Fitting-Polynomial-Models/ta-p/271953
