La modélisation prédictive consiste à trouver le modèle qui prédit avec précision le résultat d'intérêt. Disons, par exemple, que je veux prédire la progression d'une maladie particulière - dans ce cas, le diabète - après un an, en fonction d'un certain nombre de facteurs. Plus précisément, je veux identifier les patients les plus susceptibles d'avoir une progression élevée de la maladie afin que des interventions appropriées puissent être faites.
j'ai JMPPro, et je sais qu'il existe plusieurs modèles prédictifs possibles que je peux adapter. Par exemple, je peux adapter un modèle de régression, divers types de modèles arborescents ou un réseau de neurones, pour n'en nommer que quelques-uns. Quelle plateforme de modélisation dois-je utiliser ? Quel type de modèle prédira le résultat le plus précisément ? Pour toute situation de modélisation donnée, le meilleur modèle dépend en grande partie des données - il n'y a pas un seul type de modèle qui fonctionne le mieux pour tous les problèmes.
Pour trouver le meilleur modèle pour le scénario du diabète, je peux adapter tous les modèles possibles, un à la fois, en utilisant la validation croisée. Je peux enregistrer les modèles individuels dans la table de données ou dans le dépôt de formules, puis utiliser la comparaison de modèles pour comparer les performances des modèles sur le jeu de validation afin de sélectionner le meilleur. Ou je peux sélectionner la meilleure combinaison de modèles. Bien que cette méthode fasse plus que faire le travail, elle nécessite un peu de travail.
Désormais, avec la nouvelle plate-forme Model Screening de JMP Pro 16, nous avons rendu cela beaucoup plus facile. Model Screening fournit un flux de travail efficace pour ajuster, comparer, explorer, sélectionner et déployer simultanément le meilleur modèle prédictif.
Pour illustrer, j'utiliserai les données sur le diabète de la bibliothèque d'exemples de données JMP. La réponse, ou variable de résultat, est Y Binary, qui a deux valeurs possibles : Low (pour une faible progression de la maladie) et High. Les prédicteurs, ou facteurs, vont de l'âge à la glycémie.
Je sélectionne Model Screening dans le menu Analyze > Predictive Modeling et spécifie la réponse et les facteurs. La colonne Validation partitionne les données en ensembles de formation et de validation, je vais donc l'utiliser pour la validation du modèle.
La partie supérieure de la boîte de dialogue Model Screening s'affiche ici :
Au bas de la boîte de dialogue, vous avez le choix entre plusieurs méthodes de modélisation différentes, ainsi que de nombreuses options d'ajustement et de validation croisée. Notez que XGBoost est une méthode disponible, car j'ai installé le Complément XGBoost du Communauté d'utilisateurs JMP .
J'utiliserai les modèles par défaut, mais ajouterai des interactions bidirectionnelles et définirai la graine aléatoire sur 11111 pour rendre mes résultats reproductibles.
Tous les modèles qui ont un sens pour ces données sont ajustés et plusieurs statistiques de validation sont fournies. Les modèles sont triés par ordre décroissant de RSquare généralisé, mais pour trouver le ou les modèles qui se démarquent dans toutes les statistiques de validation, je clique sur Sélectionner dominant.
Je peux voir que les meilleurs modèles, dans l'ensemble, sont Neural Boosted et Generalized Regression Lasso avec des interactions bidirectionnelles.
Pour explorer les classifications de ces modèles, je sélectionnerai Seuil de décision dans le menu supérieur du triangle rouge. Cette option fournit une mine d'informations pour comparer la précision de la classification des modèles sélectionnés. La section supérieure montre la répartition des classifications vraies et fausses pour chaque modèle, et si je modifie le seuil de probabilité (soit en faisant glisser la ligne du curseur, soit en utilisant la zone d'édition), je peux voir comment les classifications et les erreurs de classification changent pour différents seuils.
La section inférieure comporte des onglets affichant différents graphiques et mesures de classification. L'onglet Métriques pour les données de validation est affiché ici. Dans ce scénario, je souhaite identifier les patients les plus susceptibles d'avoir un taux élevé de progression du diabète. Donc, je veux trouver le modèle qui donne le taux de faux négatifs le plus bas. À un seuil de probabilité de 0,42, le modèle de régression généralisée a un faible taux de faux négatifs, tout en maintenant un faible taux de faux positifs par rapport à l'autre modèle.
Maintenant, je voudrais peut-être regarder de plus près ce modèle. Le dépistage du modèle rend cela transparent. Je peux facilement exécuter le modèle sélectionné dans une nouvelle fenêtre en cliquant sur Exécuter la sélection.
Ou, sans quitter Model Screening, je peux voir les résultats directement dans le plan Détails comme indiqué ici. Dans Model Screening, j'ai accès à toutes les options que je verrais dans Generalized Regression. Ainsi, par exemple, je peux interagir avec le chemin de la solution et je peux enregistrer ou publier le modèle pour le déploiement. Je peux même exécuter d'autres modèles pour voir si je peux encore améliorer la précision du modèle.
Je n'ai fait qu'effleurer la surface de Model Screening ici, mais j'espère que vous pourrez voir comment ce flux de travail rationalisé peut vous aider à économiser beaucoup de temps et d'efforts ! Il vous suffit de spécifier les variables de votre modèle, de sélectionner les modèles que vous souhaitez ajuster et la méthode de validation, et Model Screening s'occupe du reste !
Pour en savoir plus sur l'ajustement et la validation des modèles prédictifs dans JMP Pro, accédez à la page des fonctionnalités clés sur notre site Web.
Ce que disent les clients
"Ayant utilisé le criblage de modèles sur JMP Pro 16 bêta ces derniers mois, il est déjà devenu un élément indispensable de mes recherches sur la modélisation prédictive des récifs coralliens. Bien que les modèles puissent être comparés assez facilement dans les versions antérieures de JMP Pro (par exemple, la plate-forme de « comparaison de modèles » de JMP Pro 15), ce nouvel outil permet aux utilisateurs de tester encore plus facilement de nombreux modèles différents (par exemple, gen-reg, PLS, discriminant, réseaux de neurones, etc.) avec le même jeu de données. Quelque chose qui me prenait autrefois des heures voire des jours peut maintenant être fait en quelques minutes (voire quelques secondes).Wow, quelle fonctionnalité géniale ! Ce doit sûrement être la plus grande amélioration de la version 15 à 16, et je suis sûr que beaucoup d'autres ressentiront la même chose."
- Anderson Mayfield, National Oceanic and Atmospheric Administration (NOAA) et l'Université de Miami
SALUT @PatrickGiuliano , c'était un exemple relativement superficiel, et j'ai choisi 0,42 comme seuil à des fins d'illustration. L'objectif ici était de trouver un seuil qui conduisait à un faible taux de faux négatifs tout en maintenant un faible taux de faux positifs. Mais, qu'est-ce qui constitue des tarifs acceptables ? Cela dépend en grande partie de la situation ou du problème de recherche et des "coûts" d'un type particulier d'erreur. Pour une situation particulière, vous pourriez être prêt à accepter un taux de faux positifs plus élevé s'il en résulte un meilleur taux de faux négatifs.Les graphiques peuvent aider à trouver le sweet spot, à équilibrer les deux taux.
Il s'agit d'un petit ensemble de données, donc les résultats sont assez granulaires. Mais, dans le deuxième graphique ici, je vois que le taux de faux positifs pour les neurones boostés commence à croître rapidement après environ 0,45 ou 0,5, et le taux de faux négatifs chute rapidement jusqu'à ce point, et commence à se stabiliser quelque peu.
L'idée d'ajouter une option "paramètres mémorisés" est convaincante. Accepteriez-vous de publier ceci sur la liste de souhaits JMP ?
Merci!
Mia
@mia_stephens c'est super cool, je suis intrigué par la fonctionnalité "Decision Thresholds" et j'essaie de la comprendre un peu mieux.Dans votre exemple ici, avez-vous essentiellement choisi "l'intersection" sur le nombre d'erreurs de classification par rapport au seuil de probabilité pour les courbes élevées (le point que j'ai encerclé en noir dans l'image jointe) pour déterminer que le seuil de probabilité de 0,42 serait un bon choix pour minimiser les faux négatifs (tout en maintenant le taux de faux positifs à peu près au même niveau ?)
J'ai utilisé JMP 16 EA8 et exécuté presque la même configuration, sauf que j'ai spécifié 'XGBoost' comme option d'ajustement du modèle dans la boîte de dialogue de sélection du modèle (conservé la même graine aléatoire à 1111). 
Peut-être qu'une fonctionnalité utile ici serait de "mémoriser les paramètres" de la même manière que cela peut être fait dans le profileur de prédiction (où il génère un bouton radio pour atteindre le paramètre enregistré) afin que vous puissiez facilement basculer entre différents seuils de probabilité pour voir directement/ comparez l'effet aux seuils spécifiques qui vous intéressent. Exemple d'image ci-joint.
