Visualisation du modèle? Visualisation de données a gagné du terrain au cours des dernières années, avec de nombreux livres et exposés intéressants axés sur l'amélioration de nos compétences en visualisation de données. Xan Gregg de JMP a récemment parlé de la visualisation de données sur Analytiquement parlant ). La visualisation de modèle consiste simplement à appliquer la visualisation de données à des modèles.
Lorsque je peux «voir» le modèle, ma confiance en moi et ma capacité à partager et à expliquer le modèle augmentent également. Alors que le profileur est un outil de visualisation de modèle dans JMP à ne pas négliger, je vais ici examiner un graphique de données simple pour un type de modèle spécifique, illustrant ainsi la visualisation du modèle.
Un domaine dans lequel je travaille est le diagnostic médical (par exemple, une analyse de sang pour une condition). Nous commençons souvent avec un grand nombre (par exemple 1 000) de facteurs modèles potentiels (souvent appelés marqueurs, comme marqueur biologique pour une maladie, une condition ou un état), puis nous travaillons pour réduire ce nombre à un petit nombre (10 par exemple). facteurs pour construire un algorithme (modèle) pouvant être implémenté sur un équipement de laboratoire.
Tout au long de ce processus, nous avons des modèles candidats à évaluer. Les courbes ROC et l'aire sous la courbe ROC (AUC) sont un moyen standard d'évaluer de tels modèles de diagnostic. Cependant, même s’ils sont utiles, ils ne racontent pas toute l’histoire. Des courbes de formes différentes peuvent avoir une AUC similaire, et souvent une zone de la courbe (là où la sensibilité est élevée) peut présenter un intérêt clinique supérieur à celui de la courbe entière.
En plus des courbes ROC, j'ai trouvé qu'un graphique de l'état de la maladie en fonction du résultat du modèle, utilisant des points de données ainsi que des graphiques de violon (comme indiqué ci-dessous), facilite l'évaluation et la compréhension du modèle. Ce graphique donne une idée de la capacité du modèle à séparer les données et donne une idée immédiate de la façon dont le décalage de la valeur limite (la valeur utilisée pour distinguer le positif du négatif) a une incidence sur les performances de diagnostic.
Un tel graphique est également utile pour comprendre si le test de diagnostic peut être plus utile en tant que test à trois voies où vous pouvez identifier avec confiance des sujets négatifs et positifs, mais avoir des sujets au milieu pour lesquels des informations supplémentaires sont nécessaires avant un jugement clinique. .
La visualisation de modèle fait partie intégrante de ma stratégie de création de modèle. Avez-vous une visualisation de modèle préférée?
DATA IN MOTION - Visualisation de modèle a écrit:
[…] JMP Blog Pourquoi la visualisation de modèle fait partie intégrante de la construction de modèle […]
Simon Walton a écrit:
Un excellent post! Visualiser un modèle peut être très puissant, et il est bon que tant de chercheurs s'y intéressent. Vis peut être utile non seulement pour comprendre le modèle, mais également pour créer / affiner le modèle, comme vous l'avez déjà mentionné. Pouvoir ajuster les paramètres et visualiser les résultats de manière interactive est un peu le Saint Graal. Notre groupe vis a écrit un article sur l’utilisation de l’analyse visuelle pour le développement de modèles (dans un contexte de cybersécurité) l’année dernière à IEEE VizSec: http://ieeexplore.ieee.org/xpl/articleDetails.jsp?reload=true&arnumber=7312767 . La visualisation de modèles individuels n'était pas au centre des préoccupations, mais plutôt du processus global de gestion des modèles dans un environnement opérationnel.
