586394_fr-FR

liliconcom

Model Screening : Graphiques et nouvelles métriques pour comparer les méthodes : AICc/BIC, temps de calcul, émissions de CO2 ... ?

Bonjour l'équipe et la communauté JMP,

 

Voici mes propositions, principalement axées sur la plateforme "Model Screening", mais elles pourraient peut-être être étendues à d'autres plateformes si cela est pertinent. J'espère que ces idées ne sembleront pas trop folles ou « décalées ».

 

• Qu'est-ce qui a inspiré cette demande de liste de souhaits ?
  • Lors de la comparaison de différentes méthodes via la plateforme « Model Screening », les métriques utilisées pour comparer les méthodes sont R² et Mean/Std RASE. Même s'il peut déjà orienter et mettre en lumière certains choix concernant les « meilleures méthodes », il peut être parfois difficile de comparer et de faire un choix lorsque les résultats sont similaires entre plusieurs méthodes.
  • Il ne semble y avoir aucune indication sur la "complexité" des méthodes utilisées dans cette plateforme (peut-être via un critère d'information comme AICc/BIC, ou une simple métrique de temps de calcul ("temps écoulé" disponible dans le triangle rouge mais pas par défaut) ), ce qui pourrait être une information intéressante et importante si le modèle doit être utilisé en production, où la latence du modèle pourrait être un paramètre important.
  • Enfin, la durabilité étant aujourd'hui l'une des priorités les plus importantes, il pourrait être intéressant de comparer les modèles non seulement sur leurs performances « statistiques », mais également de prendre en compte le temps de calcul/consommation d'énergie à travers des métriques pertinentes.

 

• Quelles sont les améliorations que vous aimeriez voir ?  
  • Serait-il possible d'ajouter des graphiques concernant l'évolution de R² pour différentes méthodes, et peut-être aussi un graphique avec Mean RASE (et Std RASE comme intervalles dans le graphique) pour mieux évaluer les différences entre les méthodes ?
  • Serait-il possible d'ajouter d'autres métriques d'évaluation, notamment une métrique centrée sur la complexité du modèle (AICc/BIC et/ou temps de calcul par défaut) ? Cela peut aider à faire le tri dans les performances des modèles similaires en favorisant les plus simples (comme il se doit, privilégiez toujours les modèles parcimonieux/simples si/quand cela est possible).
  • Puisque le temps de calcul est facilement enregistré (le « temps écoulé » est disponible dans les options du triangle rouge), il serait intéressant de mettre en évidence cette information dans les résultats de la plateforme comme indication de la « durabilité/complexité du modèle ». Si possible, l'utilisation de ces informations et des informations de l'équipement/appareil/ordinateur utilisé par JMP peut permettre de créer des indicateurs, comme l'initiative open source "Code Carbon", fournissant des émissions de CO2 basées sur le temps de calcul, le GPU/CPU, l'énergie consommation : Motivation — Documentation CodeCarbon 2.0.0 (mlco2.github.io)

 

• Pourquoi cette idée est-elle importante ?
  • Comme JMP est réputé pour son interactivité entre les graphiques et sa facilité d'utilisation/d'accès grâce à des graphiques utiles qui aident les non-statisticiens à obtenir les informations pertinentes, il serait intéressant d'envisager d'ajouter quelques visualisations dans la plateforme "Model Screening", puisque les graphiques disponibles sont "uniquement" "Réel par Prédit" et "Profileur". Il peut y avoir un manque de visualisation pour le processus de prise de décision concernant le choix de la méthode.
  • JMP étant destiné aux ingénieurs et aux scientifiques, avoir une idée claire de la complexité d’un modèle peut aider à choisir le meilleur compromis entre précision, explicabilité et rapidité. L'ajout d'une métrique de complexité peut également aider les utilisateurs de JMP à l'envisager non seulement à des fins d'exploration/découverte, mais également comme outil de prototypage pour le mode production, où la latence des modèles est un facteur important.
  • JMP compte déjà dans sa communauté de nombreuses personnes dévouées ou passionnées par l'environnement. Les « Data for Green » mettent également en évidence l'engagement de JMP en faveur de la durabilité et de l'environnement. Être capable de fournir sur cette plateforme des informations susceptibles de mettre en évidence l'impact et d'aider à différencier les méthodes basées sur une métrique pertinente semble être une énorme opportunité et un différenciateur clé par rapport à d'autres logiciels, tout en étant capable de sensibiliser.

 

J'ai hâte de connaître vos retours, et si des personnes sont intéressées à commenter, n'hésitez pas

Bonne année et bonne chance,

 

 

Exploration et visualisation des donnéesRe: Model Screening : Graphiques et nouvelles métriques pour comparer les méthodes : AICc/BIC, temps de calcul, émissions de CO2 ... ?

Merci pour cette suggestion @Victor_G , j'ai partagé avec le développeur pour examen.

Re: Model Screening : Graphiques et nouvelles métriques pour comparer les méthodes : AICc/BIC, temps de calcul, émissions de CO2 ... ?

Salut @mia_stephens ,

 

Oui, ce type de graphique pourrait être intéressant pour visualiser les performances de la plateforme Model Screening.

Une autre option pour le graphique RASE en cas de validation croisée K-folds (sur le jeu de données Diamonds) pour mieux évaluer la variabilité des prédictions en utilisant StdDev RASE :

 

Ok pour les calculs AICc et BIC, merci pour la réponse !
Meilleur,

Re: Model Screening : Graphiques et nouvelles métriques pour comparer les méthodes : AICc/BIC, temps de calcul, émissions de CO2 ... ?

Salut @Victor_G ,

 

Recherchez-vous ce type de graphique dans Model Screening ? Ou avez-vous d’autres exemples en tête ?

 

Concernant la complexité du modèle, voici la réponse du développeur : " AICc et BIC ne sont pas disponibles pour de nombreuses méthodes, telles que les méthodes basées sur les arbres ou Neural, bien qu'il existe une certaine littérature sur la façon de s'en approcher. Les méthodes prédictives ont tendance à créer des modèles complexes qui sont limités par un arrêt précoce à l'aide de l'ensemble de validation, de sorte qu'il existe une certaine restriction sur la complexité."

 

Mia

 

Re: Model Screening : Graphiques et nouvelles métriques pour comparer les méthodes : AICc/BIC, temps de calcul, émissions de CO2 ... ? - Statut changé en : EnquêteRe: Model Screening : Graphiques et nouvelles métriques pour comparer les méthodes : AICc/BIC, temps de calcul, émissions de CO2 ... ? - Statut changé en : Acquitté

Salut @Victor_G , Merci pour votre suggestion! Nous avons pris en compte votre demande et la prendrons en considération.

Re : Screening de modèles : Graphiques et nouvelles métriques pour comparer les méthodes : AICc/BIC, temps de calcul, émissions de CO2... ? - Statut changé en : Reconnu