Bonjour,
Comment puis-je effectuer un test statistique dans JMP pour garantir que les résultats obtenus à partir de différentes méthodes de classification ne sont pas dus au hasard après avoir obtenu divers résultats ?
Je ne connais aucun test statistique permettant de déterminer si ces différents modèles varient « de manière significative » ou non, mais je ne pense pas que ce soit la bonne façon de procéder. Vous avez un certain nombre de choses pertinentes à comparer. En utilisant les données de validation (ou les données de test si vous disposez d'un ensemble de données suffisamment important pour les avoir créées), vous pouvez examiner le ROC, les taux de classification erronée, l'entropie et les mesures R au carré généralisées, ainsi que des analyses détaillées des classifications erronées effectuées par chaque modèle - avec des ajustements appropriés dans les probabilités de coupure pour les classifications. Ce que j'ai tendance à faire, c'est d'examiner de près les distributions de probabilité de prédiction que chaque modèle donne et d'évaluer l'utilité de chaque modèle pour le problème en question. Les faux positifs et les faux négatifs ont rarement la même importance, vous voulez donc vraiment un modèle qui fonctionne « bien » pour le problème de décision que vous modélisez. Et les distributions de probabilité prédites fournissent généralement des preuves riches à utiliser pour faire cette évaluation.
comment puis-je enregistrer les résultats de r2 dans une table Windows ? parce que je veux faire un test anova dessus
Cliquez avec le bouton droit sur la zone du tableau et sélectionnez soit créer un tableau de données, soit créer un tableau de données combiné.
Bonjour @maryam_nourmand ,
Si votre objectif est d'évaluer la robustesse des performances du modèle, je ne peux que recommander et souligner les options apportées par @dlehman1 .
Il existe plusieurs manières d'évaluer la robustesse d'un modèle :
- En mesurant les performances du modèle sous différentes graines aléatoires (car le hasard fait partie de l'apprentissage dans le modèle ML : « Pas d'apprentissage sans aléatoire » ),
- En mesurant les performances du modèle sous différents ensembles d'entraînement et de validation.
Dans la deuxième option, l'utilisation d'une colonne de formule de validation et de l'option "Simuler" permet de tester le modèle dans un grand nombre de conditions/ensembles d'entraînement différents. Vous pouvez en savoir plus sur la façon de procéder dans JMP dans les articles suivants :
Comment puis-je automatiser et résumer de nombreuses validations répétées dans une seule table de sortie ?
Arbre optimisé - CONCEPTION DE LA TABLE DE RÉGLAGE
Avec les résultats de ces simulations, vous pouvez ensuite visualiser et comparer les distributions de performances entre différents modèles, et éventuellement effectuer des tests statistiques si nécessaire, par exemple comparer les performances moyenne/médiane/variance des simulations de prédiction entre différents modèles.
Comme l'a indiqué @dlehman1 , les mesures par défaut sont intéressantes, mais vous souhaiterez peut-être les affiner, car les erreurs de classification peuvent ne pas avoir la même « importance ».
Soyez également prudents quant aux probabilités affichées par les modèles ML si vous comptez les utiliser comme « niveaux de confiance », elles ne sont pas toutes calibrées, et selon les modèles choisis et la taille de l'échantillon, cela peut avoir des impacts et des conséquences différents. Plus d'informations sur le sujet de l'étalonnage :
https://scikit-learn.org/stable/auto_examples/calibration/plot_compare_calibration.html
https://ploomber.io/blog/calibration-curve/
J'espère que cette réponse et quelques considérations pourront vous aider,
