<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Salut à tous,
J'ai évalué les performances de plusieurs modèles de classification (BayesNet, Random Forrest, par exemple), sur plusieurs jeux de données, en mesurant le score F1 ( Score F1 - Wikipedia, l'encyclopédie gratuite ) réalisée par une validation croisée de dix fois.Mes données, ont donc les colonnes suivantes: modèle de classification, jeu de données, score F1.
Maintenant, je veux tester si:
1) Il existe une différence statistique entre les prédicteurs.
2) Il existe une différence statistique entre le meilleur prédicteur et tous les autres.
Mon approche serait de faire:
- Ajuster y par x, avec y = F1 et x = modèle de classification
-Non paramétrique de Wilcoxon: cela répondra au point 1.
- Comparaison multiple non paramétrique: test de Wilcoxon: cela répondra au point 2.
Cependant, je vois d’autres tests que Wilcoxon et je me demande si ce que je fais est correct.
Merci de votre aide,
Davide
Bonjour Davide,
Je pense que votre approche est raisonnable.
Une autre méthode que vous pourriez envisager serait Oneway> Comparer les moyens> avec Meilleur, Hsu MCB. Il s'agit d'une procédure de comparaison multiple qui teste si chaque niveau de la variable X est significativement différent du "meilleur" niveau. La sortie affichera les valeurs p permettant de comparer tous les niveaux avec le maximum et le minimum.
Vous trouverez des informations sur les options de la plateforme Fit Y by X dans JMP ici: Comparer les moyens
Meilleur,
Michael
