<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Ciao a tutti,
Ho valutato le prestazioni di diversi modelli di classificazione (ad esempio, BayesNet, Random Forrest), su diversi dataset, misurando il punteggio F1 ( Punteggio F1 - Wikipedia, l'enciclopedia libera ) ottenuto con una convalida incrociata di dieci volte. I miei dati hanno quindi le seguenti colonne: modello di classificazione, set di dati, punteggio F1.
Ora voglio testare se:
1) C'è una differenza statistica tra i predittori.
2) Esiste una differenza statistica tra il miglior predittore e tutti gli altri.
Il mio approccio sarebbe quello di fare:
-Adatta con x, con y = F1 e x = modello di classificazione
-Non test parametrico Wilcoxon: questo risponderà al punto 1.
-Non parametrico confronto multiplo: test Wilcoxon: questo risponderà al punto 2.
Tuttavia, vedo altri test rispetto a Wilcoxon e mi chiedo se quello che sto facendo sia corretto.
Grazie per l'aiuto,
Davide
Ciao Davide,
Penso che il tuo approccio sia ragionevole.
Un altro metodo che potresti guardare sarebbe Oneway> Confronta medie> Con il migliore, Hsu MCB. Questa è una procedura di confronto multiplo che verifica se ciascun livello della variabile X è significativamente diverso dal livello "migliore". L'output mostrerà i valori di p per confrontare tutti i livelli con il massimo e con il minimo.
Puoi trovare alcune informazioni sull'opzione nella piattaforma Fit Y di X in JMP qui: Confronta i mezzi
Migliore,
Michael
