Sto cercando di eseguire test di permutazione e convalide incrociate Monte Carlo con il set di dati di esempio Iris come MWE per il nostro set di dati. Non sono sicuro se sto facendo le cose e interpretando correttamente l'output.
1) Creare una nuova colonna formula (Casuale->Campione senza sostituzione) per la colonna Specie per il test di permutazione.
2) Creare una colonna di convalida (divisione 0,75/0,25) e una nuova colonna formula (casuale->campione senza sostituzione) utilizzandola per la convalida incrociata Monte Carlo
3) Eseguire la piattaforma discriminante con la colonna Convalida e visualizzare le curve ROC. Utilizzare la piattaforma di simulazione sull'area della curva ROC
4.1) Per il test di permutazione: selezionare Specie come colonna da disattivare e Shuffle[Species] come colonna da inserire. Immettere il numero desiderato di campionamento casuale e seme casuale ed eseguire la simulazione.
4.2) Visualizza lo script delle distribuzioni e prendi nota del p-value empirico.
5.1) Per la convalida incrociata Monte Carlo, selezionare la convalida come colonna da sostituire e Shuffle [Convalida] come colonna da inserire. Immettere il numero desiderato di campionamento casuale e seme casuale ed eseguire la simulazione.
5.2) Visualizza lo script delle distribuzioni e prendi nota del p-value empirico.
6) Supponendo che ciò che ho fatto sia corretto (testando l'area della curva ROC), è previsto il valore p basso dal test di permutazione, ma per quanto riguarda il valore p elevato per la convalida incrociata Monte Carlo? Come dovrebbe essere interpretato?
Grazie
