matrice di confusione di cut-off alternativaHo usato molte volte il componente aggiuntivo della matrice di confusione della probabilità di interruzione alternativa.Improvvisamente sta producendo risultati privi di senso su alcuni set di dati.Ho verificato che funziona ancora come previsto su un vecchio set di dati.In allegato c'è uno dei set di dati recenti in cui non sembra funzionare.La variabile target è Stroke e ho una colonna Convalida e un numero di probabilità del modello di previsione etichettate con la probabilità di un ictus dato il nome del metodo di modellazione (ad esempio, guarda la colonna etichettata come albero potenziato o regressione logistica per 2 esempi che sono non funziona correttamente).Gli ictus sono molto rari (circa il 5%) nel set di dati e le probabilità derivate dai modelli predittivi sono corrispondentemente piccole.Ma quando utilizzo il componente aggiuntivo e una gamma di probabilità di cutoff da 0,1 a 0,9, continuo a ricevere zero previsioni di ictus, il che non corrisponde alla distribuzione delle probabilità di questi modelli (che, come ho detto, sono bassi, ma non zero).Qualcuno può far luce sul motivo per cui sta accadendo?
Grazie.
AnalyticsRi: matrice di confusione di cut-off alternativaCiao @dale_lehman ,
Posso confermare che il componente aggiuntivo della matrice di confusione di interruzione alternativa non funziona sulle colonne di previsione che hai menzionato nel tuo post. Tuttavia, ho rieseguito la piattaforma Boosted Tree seguendo gli stessi predittori e la risposta che hai usato, anche verificato che l'equazione fosse la stessa, ma il componente aggiuntivo della matrice di interruzione alternativa ha funzionato correttamente con questa nuova formula. Ho trovato la stessa cosa con la logistica nominale adatta. Se lo rieseguo (finisco con un'equazione diversa), posso eseguire il cut-off alternativo e funziona come previsto. Uso JMP Pro 15.2.1. Qualcosa potrebbe essere un po 'strano con i tuoi due attacchi. Hai controllato le curve ROC per gli adattamenti per vedere se sono sopra la linea diagonale. Non esisteva uno script salvato per queste due formule del modello nella tabella, quindi è difficile valutare quanto bene funzionano gli adattamenti. Hai provato di nuovo ad adattare i modelli di albero logistici e potenziati per vedere se le equazioni più recenti funzionano? Quando li eseguo una seconda volta, funziona con il componente aggiuntivo.
In un'altra nota, ho notato che hai utilizzato un seme casuale per generare la tua colonna di convalida. Dato che hai pochissime istanze di ictus == 1, potresti prendere in considerazione la creazione di una colonna di convalida stratificata per ictus in modo che possa tenerne conto. Inoltre, quando si esegue l'adattamento logistico nominale, potrebbe essere meglio modellare il livello target: 1 anziché 0, poiché probabilmente stai cercando di prevedere la probabilità di un ictus (ictus == 1) rispetto alla probabilità di nessun ictus ( corsa == 0).
Solo alcuni pensieri. Spero che sia di aiuto.
In bocca al lupo!,
DS
Ri: matrice di confusione di cut-off alternativaDiedrich
Grazie - Contrassegnerei la tua risposta come una soluzione, ma voglio davvero sentire se qualcuno può spiegare perché è successo.In effetti, se rieseguo quei modelli, il componente aggiuntivo funziona come previsto, ma non ha funzionato nel file originale che ho presentato, anche se le probabilità prodotte da quei modelli avrebbero dovuto fornire le matrici di confusione corrette.Quindi, non ho idea del motivo per cui il componente aggiuntivo ha improvvisamente smesso di funzionare correttamente e poi ha funzionato di nuovo.Utilizzo anche JMP Pro15.2.1.
Concordo con l'altro tuo punto sulla stratificazione del set di convalida poiché è così sbilanciato.Questa volta non l'ho fatto, ma ero abbastanza consapevole del motivo per cui ha senso farlo.
Ri: matrice di confusione di cut-off alternativaNon ho idea del motivo per cui ha smesso di funzionare, sarebbe bello se qualcuno potesse capire quella parte. Sono stato in grado di verificare lo stesso comportamento che hai descritto con la tabella dati che hai fornito. Non sono sicuro del motivo per cui ha funzionato durante la riesecuzione dei modelli. Non sono riuscito a trovare discrepanze con le formule o qualsiasi cosa che lo avrebbe reso divertente.Ri: matrice di confusione di cut-off alternativami chiedo se @Wendy_Murphrey potrebbe avere alcune informazioni su Componente aggiuntivo Matrice di confusione interruzione alternativa Qui.
