Esplorazione delle soglie di classificazione del modelloQueste sono le istruzioni su come scaricare ed eseguire il file Componente aggiuntivo dell'Explorer di classificazione del modello Ho creato come stagista JMP quest'estate con @Karen C e @mia_stephens .Questo componente aggiuntivo fornisce un dashboard unificato per visualizzare contemporaneamente i tagli del modello e i compromessi degli errori. È possibile modificare in modo interattivo una soglia del modello e visualizzare immediatamente i risultati propagati nelle misure delle prestazioni, nelle matrici di confusione e nelle curve ROC.
NOTA: questo potrebbe essere lento o bloccarsi con set di dati molto grandi.
Passaggio 1: scarica il file .jmpaddin allegato e la tabella dati di esempio.
Data Selection DialogData Selection DialogFinestra di selezione dei dati
Passaggio 1: lancia il Prob[Donut] su X e il Consumo su Y. Queste due colonne sono obbligatorie.
Passaggio 2: imposta il livello target su "Donut", poiché è ciò che prevede il modello.
Passaggio 3: imposta il livello alfa per l'analisi statistica, che viene lasciato a 0,05 per impostazione predefinita.
Passaggio 4: hai la possibilità in alto a destra di scegliere la terminologia delle prestazioni in base a un determinato campo di applicazione, che è un'opzione puramente visiva per le etichette delle diverse misure. In questo caso, lo lasceremo su "Generale".
Passaggio 5: la casella di controllo dell'accessibilità visiva è una funzionalità per modificare l'output grafico per poter interpretare i risultati senza dover distinguere i colori sui grafici, cosa che per ora tralasceremo.
Passaggio 6: con tutti questi parametri iniziali impostati, fare clic su "OK" per avviare la piattaforma. A seconda delle dimensioni del set di dati e dell'utilizzo o meno di una colonna di convalida, l'avvio potrebbe richiedere alcuni secondi.
Interactively Exploring CutoffsInteractively Exploring CutoffsEsplorazione interattiva dei tagli
Fatemi sapere se avete commenti o suggerimenti!
Visualizzazione datiScienze di vitaModellazione predittiva e data miningStatisticheRe: Esplorazione delle soglie di classificazione del modelloCara Karen,
Ho ricontrollato le tabelle 2x2 e sono corrette. Hai ragione, posso usare invece l'aggiunta di prestazioni IVD, ma ciò significa che devo contrassegnare tutti i miei dati come positivi (sotto la soglia) o negativi (sopra) e analizzare i risultati del tag anziché i numeri originali, quindi Non capisco la bella grafica "stato vs. punteggio" di questo script.
Ma userò l'aggiunta di prestazioni IVD, mi dà i numeri di cui ho più bisogno.
Molte grazie per il vostro aiuto!
Re: Esplorazione delle soglie di classificazione del modelloCiao Anne, non sono esattamente sicuro... se hai il giusto TP, TN, ecc allora dovresti avere il giusto Se e Sp. Osserva attentamente le tabelle 2x2 per assicurarti di leggere correttamente le etichette. Concordato sul fatto che lo strumento utilizzerà i valori a destra (maggiori della) soglia come positivi. Potresti anche guardare il mio Prestazioni IVD componente aggiuntivo che fornirà prestazioni in base a due colonne nominali (test e verità) in cui è possibile definire ciò che è positivo per ciascuna. Forse funzionerà meglio una volta fissata la soglia (funziona anche molto più velocemente). Se hai ancora domande continua a chiedere.
Karen
Re: Esplorazione delle soglie di classificazione del modelloHo capovolto il bersaglio, ma perché i miei campioni si qualificano come positivi sotto una certa soglia, il risultato è che, ad esempio, dove la specificità è veramente del 96,3%, ottengo un risultato del 3,7%.
Nella versione precedente al capovolgimento del bersaglio, tutti i miei valori sono stati correttamente classificati come veri positivi, falsi negativi ecc., solo i valori di sensibilità e specificità sono stati invertiti. Dopo il capovolgimento, ogni vero positivo viene classificato come falso positivo, ogni falso negativo come vero negativo e così via...
Re: Esplorazione delle soglie di classificazione del modelloC'è la possibilità di impostare il livello di destinazione nella finestra di avvio.
Re: Esplorazione delle soglie di classificazione del modelloSarebbe bello avere quel bottone. Nella mia versione del componente aggiuntivo non trovo "ridurre al minimo la soglia di classificazione errata". Devo modificare alcune impostazioni di layout?
Re: Esplorazione delle soglie di classificazione del modelloCapovolgi quello che chiami "bersaglio".
Re: Esplorazione delle soglie di classificazione del modelloCara Karen,
grazie per l'utile aggiunta! Sto cercando di usarlo per calcolare sensibilità, specificità, PPV e NPV.
Sebbene i numeri che ottengo siano corretti (rispetto ai dati di sensibilità / specificità di riferimento che ho), è lo scambio di sensibilità con specificità e PPV con NPV.
Sospetto che ciò possa avere qualcosa a che fare con il fatto che i risultati che ho specificato come positivi nella colonna delle risposte sono al di sotto di una soglia definita, non al di sopra di uno. Hai qualche consiglio su come risolvere questo problema?
Re: Esplorazione delle soglie di classificazione del modelloSpero che tu abbia notato il pulsante "Riduci al minimo errata classificazione" ... è nel profilo Imposta soglia di probabilità.
Re: Esplorazione delle soglie di classificazione del modelloC'è un metodo nel componente aggiuntivo a automaticamente ottimizzare la soglia di classificazione (= ridurre al minimo il tasso di classificazione errata)?
Re: Esplorazione delle soglie di classificazione del modelloSe la tua colonna "verità" non è carattere, prova a cambiarla in tipo di carattere.
Re: Esplorazione delle soglie di classificazione del modelloSì, posso eseguire l'esempio delle ciambelle senza alcun problema.
Re: Esplorazione delle soglie di classificazione del modello@Lu
Non sono sicuro del motivo per cui stai ricevendo quell'errore. Facendo clic sul pulsante Guida (lato destro) nel componente aggiuntivo otterrai un manuale dell'utente. Altrimenti senza ulteriori informazioni è difficile sapere perché stai riscontrando problemi. Puoi eseguire i dati di esempio delle ciambelle?
Karen
Re: Esplorazione delle soglie di classificazione del modelloHo provato il componente aggiuntivo sui miei dati ma viene sempre visualizzato questo messaggio di errore: Intervallo di indici nell'accesso o nella valutazione del test.
Re: Esplorazione delle soglie di classificazione del modelloGrazie Karen! È stato un successo! Ancora una volta, molte grazie!
Re: Esplorazione delle soglie di classificazione del modelloCiao tsnow,
La mia ipotesi è che l'app abbia problemi con la quantità di dati. Abbiamo osservato problemi con un numero elevato di righe, quante esattamente dipenderebbero dalla configurazione della macchina. Tuttavia, non tutto è perduto. Con quella dimensione della tabella dei dati penso che potresti prendere un campione casuale (sottoimpostarlo in un'altra tabella) e quindi eseguire l'app. Vorrei iniziare con dire 10% e vedere se l'app funziona. In tal caso, esaminerei 4-5 diversi campioni casuali del 10% e vedrei se stai "atterrando in un punto simile" indipendentemente dal campione. Se è così puoi probabilmente rispondere alla tua domanda pratica. In caso contrario, eseguirei alcuni campioni in più e/o proverei un campione più grande del 20%, 30%, fino a quando non si verifica nuovamente il problema delle dimensioni.
Spero che sia di aiuto. Puoi anche creare il grafico punteggio rispetto allo stato con tutti i tuoi dati in Generatore di grafici come punto di partenza per comprendere le distribuzioni e dove un punto di interruzione potrebbe avere senso per il tuo problema.
Karen
Re: Esplorazione delle soglie di classificazione del modelloCiao Karen C. Sto usando JMP 14. Sto usando Windows. Ho 11.221 righe. Viene visualizzato un messaggio che dice "non risponde". Aiutare gentilmente.
Grazie
Re: Esplorazione delle soglie di classificazione del modelloCiao,
Non sono sicuro del motivo per cui stai riscontrando problemi, puoi fornire maggiori informazioni? Che versione di JMP stai usando? Mac o Windows? Si blocca o si blocca? Quante righe nella tua tabella di dati?
Grazie
Re: Esplorazione delle soglie di classificazione del modelloL'ho provato diverse volte, ogni volta si blocca. Qualche alternativa?
Re: Esplorazione delle soglie di classificazione del modelloMeraviglioso! Cerco spesso un modo per sfrecciare lontano dallo schermo, quindi seguirò i tuoi consigli e navigherò in giro mentre lo lascio girare per un po'.
Molto apprezzato, Marx
Re: Esplorazione delle soglie di classificazione del modelloMarxx,
Se vuoi provarlo su un set di dati più grande, prova a eseguirlo quando sarai lontano dal tuo computer per un po' e poi vedi se è stato eseguito quando torni. Ho scoperto che se aspetto, verrà eseguito. Ha solo del "lavoro" iniziale da fare per andare avanti.
Karen
Re: Esplorazione delle soglie di classificazione del modelloGrazie per aver condiviso Tarik e il follow-up Karen, sarò interessato anche a questo lavoro con set di dati più grandi quando saranno disponibili.
Grazie, marx
Re: Esplorazione delle soglie di classificazione del modelloCiao Steve,
Sì, si scopre che se il tuo set di dati è troppo grande (prova N < 1000), il componente aggiuntivo potrebbe "bloccare" JMP. Non ho avuto un arresto anomalo, solo che JMP si blocca come hai sperimentato tu. Stiamo esaminando questo problema di prestazioni. Nel frattempo, prova un sottoinsieme casuale dei tuoi dati di interesse per iniziare almeno a esplorare le soglie. Rimani sintonizzato!
Grazie,
Karen
Re: Esplorazione delle soglie di classificazione del modelloQuesto componente aggiuntivo è un'ottima aggiunta a JMP. Sto eseguendo 14.1 e funziona bene sui dati di Donut. Tuttavia, blocca JMP e quindi si arresta in modo anomalo su quasi tutti gli altri set di dati che ho scelto. Qualche suggerimento su cosa potrebbe andare storto?
Grazie.
Steve Powell
