What if you wanted to predict how many out of 100 employees will eat a donut at the office on Friday?What if you wanted to predict how many out of 100 employees will eat a donut at the office on Friday?What if you wanted to predict how many out of 100 employees will eat a donut at the office on Friday?What if you wanted to predict how many out of 100 employees will eat a donut at the office on Friday?E se volessi prevedere quanti dipendenti su 100 mangeranno una ciambella in ufficio venerdì? JMP è uno strumento di scoperta statistica estremamente potente ed è in grado di creare una varietà di modelli statistici. Tuttavia, se si desidera valutare in modo completo le soglie per un modello di classificazione binaria predittiva, sarebbero necessarie più piattaforme e più passaggi. UN Summit della scoperta 2018 la conferenza esplorerà le sfide legate alla valutazione e alla selezione delle soglie per i modelli di classificazione. Mi sono unito al team di @KarenC E @mia_stephens per creare un componente aggiuntivo per facilitare la comprensione del modello e la selezione della soglia.
IL Componente aggiuntivo Esplora classificazione modelli fornisce un dashboard unificato per visualizzare contemporaneamente i limiti del modello e i compromessi degli errori. Puoi modificare in modo interattivo la soglia di un modello e vedere immediatamente i risultati propagati nelle misure delle prestazioni, nelle matrici di confusione e nelle curve ROC. Il componente aggiuntivo implementa inoltre opzioni personalizzate del triangolo rosso per visualizzare le curve di incremento, le curve di guadagno cumulativo e per calcolare una soglia ottimale in base ai costi di classificazione.
Esaminiamo un esempio con la tabella dati allegata. È venerdì il giorno della ciambella in ufficio e vuoi prevedere quanti dipendenti su 100 mangeranno una ciambella. Raccogli dati sul consumo di una ciambella da parte di ogni persona, nonché una serie di predittori e adatti un modello per stimare le probabilità di consumo. Ora vuoi esplorare i compromessi associati a ciascun punto di interruzione del modello. L'idea è quella di selezionare un limite per ridurre al minimo gli sprechi di ciambelle nei futuri venerdì. Ci sono tre colonne:
- Prob[Donut] è la probabilità che un individuo consumi una ciambella.
- Il consumo è il risultato effettivo del fatto che qualcuno abbia mangiato o meno la ciambella.
- Abbiamo una colonna di convalida opzionale
Input DataInput DataInput DataInput DataDati in ingresso
Dati
Dopo il download e l'installazione del componente aggiuntivo, aprire la tabella dati Donuts Blog Esempio.jmp. I dati sono formattati in modo tale che sia presente una colonna numerica continua che modella la probabilità del risultato target, in questo caso la nostra colonna Prob[Donut]. Questa colonna può essere creata in JMP salvando un modello adattato per un risultato binario con "Salva formula di probabilità". L'altra colonna richiesta è lo stato del risultato effettivo come carattere e nominale, nel nostro caso la colonna Consumo. Facoltativamente puoi aggiungere una colonna di convalida che aggiungerà ulteriore output nella piattaforma in base alla categoria di convalida. Se usi JMP Pro , puoi farlo facilmente andando su Analizza -> Modellazione predittiva -> Aggiungi colonna di convalida. La colonna di convalida può avere due o tre categorie e deve essere composta da valori numerici.
Column CastingColumn CastingColumn CastingColumn CastingColata di colonne
Lancio
Passo 1: Lancia Prob[Ciambella] su X e Consumo su Y. Queste due colonne sono obbligatorie.
Passo 2: Imposta il livello target su "Ciambella", poiché è ciò che il modello prevede.
Passaggio 3: Imposta il livello alfa per l'analisi statistica, che per impostazione predefinita è lasciato a 0,05.
Passaggio 4: Hai la possibilità in alto a destra di scegliere la terminologia prestazionale in base a un dato campo di applicazione, che è un'opzione puramente visiva per le etichette delle diverse misure. In questo caso, lo lasceremo su "Generale".
Passaggio 5: La casella di controllo dell'accessibilità visiva è una funzionalità che consente di modificare l'output grafico per poter interpretare i risultati senza dover distinguere i colori sui grafici, cosa che per ora tralasceremo.
Passaggio 6: Con tutti questi parametri iniziali impostati, fare clic su "OK" per avviare la piattaforma. A seconda delle dimensioni del set di dati e se hai utilizzato o meno una colonna di convalida, l'avvio potrebbe richiedere alcuni secondi.
Risultati: tabella dati generata
Oltre alla piattaforma verrà lanciata anche una nuova tabella dati. Questa tabella di dati prende le colonne Prob[Ciambella] e Consumo e, per la probabilità di ogni persona di mangiare una ciambella, crea i conteggi per veri positivi, veri negativi, falsi positivi e falsi negativi eseguendo il ciclo di tutte le persone e confrontando il valore corrente il consumo effettivo e la probabilità di consumo di una persona agli altri individui.
Da questi conteggi viene creata una colonna di sensibilità, o tasso di vero positivo, che rappresenta la capacità del modello di identificare correttamente coloro che hanno effettivamente consumato una ciambella. La specificità, o il vero tasso negativo, è la capacità del modello di identificare correttamente gli individui che non hanno consumato una ciambella.
Il tasso di classificazione errata è la somma di falsi positivi + falsi negativi sul numero totale di osservazioni in quella riga.
Se hai utilizzato una colonna di convalida, ci sarà una singola tabella aperta in background per ciascuna categoria di convalida insieme a una tabella con tutti i sottoinsiemi uniti insieme.
Generated Data TableGenerated Data TableGenerated Data TableGenerated Data TableTabella dati generata
Risultati: finestra del rapporto
Ritorno alla piattaforma. Il primo grafico che vediamo è una curva ROC standard, che rappresenta la sensibilità rispetto a 1 - Specificità insieme all'area sotto la curva con un intervallo di confidenza Wald del 95%. A destra, abbiamo un grafico a grappolo che mostra visivamente la distribuzione dei risultati della classificazione binaria. L'asse y mostra le categorie modellate e l'asse x è il punteggio del modello. Il cursore verticale si trova sulla soglia corrente. I punti rossi sono punti in cui il modello ha previsto erroneamente il consumo di ciambelle mentre i punti blu sono previsti correttamente.
Interactivity of the PlatformInteractivity of the PlatformInteractivity of the PlatformInteractivity of the PlatformInterattività della piattaforma Nella seconda riga abbiamo l'analisi numerica. La tabella delle misure di prestazione fornisce stime e intervalli di confidenza per sette diverse misure. La prevalenza è la percentuale di dipendenti che hanno effettivamente mangiato una ciambella. Il tasso/sensibilità vero positivo e il tasso/specificità vero negativo sono stati discussi in precedenza e sono inclusi anche qui. Il valore predittivo positivo (PPV) viene interpretato come quanto bene un risultato positivo della ciambella predice il consumo effettivo di una ciambella. Il VAN è l'opposto e indica quanto bene un risultato negativo di ciambelle predice un'effettiva mancanza di consumo di ciambelle. Il rapporto di verosimiglianza positivo (LR+) indica quanto aumentano le probabilità del consumo di ciambelle quando un test risulta positivo per il consumo di ciambelle. LR- è l'opposto, ovvero quanto diminuiscono le probabilità di consumo della ciambella quando un test restituisce un mancato consumo. A destra delle metriche prestazionali, possiamo vedere le matrici di confusione 2x2 che mostrano tassi e conteggi di TP, TN, FP e FN. Accanto ad esso è mostrato il tasso di errata classificazione e il Coefficiente di correlazione di Matthews (MCC) . L'MCC è un'altra misura della qualità della classificazione binaria, con un valore pari a 1 che indica che ogni persona a cui era stato previsto di mangiare una ciambella ne ha effettivamente mangiata una, 0 significa che il modello è equivalente alla classificazione casuale e -1 è una classificazione errata totale, dove ogni ciambella prevista il mangiatore non ne ha mangiato uno. La curva di compromesso degli errori nella riga inferiore mostra i grafici a linee dei conteggi degli errori di falsi positivi e falsi negativi con un'opzione personalizzata con triangolo rosso per modificare l'asse Y in tassi anziché in conteggi.
Visual Accessibility Turned OnVisual Accessibility Turned OnVisual Accessibility Turned OnVisual Accessibility Turned OnAccessibilità visiva attivata
Queste tabelle e questi grafici sono tutti fantastici di per sé, ma il vero valore deriva dall'aspetto interattivo. Le misure di performance di un modello di classificazione si basano su una soglia o cut-off. Quando modifichi la soglia, le metriche delle prestazioni cambiano. Sulla curva di compromesso tra stato e punteggio ed errore, sono presenti indicatori di trascinamento sulle linee orizzontali che indicano la soglia del modello. Prendi e sposta una di queste linee per modificare la soglia e aggiornare le misure delle prestazioni.
In alternativa, utilizzare il dispositivo di scorrimento o la casella numerica modificabile sotto la casella di contorno "Imposta soglia di probabilità" sopra le matrici di confusione per modificare la soglia. Questi indicatori di trascinamento e cursori sono tutti sincronizzati e quando ne sposti uno, si muovono anche gli altri. Ciò che fanno questi cursori è impostare la nuova soglia di probabilità, il punto che determina la classificazione binaria in base alla quale il modello prevede che consumerai una ciambella. L’aumento del limite imposterà una soglia più rigorosa affinché il modello possa prevedere il consumo di ciambelle e viceversa. Ad esempio, se imposti la soglia su 0,8, ciò significa che affinché il modello possa prevedere che consumerai una ciambella, devi avere un Prob[Donut] > 0,8, altrimenti prevederà che non consumerai una ciambella.
Caratteristiche aggiuntive
Il pulsante "Riduci al minimo la classificazione errata" imposta il limite ottimale che riduce al minimo la somma di falsi positivi e falsi negativi. A sua volta, massimizza anche il Centro clienti.
Minimizing MisclassificationMinimizing MisclassificationMinimizing MisclassificationMinimizing MisclassificationMinimizzare gli errori di classificazione
Nel triangolo rosso personalizzato "Analisi soglia/taglio" in alto, hai la possibilità di visualizzare una curva di sollevamento, oltre a una curva di guadagni cumulativi se sei un utente Pro, nella parte inferiore dell'output. Queste opzioni sono disponibili anche per ciascuna categoria Convalida nel triangolo rosso delle misure di prestazione quando si utilizza una colonna Convalida.
Expanding with Further AnalysisExpanding with Further AnalysisExpanding with Further AnalysisExpanding with Further AnalysisEspansione con ulteriori analisi
Vedrai anche l'opzione di menu "Soglia basata sui costi", che apre una nuova finestra che calcola una soglia ottimale in base ai costi di classificazione. Ad esempio, supponiamo di avere una prevalenza di consumo di ciambelle pari a 0,5, un costo di classificazione TP e TN pari a 0, un costo FP pari a 1 e un costo FN pari a 3. In questo esempio, è tre volte più costoso per te avere una classificazione di ciambelle falsa negativa quanto avere un falso positivo, forse le persone si arrabbierebbero tre volte di più per la carenza di ciambelle piuttosto che per l'eccedenza. Con questi costi la soglia ottimale è 0,25, che puoi inserire manualmente nella casella di modifica del numero.
Cost Based ThresholdingCost Based ThresholdingCost Based ThresholdingCost Based ThresholdingSoglia basata sui costi Infine, hai la possibilità di salvare una nuova colonna di classificazione nella tabella dati originale, che crea una nuova colonna Consumo basata sul limite corrente.
Saving a New Classification ColumnSaving a New Classification ColumnSaving a New Classification ColumnSaving a New Classification ColumnSalvataggio di una nuova colonna di classificazione
Conclusione
Questo componente aggiuntivo è uno strumento estremamente potente per valutare i limiti in qualsiasi modello di classificazione, sia che si tratti di prevedere il consumo di ciambelle o i tassi di difetti nella produzione. Avendo tutti i grafici e le tabelle in un'unica piattaforma altamente interattiva, la visualizzazione dei dati e l'impostazione della soglia del modello sono semplici.
Che tipo di modelli stai valutando con questo componente aggiuntivo? Fatemi sapere nei commenti qui sotto se avete qualche suggerimento!
Quando attivo questo prezioso componente aggiuntivo, non ottengo la tabella con i conteggi dei veri positivi, dei veri negativi, dei falsi positivi e dei falsi negativi scorrendo tutte le persone e confrontando il consumo effettivo e la probabilità di consumo della persona corrente con altri individui.
Né trovo un pulsante "Riduci al minimo la classificazione errata" nella sezione Imposta soglia di probabilità.
Infine, non viene calcolato il MCC (coefficiente di corrolazione di Matthew).
Qualcuno sa se il punteggio F1 viene calcolato automaticamente?
Forse, nel frattempo esiste una versione aggiornata?
