Tasso di classificazione errata, chi ha ragione?<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
CIAO! Appassionati ed esperti di JMP
Nella regressione logistica, nella partizione e nella comparazione del modello di rete neurale, il tasso di classificazione errata funge da misura importante per determinare quale modello è migliore o no? Nella mia comprensione, Minore è il valore del tasso di errata classificazione, migliore sarà il modello; tuttavia, ero confuso dai seguenti casi. Nel primo caso mi è stato detto che è meglio uno più grande, ma nel secondo mi è stato detto che è meglio uno più piccolo.
Appassionati ed esperti di JMP, chi può guidarmi attraverso questo problema? E dammi più interpretazione su quello scenario.
1. Primo caso
2. Il secondo caso
Ri: Tasso di classificazione errata, chi ha ragione?Stai usando una sorta di sistema "esperto" per produrre le narrazioni associate a ogni tabella? Il secondo caso è ovviamente l'output correlato a JMP dalla piattaforma JMP Pro Model Comparison. Non mi è chiaro quale pacchetto di analisi abbia prodotto l'immagine del caso n.
Detto questo, però, la mia ipotesi è che almeno nel primo caso, il criterio definitivo utilizzato per determinare il modello "migliore" sia la statistica AICc e non il tasso di classificazione errata. La statistica AICc è una di quelle diagnostiche di regressione "più basso è meglio" ... quindi poiché quel modello ha l'AICc più basso ... il sistema sceglie quel modello come "migliore".
Segue un'esercitazione generale sull'interpretazione della diagnostica di modellazione/regressione. Urlo dai tetti ogni volta che posso per non usare MAI UNA singola misura diagnostica di regressione, trama o stima per determinare un modello "migliore". Alla fine di ogni problema di modellazione, incoraggio i responsabili delle decisioni a determinare sempre il modello "migliore" con "Quale modello mi aiuta a risolvere meglio il mio problema pratico?" Questo è il modello che dovresti scegliere ... non il modello con il più alto R ** 2, rapporto F, AICc o trama residua dall'aspetto più attraente ... o qualsiasi altro costrutto matematico / grafico.
Soprattutto nei problemi di tipo di classificazione ... ci sono spesso conseguenze pratiche molto diverse per le diverse categorie di errata classificazione ... il tasso di errata classificazione è la somma di TUTTE le errate classificazioni. Pensa alla diagnostica del cancro come un esempio ... conseguenze molto diverse per falsi negativi o falsi positivi. Quindi potrei scegliere un modello "migliore" che riduca al minimo le conseguenze PRATICHE di una delle categorie di classificazione errata ... a scapito di un tasso più elevato nell'altra.
