239851_it-IT

liliconcom

dati sbilanciati e classificazione del peso

Ciao,

 

Ho un database con una risposta oridnal altamente sbilanciata. La classe di maggiore interesse personale è una classe minoritaria (pazienti con un'infezione rara ma grave, circa il 5% delle osservazioni).

La classificazione delle altre classi oridinali funziona bene con un classificatore di alberi forestali potenziato, ma queste classi o meno sono di mio interesse (infezione meno grave o nessuna infezione). Mi chiedo se posso usare l'opzione "peso" per dare più peso alla classe di minoranza. Inoltre, voglio calcolare a quale soglia di "peso" ottimale il classificatore ha funzionato meglio. In dati sbilanciati, l'AUC ROC sembra non essere la misura di prestazione appropriata.Un punteggio F1 (misurazione dei tassi di falsi positivi e falsi negativi) sembra più adeguato per questo.

Qualcuno è a conoscenza del calcolo automatico dei punteggi F1 in JMP?

C'è un modo per ottimizzare l'opzione "Peso" nei modelli di classificazione JMP in dati altamente sbilanciati al fine di massimizzare i punteggi F1?

Qualcuno ha altri suggerimenti per risolvere questo problema?

 

Grazie,

 

Lu

Re: dati sbilanciati e classificazione del peso

Scusa, volevo dire Matthews CC

Re: dati sbilanciati e classificazione del peso

Una recente pubblicazione descrive chiaramente i vantaggi del Matthias Correlation Coëfficiënt (MCC) come misura di prestazione ottimale per modelli di classificazione, anche in dati sbilanciati.

https://www.ncbi.nlm.nih.gov/pubmed/31898477

https://www.ncbi.nlm.nih.gov/pubmed/28574989

 

Re: dati sbilanciati e classificazione del peso

Ciao, ho trovato un bel componente aggiuntivo che può aiutare a definire la soglia ottimale per la classificazione (allegato di seguito). Oppure cerca "matrice di confusione" in Scambio file - Componenti aggiuntivi del sito Web della comunità JMP.

 

Re: dati sbilanciati e classificazione del pesoPenso che ci siano due problemi un po 'diversi qui. Uno è la natura sbilanciata dei dati - alcune delle tue categorie sono molto più comuni di altre, quindi i semplici tassi di classificazione errata possono "ignorare" le categorie con numeri piccoli - credo che la F1 sia principalmente un modo per affrontare questo problema. L'altro problema è l'asimmetria degli errori: falsi positivi e falsi negativi possono avere conseguenze molto diverse. Non credo che la F1 aiuterà in questo: solo modelli migliori e la modifica dei limiti di probabilità possono affrontare questo problema. Non sono a conoscenza di una relazione sistematica tra i due problemi (potrebbe essercene uno e sarebbe molto interessante conoscerlo).Re: dati sbilanciati e classificazione del peso

Sono stato anche interessato ai punteggi di F1 ma non credo che vengano calcolati automaticamente in JMP.A meno che qualcuno non abbia un'idea migliore, mi asterrei dall'usare i pesi per affrontare il tuo problema - penso che ciò renderà difficile vedere cosa sta succedendo.La mia inclinazione sarebbe quella di ricodificare la tua variabile di risposta in 2 categorie: la malattia che ti interessa e tutto il resto.Quindi puoi regolare manualmente le probabilità di interruzione (il componente aggiuntivo per questo è abbastanza buono) per vedere quale probabilità di interruzione fa il lavoro migliore nell'identificare la malattia che ti interessa.Quindi, puoi tornare alla categorizzazione completa della tua variabile di risposta e vedere se quella probabilità di cutoff sembra robusta.Per me, tentativi ed errori possono essere più illuminanti che cercare una soluzione automatica al tuo problema (ma se esiste una metodologia automatica, mi piacerebbe saperlo).

Re: dati sbilanciati e classificazione del pesoSe attivi l'opzione Matrice di confusione per un modello di classificazione, puoi ottenere i tassi di falsi positivi/negativi.
È inoltre possibile impostare diversi cut-off per la classificazione positiva/negativa (l'impostazione predefinita è 0,5).