Livello: Intermedio
Funzione lavorativa: analista/scienziato/ingegnere
Michael Crotty, JMP Senior Statistical Writer, SAS
Marie Gaudard, consulente statistico
Colleen McKendry, redattrice tecnica JMP, SAS
Finalista del premio Best Invited Paper
Nelle situazioni in cui il rilevamento delle anomalie è l'obiettivo di un modello predittivo, i dati sottostanti spesso presentano una distribuzione di classi sbilanciata. Vale a dire, la classe anomala è significativamente più piccola della classe non anomala. L'obiettivo della modellazione è solitamente identificare i membri della classe di minoranza. Tuttavia, un'applicazione diretta delle tecniche di modellazione predittiva può dare luogo a un modello distorto e impreciso. Sono state proposte molte tecniche per affrontare questi problemi. Cerchiamo di guidare gli utenti di JMP Pro nello sviluppo di modelli predittivi per dati sbilanciati. Affrontiamo gli approcci di JMP Pro alla classificazione in una classe sottorappresentata. Descriviamo prima gli aspetti generali del problema della classe sbilanciata: distorsione, misure delle prestazioni e approcci per affrontare i problemi di modellazione. Quindi discutiamo i metodi di campionamento che utilizziamo nel nostro studio; questi includono ponderazione, sottocampionamento, sovracampionamento e la tecnica di sovracampionamento di minoranza sintetica (SMOTE). Per diversi set di dati reali che presentano proporzioni di classe variabili, confrontiamo gli adattamenti ottenuti utilizzando questi metodi di campionamento in combinazione con modelli predittivi disponibili nelle piattaforme di classificazione JMP Pro. Eseguiamo un'analisi simile delle tecniche di campionamento e dei modelli predittivi per una gamma limitata di set di dati simulati. Per i set di dati simulati, cerchiamo di identificare il grado di sottorappresentazione per cui i modelli standard iniziano a essere influenzati dallo squilibrio di classe. Presentiamo anche conclusioni sulle prestazioni relative dei metodi di campionamento e dei modelli predittivi.
È ora disponibile un componente aggiuntivo che esegue le analisi discusse in questa presentazione: Componente aggiuntivo di classificazione sbilanciata . Il componente aggiuntivo espande le capacità degli script trovati in Scripts_and_Results.zip. Tra le altre caratteristiche, il componente aggiuntivo non dipende da R, esegue SMOTE, Tomek e campionamento SMOTE più Tomek su set di dati che includono predittori nominali e ordinali e fornisce una documentazione estesa tramite il pulsante Help della finestra di dialogo.
