Livello: Avanzato
Michael Crotty, @michael_jmp , JMP Senior Statistical Writer, SAS
Colleen McKendry, @cozmck , redattrice tecnica JMP, SAS
Marie Gaudard, @marie_gaudard , Consulente statistico
Nelle situazioni in cui l'individuazione delle anomalie è l'obiettivo di un modello predittivo, i dati sottostanti presentano spesso una distribuzione di classi sbilanciata. In particolare, la classe anomala è significativamente più piccola della classe non anomala. L'obiettivo della modellazione è solitamente quello di identificare i membri della classe di minoranza. Tuttavia, un'applicazione diretta di tecniche di modellazione predittiva può dare luogo a un modello distorto e impreciso. Sono state proposte numerose tecniche per affrontare questi problemi. Il nostro obiettivo è guidare gli utenti di JMP Pro nello sviluppo di modelli predittivi per dati sbilanciati. Analizziamo gli approcci di JMP Pro alla classificazione in una classe sottorappresentata. Descriviamo innanzitutto gli aspetti generali del problema delle classi sbilanciate: distorsione, misure di performance e approcci per affrontare i problemi di modellazione. Discuteremo quindi i metodi di campionamento utilizzati nel nostro studio, tra cui ponderazione, sottocampionamento, sovracampionamento e la tecnica di sovracampionamento sintetico di minoranza (SMOTE). Per diversi set di dati reali che presentano proporzioni di classe variabili, confrontiamo gli adattamenti ottenuti utilizzando questi metodi di campionamento in combinazione con i modelli predittivi disponibili nelle piattaforme di classificazione di JMP Pro. Eseguiamo un'analisi simile delle tecniche di campionamento e dei modelli predittivi per una gamma limitata di set di dati simulati. Per i set di dati simulati, cerchiamo di identificare il grado di sottorappresentazione per cui i modelli standard iniziano a essere influenzati dallo squilibrio di classe. Presentiamo inoltre conclusioni sulle prestazioni relative dei metodi di campionamento e dei modelli predittivi.
È ora disponibile un componente aggiuntivo che esegue le analisi discusse in questa presentazione: Imbalanced Classification Add-In . Il componente aggiuntivo amplia le funzionalità degli script presenti in Scripts_and_Results.zip. Tra le altre funzionalità, il componente aggiuntivo non dipende da R, esegue campionamenti SMOTE, Tomek e SMOTE più Tomek su set di dati che includono predittori nominali e ordinali e fornisce un'ampia documentazione tramite il pulsante Aiuto della finestra di dialogo.
