Livello: Intermedio
Funzione lavorativa: analista / scienziato / ingegnere
Michael Crotty, redattore statistico senior di JMP, SAS
Marie Gaudard, consulente statistico
Colleen McKendry, scrittrice tecnica di JMP, SAS
Finalista per il miglior articolo su invito
Nelle situazioni in cui il rilevamento delle anomalie è l'obiettivo di un modello predittivo, i dati sottostanti mostrano spesso una distribuzione di classi squilibrata. Vale a dire, la classe anomala è significativamente più piccola della classe non anomala. L'obiettivo della modellazione è solitamente quello di identificare i membri della classe di minoranza. Tuttavia, un'applicazione diretta delle tecniche di modellazione predittiva può portare a un modello distorto e impreciso. Molte tecniche sono state proposte per affrontare questi problemi. Cerchiamo di guidare gli utenti di JMP Pro nello sviluppo di modelli predittivi per dati sbilanciati. Affrontiamo gli approcci di JMP Pro alla classificazione in una classe sottorappresentata. Per prima cosa descriviamo gli aspetti generali del problema della classe squilibrata: bias, misure di performance e approcci per affrontare i problemi di modellazione. Discutiamo quindi i metodi di campionamento che utilizziamo nel nostro studio; questi includono la ponderazione, il sottocampionamento, il sovracampionamento e la tecnica di sovracampionamento della minoranza sintetica (SMOTE). Per diversi set di dati reali che presentano proporzioni di classe variabili, confrontiamo i fit ottenuti utilizzando questi metodi di campionamento in combinazione con i modelli predittivi disponibili nelle piattaforme di classificazione JMP Pro. Eseguiamo un'esplorazione simile delle tecniche di campionamento e dei modelli predittivi per una gamma limitata di set di dati simulati. Per i set di dati simulati, tentiamo di identificare il grado di sottorappresentazione per cui i modelli standard iniziano a essere influenzati dallo squilibrio di classe. Presentiamo anche conclusioni sulle prestazioni relative dei metodi di campionamento e dei modelli predittivi.
È ora disponibile un componente aggiuntivo che esegue le analisi discusse in questa presentazione: Componente aggiuntivo Classificazione sbilanciata .Il componente aggiuntivo espande le funzionalità degli script presenti in Scripts_and_Results.zip.Tra le altre funzionalità, il componente aggiuntivo non dipende da R, esegue il campionamento SMOTE, Tomek e SMOTE plus Tomek su set di dati che includono predittori nominali e ordinali e fornisce un'ampia documentazione tramite il pulsante Guida della finestra di dialogo.
Non conosco nulla di integrato in JMP Pro che gestisca i dati dei sensori in tempo reale, ma con alcuni script, sono sicuro che potresti farlo. Questa sarebbe una buona domanda per la più ampia comunità di JMP.
Grazie per l'interesse e la domanda!
Michael
Grazie. è davvero fantastico e utile!
una domanda, JMPpro può essere utilizzato per il rilevamento di anomalie in tempo reale (come i dati del sensore)?
Grazie!
