Rilevamento anomalie e JMP® Pro (2019-US-45MP-218)Livello: Avanzato
Michele Crotti, @michael_jmp , JMP Senior Statistical Writer, SAS
Colleen McKendry, @cozmck , redattore tecnico di JMP, SAS
Maria Gaudard, @marie_gaudard , Consulente Statistico
Nelle situazioni in cui il rilevamento delle anomalie è l'obiettivo di un modello predittivo, i dati sottostanti mostrano spesso una distribuzione di classi squilibrata. Vale a dire, la classe anomala è significativamente più piccola della classe non anomala. L'obiettivo della modellazione è solitamente quello di identificare i membri della classe di minoranza. Tuttavia, un'applicazione diretta delle tecniche di modellazione predittiva può portare a un modello distorto e impreciso. Molte tecniche sono state proposte per affrontare questi problemi. Cerchiamo di guidare gli utenti di JMP Pro nello sviluppo di modelli predittivi per dati sbilanciati. Affrontiamo gli approcci di JMP Pro alla classificazione in una classe sottorappresentata. Per prima cosa descriviamo gli aspetti generali del problema della classe squilibrata: bias, misure di performance e approcci per affrontare i problemi di modellazione. Discutiamo quindi i metodi di campionamento che utilizziamo nel nostro studio; questi includono la ponderazione, il sottocampionamento, il sovracampionamento e la tecnica di sovracampionamento della minoranza sintetica (SMOTE). Per diversi set di dati reali che presentano proporzioni di classe variabili, confrontiamo i fit ottenuti utilizzando questi metodi di campionamento in combinazione con i modelli predittivi disponibili nelle piattaforme di classificazione JMP Pro. Eseguiamo un'esplorazione simile delle tecniche di campionamento e dei modelli predittivi per una gamma limitata di set di dati simulati. Per i set di dati simulati, tentiamo di identificare il grado di sottorappresentazione per cui i modelli standard iniziano a essere influenzati dallo squilibrio di classe. Presentiamo anche conclusioni sulle prestazioni relative dei metodi di campionamento e dei modelli predittivi.
È ora disponibile un componente aggiuntivo che esegue le analisi discusse in questa presentazione: Componente aggiuntivo Classificazione sbilanciata .Il componente aggiuntivo espande le funzionalità degli script trovati in Scripts_and_Results.zip.Tra le altre funzionalità, il componente aggiuntivo non dipende da R, esegue il campionamento SMOTE, Tomek e SMOTE plus Tomek su set di dati che includono predittori nominali e ordinali e fornisce un'ampia documentazione tramite il pulsante Guida della finestra di dialogo.
ScoppiarevideoOggetto: Rilevamento anomalie e JMP® Pro (2019-US-45MP-218)Ciao Natalia,
Volevo solo farti sapere che gli script Imbalanced Data della conferenza di Tucson sono stati ora impacchettati in un componente aggiuntivo, che puoi trovare qui:
Componente aggiuntivo Classificazione sbilanciata .Il componente aggiuntivo ha funzionalità ampliate: tra le altre funzionalità, non dipende da R, esegue il campionamento SMOTE, Tomek e SMOTE plus Tomek su set di dati che includono predittori nominali e ordinali e fornisce un'ampia documentazione tramite il pulsante Guida della finestra di dialogo .
Ci auguriamo che lo trovi utile!
Maria
Oggetto: Rilevamento anomalie e JMP® Pro (2019-US-45MP-218)Ciao Natalia,
Grazie Voi per aver usato il nostro script!Sembra che il problema sia collegato all'installazione di R.Nella versione dello script attualmente pubblicata, otteniamo i valori AUC della curva Precision Recall da R.Tuttavia, abbiamo una nuova versione dello script che non utilizza affatto R e dispone di funzionalità aggiuntive, ma potrebbe richiedere JMP 15 per l'esecuzione.
Se vuoi, posso inviarti quella versione, impacchettata come componente aggiuntivo.Tuttavia, non vedo un modo per allegare un file a questa e-mail tramite la community di JMP.Se puoi inviarmi il tuo indirizzo e-mail, posso inviarti una bozza del nuovo componente aggiuntivo.Il mio indirizzo di posta elettronica è mgaudard@tampabay.rr.com.
--Maria
Oggetto: Rilevamento anomalie e JMP® Pro (2019-US-45MP-218)Grazie mille per aver fornito questa risorsa! Ho una domanda sull'ottenimento dell'AUC per la curva di precisione. Ho R installato sul destop e quando eseguo lo script Imbalanced Data, passa alla creazione di set di dati e quindi dice Ottenere valori AUC per Precison Curve. Ti siede per circa 10-145 secondi e poi fa apparire l'errore JMP. Non crea il rapporto di alcun tipo. Prima di installare R, creava il report (proprio come mostra il tuo powerpoint), ma i valori AUC per la curva di precisione non vengono calcolati. Che cosa sto facendo di sbagliato? Vorrei che fossero calcolati automaticamente.
Grazie
