Presumo che il residuo studentizzato sia un buon modo per identificare gli ouliers. (Per favore correggimi se sbaglio). E la mia domanda è: come filtrare l'effetto di questi valori anomali nel modello di previsione JMP? Il modello eviterà automaticamente questi valori anomali o dovremmo eliminarli per ottenere una previsione più accurata?
Ciao @Mathej01 ,
I residui studentizzati possono essere un buon modo per identificare valori anomali sulla base di un modello presunto . Vedi maggiori informazioni su come vengono calcolati i residui studentizzati qui: Row Diagnostics (jmp.com)
" I punti che non rientrano nei limiti rossi dovrebbero essere trattati come probabili valori anomali. I punti che non rientrano nei limiti verdi ma all'interno dei limiti rossi dovrebbero essere trattati come possibili valori anomali, ma con meno certezza. "Come puoi vedere dalla definizione, non esiste una certezza definitiva sulla natura dei valori anomali e potrebbe dipendere dal modello presupposto che implichi.
Approvo e concordo totalmente con il commento di @P_Bartell , potrebbero esserci diverse spiegazioni alla presenza del tuo possibile valore anomalo (variabili in agguato, rumore, operatori diversi, ...).
Il consiglio più grande da dare sui valori anomali prima di fare qualcosa al riguardo potrebbe essere: conosci i tuoi valori anomali. A seconda della loro provenienza, della loro tipologia (globali, locali/contestuali o collettivi) e delle tecniche per individuarli, sono diversi, possono essere rilevati in modo diverso e possono avere influenze diverse sui modelli creati:
- Valori anomali globali : nei dati univariati, i box-plot possono rilevarli facilmente. Nei dati multivariati, il clustering basato sulla densità (DBSCAN, Optics, ...) o gli algoritmi di rilevamento delle anomalie (Isolation Forest) potrebbero essere utili. Potrebbero derivare da errori di registrazione/misurazione o da campioni anomali.
- Valori anomali contestuali (condizionali) : poiché i valori anomali potrebbero non essere valori anomali in tutte le dimensioni dei dati, i vicini K-più vicini, le distanze Mahalanobis, l'analisi delle componenti principali e le distanze Jackknife potrebbero essere interessanti da esaminare. È interessante considerare questi valori anomali nel modello, poiché i loro valori anormali derivano da un contesto specifico.
- Valori anomali collettivi : le tecniche di clustering potrebbero essere utili in questo contesto: si potrebbero prendere in considerazione medie K, miscele gaussiane, clustering gerarchico e altri algoritmi. Potrebbero essere considerati come un gruppo.
Un buon consiglio è anche quello di sapere se il possibile valore anomalo ha un impatto sul modello, poiché tutti i valori anomali non sono punti di leva (alti). Puoi provare ad adattare lo stesso modello in parallelo con e senza questo punto, per vedere se questo valore anomalo è (anche) un punto di leva elevato. Dai un'occhiata ai grafici Effettivo vs. Previsto, al grafico dei residui e a parametri come RMSE PRESS e R² PRESS per valutare meglio se l'outlier ha qualche influenza sul modello.
Provare ad analizzare cosa ha causato una maggiore variabilità negli ultimi 4-5 punti (livelli di fattori specifici che causano un rumore elevato, cambio di operatore/dispositivo di misurazione, ...?).
Spero che questa risposta complementare ti possa aiutare,
