Analisi dei valori anomaliHo un set di dati in cui sto cercando di identificare valori anomali o comunque punti di interesse. Osservando i miei modelli reali in base alla trama prevista vengono rivelati punti con un indicatore stellare. Tuttavia la distanza Mahalanobis e la distanza Jacknife non identificano necessariamente questi punti nello stesso modo. Esiste una raccomandazione sull'analisi dei valori anomali?
Analisi e modellazione dei dati di baseRi: Analisi dei valori anomaliCiao @sanch1 ,
Stai confrontando due modi molto diversi di valutare i valori anomali con obiettivi diversi:
- I metodi di rilevamento dei valori anomali indipendenti dal modello, come le distanze Mahalanobis, non si basano su un modello specificato e si limitano a confrontare la distanza tra punti in base a variabili/fattori/caratteristiche. Quindi un valore anomalo identificato da questo tipo di metodi indica che questo punto sembra "strano" e non sembra far parte delle distribuzioni dei fattori degli altri punti.
- Metodi di rilevamento dei valori anomali basati su modello, basati su residui (residui studentizzati o altre metriche come PRESS RMSE/R2...) che consentono di identificare valori anomali che non sono ben adattati/previsti dal modello. Ciò potrebbe indicare che nel modello potrebbero mancare alcuni termini importanti (come interazione o effetti non lineari) o potrebbe non essere appropriato per i dati. Puoi utilizzare gli altri pannelli/strumenti di diagnostica per vedere se il modello sembra adattarsi bene ai tuoi dati, in base alla significatività statistica del tuo modello, a metriche diverse in base al tuo obiettivo come criterio informativo/RMSE/R2... Puoi anche controllare se questo valore anomalo basato sul modello rilevato ha un forte impatto sul tuo modello calcolando le distanze di Cook: https://www.jmp.com/en_us/statistics-knowledge-portal/what-is-multiple-regression/mlr-residual-analysis -and-outliers.html Se i valori per questi punti sono alti e/o insoliti, è un'indicazione che questi punti potrebbero avere influenza e influenzare il modello. Dovresti quindi indagare quali sono questi punti e se le misurazioni sono valide, prima di decidere se diminuirne l'influenza sul modello o rimuoverli.
Maggiori informazioni sui valori anomali nella mia risposta precedente su un argomento simile: https://community.jmp.com/t5/Discussions/Supress-the-effect-of-outliers-when-fitting-the-model-and-in/mp/ 747105/highlight/true#M92689
Spero che questa risposta ti possa aiutare,
Ri: Analisi dei valori anomaliCome sono stati raccolti i dati? Ciò ha un enorme effetto su quale analisi è appropriata. Come indica Victor, Mahalanobis è un rilevatore di valori anomali multivariati. Se la tua risposta è univariata, potresti voler utilizzare le buone vecchie carte di controllo, ma, ancora una volta, dipende da come sono stati raccolti i dati.
Ri: Analisi dei valori anomaliBella serie di post sul blog di @JerryFish sul rilevamento dei valori anomali di Mahalanobis e Jackknife:
Valori anomali Episodio 3: Rilevamento di valori anomali utilizzando la distanza Mahalanobis (e T2)
Valori anomali Episodio 4: Rilevamento di valori anomali utilizzando la distanza del coltello a serramanico
come hai calcolato le distanze?
Ri: Analisi dei valori anomali@sanch1,
C'è un'altra opzione chiamata Influenza D di Cook. Puoi salvare l'influenza D di Cook tramite l'opzione Salva colonne sotto il triangolo rosso di risposta. Seleziona la colonna salvata e quindi esegui una distribuzione. Se uno qualsiasi dei tuoi punti dati è >= 1 misurato da D di Cook, può essere considerato come potenziale valore anomalo. Vedi l'immagine di distribuzione di esempio di seguito.
