Un rapido quiz: cosa sono i valori anomali?
- Punti dati dispari che potrebbero influenzare i risultati della modellazione e devono essere affrontati.
- Punti dati strani che giustificano ulteriori indagini, possibilmente fornendo nuove informazioni sul tuo processo.
- Un bel libro di Malcolm Gladwell. (Valori anomali, 2008)
La risposta, ovviamente, è "Tutto quanto sopra".
Se ti occupi di esaminare i dati, di tanto in tanto ti sei imbattuto in "valori anomali", quelle letture numeriche che non rientrano nel normale schema dei dati. Di conseguenza, i nostri minimi quadrati dei dati (ad esempio) potrebbero essere distorti. Quindi, dobbiamo identificarli rapidamente e gestirli in modo appropriato.
Questo è il primo di una serie di blog che esamina i valori anomali. Oggi esamineremo l'identificazione visiva dei valori anomali. Nel prossimo episodio esamineremo se i valori anomali sono generalmente buoni o cattivi; gli ultimi episodi esamineranno diversi mezzi e algoritmi utilizzati per rilevare valori anomali.
Esempi di valori anomali - Identificazione visiva
Uno dei modi più semplici per identificare i valori anomali è visivamente. Si spera che tu stia già tracciando i tuoi dati per cercare tendenze, ecc. A seconda di come tracci i tuoi dati, i valori anomali saranno spesso ovvi. Gli esempi seguenti aiutano a descrivere i valori anomali utilizzando alcuni semplici grafici.
Esempio 1: dati unidimensionali
La Figura 1 mostra un dot plot di 1.000 campioni estratti da una popolazione normalmente distribuita (media=0, deviazione standard=1).
Figure 1: An example with one-dimensional data.Figure 1: An example with one-dimensional data.Figure 1: An example with one-dimensional data.Figure 1: An example with one-dimensional data.Figura 1: un esempio con dati unidimensionali.
Il punto in X1=4 è evidenziato in rosso. In questo caso, è di 4 deviazioni standard dalla media. Per una distribuzione normale (come quella mostrata sopra), questo è un evento molto improbabile. In effetti, ci aspetteremmo di disegnare un "4" da una distribuzione normale con media 0 e deviazione standard di 1 solo lo 0,01% delle volte. Questa è sicuramente un'osservazione insolita.
Esempio 2: Dati bidimensionali, variabili indipendenti e normalmente distribuite
Nell'esempio mostrato di seguito, abbiamo due variabili di input: X1 e X2:
Figure 2: A 2D example, with independent and normally distributed variables.Figure 2: A 2D example, with independent and normally distributed variables.Figure 2: A 2D example, with independent and normally distributed variables.Figure 2: A 2D example, with independent and normally distributed variables.Figura 2: Un esempio 2D, con variabili indipendenti e normalmente distribuite.
Nella Figura 2, abbiamo due variabili normalmente distribuite e indipendenti, X1 e X2. Gli istogrammi accanto a ciascuno possono essere utilizzati per ipotizzare la normalità. Notare il punto segnato in rosso in (4,4). Ancora una volta, abbiamo un valore anomalo visivamente ovvio, poiché si trova lontano dalle medie di X1 o X2.
Esempio 3: dati bidimensionali, variabili normali e indipendenti, medie diverse e deviazioni standard
Andiamo un po' oltre con l'esempio a due variabili. Questa volta abbiamo medie e deviazioni standard diverse.
Figure 3: A 2D example, with different means and standard deviations.Figure 3: A 2D example, with different means and standard deviations.Figure 3: A 2D example, with different means and standard deviations.Figure 3: A 2D example, with different means and standard deviations.Figura 3: Un esempio 2D, con diverse medie e deviazioni standard.
Il punto a circa (1,27) potrebbe essere considerato un valore anomalo. È all'interno della distribuzione X1, ma chiaramente al di fuori della distribuzione X3.
Ma per quanto riguarda il punto rosso in (4,5)? È un valore anomalo? I nostri occhi ci dicono che potrebbe essere, ma come possiamo dirlo? Come lo valutiamo algoritmicamente? (Per la risposta a questo, dovrai aspettare i successivi post sul blog!)
Esempio 4: Dati bidimensionali con correlazione tra le variabili
Di seguito è riportato un altro esempio bidimensionale, questa volta con correlazione tra le due variabili:
Figure 4: A 2D example, with correlation between the two variables.Figure 4: A 2D example, with correlation between the two variables.Figure 4: A 2D example, with correlation between the two variables.Figure 4: A 2D example, with correlation between the two variables.Figura 4: Un esempio 2D, con correlazione tra le due variabili.
Visivamente, il punto rosso in (-3,6) nella figura 4 è abbastanza evidente. Ma guardare una variabile indipendentemente indicherebbe che questo punto si comporta bene sia nella dimensione X1 che nella dimensione X4. (Questo è un eccellente esempio del motivo per cui è importante tracciare i dati!)
Esempio 5: un valore anomalo bidimensionale più complicato
Un altro strano valore anomalo in due dimensioni è mostrato nella figura seguente:
Figure 5: A trickier two-dimensional outlier.Figure 5: A trickier two-dimensional outlier.Figure 5: A trickier two-dimensional outlier.Figure 5: A trickier two-dimensional outlier.Figura 5: un valore anomalo bidimensionale più complicato.
Ancora una volta, è ovvio alla vista, ma più difficile da rilevare algoritmicamente. Eppure, c'è un modo! (Vedi futuri post sul blog.)
Esempio 6: Più di due dimensioni
E se avessimo più di due dimensioni? Le cose diventano più difficili da visualizzare. Per tre dimensioni, puoi provare un grafico a dispersione 3D e ruotarlo per identificare i valori anomali. Per più di tre dimensioni, puoi provare a creare una serie di grafici a dispersione per coprire tutte le coppie di variabili (come nella piattaforma Analizza/Multivariata), ma ricorda che i valori anomali potrebbero essere difficili da individuare.
Con l'aumentare della dimensionalità, iniziamo a rivolgerci ad algoritmi appositamente sviluppati per aiutare a identificare i valori anomali, che saranno trattati in post futuri.
Futuri episodi del blog
Nei prossimi post discuteremo i vari algoritmi anomali disponibili in JMP , compreso il modo in cui funzionano sugli esempi precedenti (e altro) e quando utilizzarli. Questi algoritmi includono:
Vedi tutti i post di questa serie su comprendere i valori anomali .
Argomento molto interessante, grazie per la condivisione!
Per aggiungere al commento precedente, quello che cerchiamo sempre di fare è applicare "PGA":
- P pratico: da dove provengono i dati, come sono stati raccolti, in che periodo, ecc.
- G grafico: traccia sempre prima i tuoi dati e prova a vedere se ha senso, se vedi relazioni, "valori anomali", ecc.
- UN analitica: solo allora inizia a fare analisi numeriche/statistiche...
In attesa dei prossimi blog!
Grande serie di blog Jerry!
Nella mia esperienza la causa più frequente di "valori anomali" era l'errore di immissione dei dati. Qualcuno ha fatto scivolare una virgola decimale o ha invertito due numeri, ha mancato di premere "invio" per l'immissione del punto dati successivo nella colonna o semplicemente ha mancato di premere il tasto sulla tastiera durante l'inserimento manuale dei dati. Controlla sempre prima i dati di origine se i dati dall'aspetto sospetto appaiono graficamente!
Questa serie di blog rafforza la best practice di tracciare SEMPRE i dati in qualsiasi modo immaginabile in JMP PRIMA del lavoro di analisi numerica.
