Grande serie di blog Jerry!
Nella mia esperienza la causa più frequente di "valori anomali" era l'errore di immissione dei dati. Qualcuno ha spostato un punto decimale, o ha invertito due numeri, mancando di premere "invio" per la successiva immissione del punto dati nella colonna, o semplicemente di non aver premuto il tasto sulla tastiera durante l'immissione manuale dei dati. Controllare sempre prima i dati di origine se i dati dall'aspetto sospetto vengono visualizzati graficamente!
Questa serie di blog rafforza la best practice di tracciare SEMPRE i dati in ogni modo immaginabile in JMP PRIMA del lavoro di analisi numerica.
Argomento molto interessante, grazie per la condivisione!
Per aggiungere al commento precedente, quello che cerchiamo sempre di fare è applicare "PGA":
- P pratico: da dove provengono i dati, come sono stati raccolti, in che periodo, ecc.
- G raphical: traccia sempre prima i tuoi dati e prova a vedere se ha senso, se vedi relazioni, "valori anomali", ecc.
- UN nalytical: solo allora inizia a fare analisi numeriche / statistiche ...
In attesa dei prossimi blog!
Un rapido quiz: cosa sono i valori anomali?
- Punti dati dispari che potrebbero influenzare i risultati della modellazione e devono essere affrontati.
- Punti dati dispari che richiedono ulteriori indagini, possibilmente fornendo nuove informazioni sul processo.
- Un bel libro di Malcolm Gladwell. (Valori anomali, 2008)
La risposta, ovviamente, è "Tutto quanto sopra".
Se ti occupi di esaminare i dati, di tanto in tanto ti sei imbattuto in "valori anomali", quelle letture numeriche che non rientrano nel normale schema dei dati. Di conseguenza, i nostri minimi quadrati dei dati (ad esempio) potrebbero essere distorti. Quindi, dobbiamo identificarli rapidamente e affrontarli in modo appropriato.
Questo è il primo di una serie di blog che esamina i valori anomali. Oggi esamineremo l'identificazione visiva dei valori anomali. Nel prossimo episodio esamineremo se i valori anomali sono generalmente buoni o cattivi; gli ultimi episodi esamineranno diversi mezzi e algoritmi utilizzati per rilevare i valori anomali.
Esempi di valori anomali: identificazione visiva
Uno dei modi più semplici per identificare i valori anomali è visivamente. Si spera che tu stia già tracciando i tuoi dati per cercare tendenze, ecc. A seconda di come traccia i tuoi dati, i valori anomali saranno spesso evidenti. Gli esempi seguenti aiutano a descrivere i valori anomali utilizzando alcuni semplici grafici.
Esempio 1: dati unidimensionali
La Figura 1 mostra un diagramma a punti di 1.000 campioni estratti da una popolazione normalmente distribuita (media = 0, deviazione standard = 1).
Figura 1: un esempio con dati unidimensionali.
Il punto in X1 = 4 è evidenziato in rosso. In questo caso, sono 4 deviazioni standard dalla media. Per una distribuzione normale (come quella mostrata sopra), questo è un evento molto improbabile. In effetti, ci aspetteremmo di trarre un "4" da una distribuzione normale con media 0 e deviazione standard di 1 solo lo 0,01% delle volte. Questa è decisamente un'osservazione insolita.
Esempio 2: dati bidimensionali, variabili indipendenti e normalmente distribuite
Nell'esempio mostrato di seguito, abbiamo due variabili di input: X1 e X2:
Figura 2: Un esempio 2D, con variabili indipendenti e normalmente distribuite.
Nella Figura 2, abbiamo due variabili indipendenti e normalmente distribuite, X1 e X2. Gli istogrammi accanto a ciascuno possono essere utilizzati per supporre la normalità. Notare il punto segnato in rosso in (4,4). Di nuovo, abbiamo un valore anomalo visivamente ovvio, poiché si trova lontano dai mezzi di X1 o X2.
Esempio 3: dati bidimensionali, variabili normali e indipendenti, medie diverse e deviazioni standard
Andiamo un po 'oltre con l'esempio a due variabili. Questa volta abbiamo mezzi e deviazioni standard differenti.
Figura 3: un esempio 2D, con diverse medie e deviazioni standard.
Il punto a circa (1,27) potrebbe essere considerato un valore anomalo. È all'interno della distribuzione X1, ma chiaramente fuori dalla distribuzione X3.
Ma per quanto riguarda il punto rosso a (4,5)? È un valore anomalo? I nostri occhi ci dicono che potrebbe essere, ma come possiamo dirlo? Come lo valutiamo algoritmicamente? (Per la risposta a questo, dovrai aspettare i successivi post del blog!)
Esempio 4: dati bidimensionali con correlazione tra le variabili
Di seguito è riportato un altro esempio bidimensionale, questa volta con correlazione tra le due variabili:
Figura 4: Un esempio 2D, con correlazione tra le due variabili.
Visivamente, il punto rosso in (-3,6) nella Figura 4 è abbastanza evidente agli occhi. Ma guardare una delle due variabili in modo indipendente indicherebbe che questo punto si è comportato bene sia nella dimensione X1 che nella dimensione X4. (Questo è un eccellente esempio del motivo per cui è importante tracciare i tuoi dati!)
Esempio 5: un valore anomalo bidimensionale più complicato
Un altro strano valore anomalo in due dimensioni è mostrato nella figura seguente:
Figura 5: un valore anomalo bidimensionale più complicato.
Di nuovo, è ovvio agli occhi, ma più difficile da rilevare algoritmicamente. Tuttavia, c'è un modo! (Vedi i futuri post del blog.)
Esempio 6: più di due dimensioni
E se avessimo più di due dimensioni? Le cose diventano più difficili da visualizzare. Per tre dimensioni, puoi provare un grafico a dispersione 3D e ruotarlo per identificare i valori anomali. Per più di tre dimensioni, puoi provare a creare una serie di grafici a dispersione per coprire tutte le coppie di variabili (come nella piattaforma Analizza / Multivariata), ma ricorda, i valori anomali potrebbero essere difficili da individuare.
Con l'aumentare della dimensionalità, iniziamo a rivolgerci ad algoritmi sviluppati appositamente per aiutare a identificare i valori anomali, che saranno trattati in post futuri.
Futuri episodi del blog
Nei prossimi post, discuteremo i vari algoritmi anomali disponibili in JMP , compreso il modo in cui funzionano sugli esempi precedenti (e altro) e quando utilizzarli. Questi algoritmi includono:
Vedi tutti i post di questa serie su comprensione dei valori anomali .
