Bentornato alla mia serie di blog sui valori anomali. Negli episodi precedenti, abbiamo esaminato:
Oggi dopo una rapida (ma necessaria) revisione di Mahalanobis, esamineremo la distanza del coltello a serramanico.
Rapida rassegna della distanza di Mahalanobis
Ricordi il set di dati tridimensionale a 10 punti dell'episodio 3? La matrice multivariata del grafico a dispersione aveva questo aspetto in JMP :
Figura 1: matrice del grafico a dispersione di 10 punti dati con un valore anomalo (rosso)
Il punto rosso sembra essere un valore anomalo rispetto agli altri nove punti. Ciò è particolarmente chiaro nella trama evidenziata.
Tuttavia, quando abbiamo eseguito un calcolo della distanza di Mahalanobis, il punto rosso non sembrava essere un valore anomalo "terribile":
Figura 2: distanza di Mahalanobis per un campione di 10 punti dati mostrato nella Figura 1
Nella Figura 2, il punto rosso è sopra la linea di significato, ma non di molto. Ciò sembra controintuitivo in base alla matrice del grafico a dispersione della Figura 1 in cui il punto rosso sembra essere un ovvio valore anomalo.
Ma ricorda, il calcolo di Mahalanobis implica la misurazione della distanza dal tutto quando si tiene conto della struttura di covarianza dei dati. Se prendiamo il grafico a dispersione evidenziato dalla Figura 1 e ci adattiamo una linea retta, otteniamo qualcosa del genere (da Graph Builder):
Figura 3: grafico semplice di X1 vs X2, inclusa la linea di migliore adattamento (dai minimi quadrati ordinari)
L'adattamento in linea retta è una rappresentazione visiva della struttura di covarianza tra queste due variabili (X1 e X2). Notare che il punto anomalo rosso ha una forte influenza sulla posizione della linea; tira la linea verso di essa, rendendo la distanza da se stessa alla linea più piccola di quanto avrebbe dovuto essere.
Inoltre, la linea scarsamente adattata fa anche sembrare che altri punti dati siano più lontani dalla linea di quanto potrebbero essere se il punto rosso non l'avesse influenzata così fortemente. Ad esempio, il punto dati 6 (etichettato nella Figura 3) sembra essere lontano dalla linea e potrebbe essere sul confine di essere un valore anomalo se è stata scelta questa particolare linea migliore.
C'è un modo migliore per rilevare i valori anomali?
La tecnica del coltello a serramanico
La tecnica del coltello a serramanico è molto semplice, ma molto potente, e si basa su calcoli che utilizzano la tecnica del "lasciare fuori uno". Concettualmente, se lasciassimo il valore anomalo rosso fuori dai calcoli di adattamento della linea, genererebbe un grafico a dispersione con la linea di adattamento migliore simile a questo:
Figura 4: Grafico semplice di X1 rispetto a X2, inclusa la linea di migliore adattamento basata su tutti i punti TRANNE il valore anomalo rosso
Ora è chiaro che il valore anomalo rosso è veramente considerato un valore anomalo, giustificando ulteriori indagini.
In generale, ricorda questa equazione per calcolare la distanza di Mahalanobis dall'episodio 3:
Per calcolare la distanza del coltello a serramanico, utilizzare la tecnica del "lasciare uno fuori" e calcolare la
vettore e il file
matrice per tutti i punti tranne il punto di interesse . Quindi, inserisci semplicemente il punto di interesse nel file
vettore e calcolare la distanza di Mahalanobis, che ora è chiamata distanza del coltello a serramanico.
Ripetere i calcoli per tutti i punti, lasciando ogni volta il punto di interesse
dai calcoli di
e
.
La trama del coltello a serramanico assomiglia quindi a questa:
Figura 5: grafico della distanza del coltello a serramanico per un campione di 10 punti
Ora è abbastanza chiaro che il punto rosso è un valore anomalo.
Storia del coltello a serramanico
Per Wikipedia , John Tukey ha inventato il nome "coltello a serramanico" perché è un robusto strumento multiuso che può essere utilizzato in una varietà di circostanze, sebbene la tecnica sia stata originariamente sviluppata da Maurice Quenouille all'inizio della metà degli anni '50.
Paralleli con altre tecniche
Se hai familiarità con altri schemi di convalida (come la convalida K-fold) o cose come la foresta bootstrap e le tecniche di albero potenziato, riconoscerai che lasciare una (o più) osservazioni fuori da un'analisi è un modo molto comune e potente per ottenere di più dalle tue analisi statistiche.
Prossimo episodio
Tornando indietro Episodio 1 , Ho detto che l'episodio 5 avrebbe coinvolto T 2 distanze. Tuttavia, ho già sottolineato in Episodio 3 che T 2 è semplicemente il quadrato della distanza di Mahalanobis, quindi non abbiamo bisogno di un altro episodio per discuterne.
Invece, il mio quinto e ultimo post sul blog sui valori anomali affronterà il rilevamento multivariato del vicino più vicino K di valori anomali. Rimanete sintonizzati!
