Bentornati alla mia serie di blog sui valori anomali. Negli episodi precedenti abbiamo esaminato:
Oggi, dopo un breve (ma necessario) ripasso di Mahalanobis, esamineremo la distanza del coltello a serramanico.
Breve ripasso della distanza di Mahalanobis
Ricordi il set di dati tridimensionale a 10 punti dell'episodio 3? La matrice del grafico a dispersione multivariato si presentava così JMP :
Figure 1: Scatterplot matrix of 10 data points with one outlier (red)Figure 1: Scatterplot matrix of 10 data points with one outlier (red)Figure 1: Scatterplot matrix of 10 data points with one outlier (red)Figure 1: Scatterplot matrix of 10 data points with one outlier (red)Figure 1: Scatterplot matrix of 10 data points with one outlier (red)Figura 1: matrice del grafico a dispersione di 10 punti dati con un valore anomalo (rosso)
Il punto rosso sembra essere un valore anomalo rispetto agli altri nove punti. Ciò è particolarmente chiaro nella trama evidenziata.
Tuttavia, quando abbiamo eseguito il calcolo della distanza di Mahalanobis, il punto rosso non sembrava essere un valore anomalo “terribile”:
Figure 2: Mahalanobis distance for 10 data point sample shown in Figure 1Figure 2: Mahalanobis distance for 10 data point sample shown in Figure 1Figure 2: Mahalanobis distance for 10 data point sample shown in Figure 1Figure 2: Mahalanobis distance for 10 data point sample shown in Figure 1Figure 2: Mahalanobis distance for 10 data point sample shown in Figure 1Figura 2: distanza Mahalanobis per un campione di 10 punti dati mostrato nella Figura 1
Nella Figura 2, il punto rosso è sopra la linea di significatività, ma non di molto. Ciò sembra controintuitivo in base alla matrice del grafico a dispersione della Figura 1 in cui il punto rosso sembra essere un ovvio valore anomalo.
Ma ricorda, il calcolo di Mahalanobis prevede la misurazione della distanza dal tutto tenendo conto della struttura di covarianza dei dati. Se prendiamo il grafico a dispersione evidenziato dalla Figura 1 e adattiamo ad esso una linea retta, otteniamo qualcosa di simile (dal Costruttore di grafici):
Figure 3: Simple plot of X1 vs X2, including best-fit line (from ordinary least squares)Figure 3: Simple plot of X1 vs X2, including best-fit line (from ordinary least squares)Figure 3: Simple plot of X1 vs X2, including best-fit line (from ordinary least squares)Figure 3: Simple plot of X1 vs X2, including best-fit line (from ordinary least squares)Figure 3: Simple plot of X1 vs X2, including best-fit line (from ordinary least squares)Figura 3: grafico semplice di X1 vs X2, inclusa la linea di adattamento (dai minimi quadrati ordinari)
L'adattamento lineare è una rappresentazione visiva della struttura di covarianza tra queste due variabili (X1 e X2). Si noti che il punto anomalo rosso ha una forte influenza sulla posizione della linea; tira la linea verso di sé, riducendo la distanza tra sé e la linea di quanto avrebbe dovuto essere.
Inoltre, la linea che non si adatta bene fa sembrare che altri punti dati siano più lontani dalla linea di quanto potrebbero essere in realtà se il punto rosso non l'avesse influenzata in modo così forte. Ad esempio, il punto dati 6 (etichettato nella Figura 3) sembra essere lontano dalla linea e potrebbe essere al limite dell'essere un valore anomalo se fosse scelta questa particolare linea di adattamento ottimale.
Esiste un modo migliore per rilevare il valore anomalo?
La tecnica del coltello a serramanico
La tecnica del coltello a serramanico è molto semplice, ma molto potente, e si basa su calcoli utilizzando la tecnica del "lasciare uno fuori". Concettualmente, se lasciassimo il valore anomalo rosso fuori dai calcoli di adattamento della linea, genererebbe un grafico a dispersione con la linea di adattamento migliore simile a questa:
Figure 4: Simple plot of X1 vs X2, including best fit line based on all points EXCEPT for red outlierFigure 4: Simple plot of X1 vs X2, including best fit line based on all points EXCEPT for red outlierFigure 4: Simple plot of X1 vs X2, including best fit line based on all points EXCEPT for red outlierFigure 4: Simple plot of X1 vs X2, including best fit line based on all points EXCEPT for red outlierFigure 4: Simple plot of X1 vs X2, including best fit line based on all points EXCEPT for red outlierFigura 4: grafico semplice di X1 rispetto a X2, inclusa la linea di adattamento migliore basata su tutti i punti TRANNE il valore anomalo rosso
Ora è chiaro che il valore anomalo rosso è veramente considerato un valore anomalo e richiede ulteriori indagini.
In generale, ricorda questa equazione per calcolare la distanza di Mahalanobis dall'episodio 3:
Per calcolare la distanza del coltello a serramanico, utilizzare la tecnica del “leave-one-out” e calcolare la distanza del coltello a serramanico
vettore e il
matrice per tutti i punti tranne il punto di interesse . Successivamente, inserisci semplicemente il punto di interesse nel file
vettore e calcolare la distanza di Mahalanobis, che ora è chiamata distanza del coltello a serramanico.
Ripetere i calcoli per tutti i punti, lasciando ogni volta il punto di interesse
dai calcoli di
E
.
La trama del coltello a serramanico quindi assomiglia a questa:
Figure 5: Jackknife distance plot for 10 point sampleFigure 5: Jackknife distance plot for 10 point sampleFigure 5: Jackknife distance plot for 10 point sampleFigure 5: Jackknife distance plot for 10 point sampleFigure 5: Jackknife distance plot for 10 point sampleFigura 5: Grafico della distanza del coltello a serramanico per un campione di 10 punti
Ora è abbastanza chiaro che il punto rosso è un valore anomalo.
Storia del coltello a serramanico
Per Wikipedia , John Tukey ha inventato il nome "coltello a serramanico" perché è un robusto strumento multiuso che può essere utilizzato in una varietà di circostanze, sebbene la tecnica sia stata originariamente sviluppata da Maurice Quenouille all'inizio della metà degli anni '50.
Paralleli con altre tecniche
Se hai familiarità con altri schemi di validazione (come la validazione K-fold) o cose come le tecniche bootstrap forest e boosted tree, riconoscerai che lasciare una (o più) osservazioni fuori da un'analisi è un modo molto comune e potente per ottieni di più dalle tue analisi statistiche.
Prossimo episodio
Molto indietro Episodio 1 , ho detto che l'episodio 5 avrebbe coinvolto T 2 distanze. Tuttavia, l'ho già sottolineato in Episodio 3 quel t 2 è semplicemente il quadrato della distanza di Mahalanobis, quindi non abbiamo bisogno di un altro episodio per discuterne.
Invece, il mio quinto e ultimo post sul blog sui valori anomali affronterà il rilevamento multivariato dei vicini K-più vicini dei valori anomali. Rimani sintonizzato!
