Benvenuti nella mia seconda puntata del blog su Outliers. In questo episodio, esaminerò l'utilizzo di intervalli di quantili per rilevare i valori anomali.
Nell'episodio 1 , abbiamo esaminato la descrizione e l'identificazione visiva dei valori anomali. Potresti ricordare che ci sono semplici casi unidimensionali (o univariati) in cui dobbiamo identificare i valori anomali. Questi sono i più facili da identificare e gli intervalli di quantili sono un modo eccellente per cercarli.
Per il rilevamento di outlier multidimensionali, dovrai aspettare i miei prossimi post!
Cosa sono i quantili?
I quantili sono molto facili da capire. Diciamo che abbiamo una serie di 20 numeri. Possiamo ordinare i numeri dal più basso al più alto. Possiamo quindi raggruppare questi punti in quantili, identificati da punti di taglio nei dati ordinati che descrivono il punto al di sotto del quale cade l'X% dei dati.
Si noti che i quantili sono generalmente espressi come frazione (da 0 a 1). Corrispondono esattamente ai percentili, che vanno da 0 a 100. Li userò in modo intercambiabile in questo post.
La Figura 1 mostra i 20 numeri prima e dopo l'ordinamento e i quantili 0,20 e 0,50 (o 20 th e 50 th percentili).
Figure 1: Data from 20 point sample, random order and sortedFigure 1: Data from 20 point sample, random order and sortedFigure 1: Data from 20 point sample, random order and sortedFigure 1: Data from 20 point sample, random order and sortedFigura 1: dati da un campione di 20 punti, ordine casuale e ordinati
Il punto di taglio per i 50 th percentile è la mediana del campione. (In questo caso, la mediana è numericamente 32,5, il punto medio tra 40 e 25.)
Alcune altre definizioni interessanti includono:
- Quartili, che dividono i dati in gruppi del 25%. Il primo quartile rappresenta i punti dati che rientrano nel 25% più basso, i punti del secondo quartile rientrano tra il 25% e il 50% e così via.
- Interquartile range, o IQR, che definisce l'intervallo coperto da 2 nd e 3 rd quartili.
Si noti che non ci sono ipotesi fatte sulla forma della distribuzione quando si parla di quantili.
Dove si trovano i calcoli dei quantili in JMP?
Puoi trovare i quantili elencati in tre posizioni in JMP . La piattaforma di distribuzione e il Generatore di grafici utilizzano entrambi gli stessi calcoli. Explore Outliers/Quantile Range Outliers offre maggiore flessibilità all'utente in termini di sensibilità degli outlier. Diamo un'occhiata a ciascuno.
Piattaforma di distribuzione
In Distribuzione, tutti gli istogrammi di dati continui/numerici includono un riepilogo dei quantili tabulari. Per impostazione predefinita, JMP visualizza diversi quantili di interesse. L'utilizzo della piattaforma di distribuzione nella colonna denominata Dati originali nella Figura 1 fornisce il seguente output:
Diversi quantili comuni sono mostrati nella tabella centrale della Figura 2. È possibile modificare i quantili visualizzati in questa tabella selezionando l'hotspot rosso e scegliendo Opzioni di visualizzazione, quindi Imposta incremento quantile o Quantili personalizzati.
Nella Figura 2 viene visualizzato anche il grafico Box & Whisker. I simboli mostrati nel grafico sono annotati nella Figura 2.
Le estremità dei baffi sono di maggior interesse nel rilevare i valori anomali. Si noti che la lunghezza dei baffi viene misurata dal minimo e dal massimo dell'intervallo interquartile e che i baffi terminano nell'ultimo punto dati che si trova all'interno di 1,5 volte tale intervallo. Questa è una regola empirica comune per il rilevamento dei valori anomali. I punti che cadono al di fuori di questi baffi possono meritare ulteriori indagini.
Ma nel set di dati mostrato nelle figure 1 e 2, questa tecnica non rileva valori anomali. Questo non è raro, in particolare con campioni di piccole dimensioni.
La figura 3 mostra l'output della piattaforma di distribuzione per i 1.000 dati di esempio del mio post di blog precedente. Questi campioni sono estratti da una distribuzione normale casuale, con media di 0,0 e deviazione standard di 1,0. Includo anche il punto in X1=4 che è stato identificato visivamente come valore anomalo nel mio post precedente:
Figure 3: Distribution platform output for 1,000 point sample from normal distributionFigure 3: Distribution platform output for 1,000 point sample from normal distributionFigure 3: Distribution platform output for 1,000 point sample from normal distributionFigure 3: Distribution platform output for 1,000 point sample from normal distributionFigura 3: output della piattaforma di distribuzione per un campione di 1.000 punti dalla distribuzione normale
Con la dimensione del campione più grande, alcuni dei punti ora sembrano essere valori anomali (almeno come definiti dalle estremità dei baffi). In questo caso particolare, poiché sappiamo che i dati provengono da una popolazione distribuita normalmente con 1.000 punti, probabilmente non è raro vedere almeno un punto con un valore di 4. In un caso reale, i punti oltre i baffi potrebbero richiedere ulteriori indagini.
Creazione di diagrammi a scatola e baffi in Graph Builder
È inoltre possibile generare grafici a scatola e baffi in Costruttore di grafici. L'intera configurazione di Graph Builder è mostrata nella Figura 4:
Figure 4: Graph Builder setup for Box & Whisker plot (1,000 point sample from normal distribution)Figure 4: Graph Builder setup for Box & Whisker plot (1,000 point sample from normal distribution)Figure 4: Graph Builder setup for Box & Whisker plot (1,000 point sample from normal distribution)Figure 4: Graph Builder setup for Box & Whisker plot (1,000 point sample from normal distribution)Figura 4: configurazione di Graph Builder per il grafico Box & Whisker (campione di 1.000 punti dalla distribuzione normale)
Si noti l'icona per il tipo di grafico sopra il grafico (cerchiata in rosso), che abilita il tipo di grafico Box & Whisker.
Come con la piattaforma di distribuzione, le lunghezze dei baffi sono intervallo interquartile 1,5* e si estendono dal 25 th percentile e oltre il 75 th percentile.
Esplora i valori anomali
E se volessimo scegliere altri limiti per i baffi?
Come affermato sopra, una lunghezza dei baffi di 1,5 * IQR è una pratica comune per identificare i valori anomali. Credo che questo derivi probabilmente dall'osservazione di distribuzioni normali di grandi campioni. È possibile dimostrare che 1,5*IQR oltre l'intervallo interquartile comprende il 99,30% della distribuzione normale (lasciando lo 0,3488% dei dati in ciascuna coda). Ciò identificherebbe un evento relativamente raro, se si dispone di una distribuzione normale.
Ma cosa succede se non si dispone di una distribuzione normale? Cosa succede se la distribuzione è simile a questa?
Figure 5: Skewed distributionFigure 5: Skewed distributionFigure 5: Skewed distributionFigure 5: Skewed distributionFigura 5: distribuzione asimmetrica
La Figura 5 mostra una distribuzione distorta di N=100 punti, con cinque valori anomali oltre il baffo superiore, secondo il metodo 1,5*IQR. Ma il punto in X1=3 è davvero un valore anomalo? O forse ci sono altri punti nascosti sotto i baffi che meriterebbero un'indagine anomala. Come modifichiamo questa regola 1.5*IQR?
JMP consente di eseguire questa operazione in Analizza/Screening/Esplora outlier, quindi scegliendo l'opzione Quantile Range Outliers. L'attivazione di questa opzione presenta la schermata di input mostrata di seguito per il campione di 100 punti riassunto nella Figura 5.
Figure 6: Quantile Range Outliers user interface and sample outputFigure 6: Quantile Range Outliers user interface and sample outputFigure 6: Quantile Range Outliers user interface and sample outputFigure 6: Quantile Range Outliers user interface and sample outputFigura 6: Interfaccia utente Quantile Range Outliers e output di esempio
Ci sono due input principali per il pannello Quantile Range Outliers:
- Quantile di coda (TQ). Questa frazione descrive il punto di divisione più piccolo nella distribuzione che verrà utilizzato nei calcoli dei baffi. (1-Tail Quantile) descrive il punto di taglio superiore nella distribuzione. La differenza tra questi punti di taglio descrive l'intervallo utilizzato nei calcoli successivi.
- Per i calcoli IQR descritti in precedenza, il quantile di coda sarebbe 0,25, indicando che i baffi inizierebbero al 25 th e 75 th percentili e l'intervallo sarebbe l'intervallo interquartile (o 75 th -25 th percentili).
- Il valore predefinito per il quantile di coda in Quantile Range Outliers è 0,1, a indicare che i baffi inizieranno al 10 th e 90 th percentili e la lunghezza dipende dal (90 th -10 th intervallo percentile).
- Q. Questo è il moltiplicatore utilizzato per determinare la lunghezza dei baffi.
- Nei precedenti calcoli IQR questo era 1,5, quindi l'intervallo interquartile è stato moltiplicato per 1,5 per ottenere la lunghezza dei baffi.
- Il valore predefinito per Q nei Quantile Range Outliers è 3, a indicare che la lunghezza dei baffi sarà definita dal (90 th -10 th percentile) moltiplicato per 3.
L'output dei Quantile Range Outliers è mostrato nella parte inferiore del pannello nella Figura 6. Qui vediamo che la colonna X1 aveva un 10 th percentile a -1,283 e 90 th percentile a 1,65556. Le estremità dei baffi (indicate come soglia bassa e alta [rispettivamente LT e HT] nell'output) si basano sui seguenti calcoli:
LT = 10 th quantile – (90 th quantile – 10 th quantile) * D
= -1,283 – (1,65556 – -1,283) * 3
= -10,099
HT = 90 th quantile + (90 th quantile – 10 th quantile) * D
= 1,65556 + (1,65556 – -1,283) * 3
= 10,4713
In questo caso, esiste un solo valore nella colonna che esiste oltre la soglia alta, con un valore di 12,0, che viene visualizzato nella parte inferiore del report mostrato nella Figura 6.
Sensibilità al quantile di coda e Q
La sensibilità di rilevamento dei valori anomali è chiaramente governata dai valori del quantile di coda e Q. Il tradizionale 1.5*IQR e il 3*(90 th -10 th quantile) sono entrambi accettabili, con il primo che è molto più sensibile al rilevamento di valori anomali. È possibile utilizzare la piattaforma Quantile Range Outliers per regolare questi valori in base alle esigenze del caso specifico.
Sebbene l'efficacia della scelta del quantile di coda e Q dipenderà dalla tua particolare distribuzione, possiamo ottenere alcune informazioni sul loro comportamento osservando le distribuzioni normali. Di seguito è riportata una tabella che mostra diverse combinazioni di quantile di coda e Q, insieme alla percentuale di valori nelle code di una distribuzione normale che cadrebbe al di fuori dei baffi:
Table 1: Percent of outliers detected in large sample normal distribution for various values of tail quantile and QTable 1: Percent of outliers detected in large sample normal distribution for various values of tail quantile and QTable 1: Percent of outliers detected in large sample normal distribution for various values of tail quantile and QTable 1: Percent of outliers detected in large sample normal distribution for various values of tail quantile and QTabella 1: Percentuale di valori anomali rilevati nella distribuzione normale di grandi campioni per vari valori di quantile di coda e Q
Espandendo questa idea, possiamo creare una mappa di contorno che mostri un quadro più completo delle quantità nella Tabella 1:
Figure 7: Percent of outliers detected in large sample normal distribution for various values of Tail Quantile and QFigure 7: Percent of outliers detected in large sample normal distribution for various values of Tail Quantile and QFigure 7: Percent of outliers detected in large sample normal distribution for various values of Tail Quantile and QFigure 7: Percent of outliers detected in large sample normal distribution for various values of Tail Quantile and QFigura 7: Percentuale di valori anomali rilevati nella distribuzione normale di grandi campioni per vari valori di Tail Quantile e Q
La Figura 7 mostra chiaramente che la combinazione di valori elevati di quantile di coda e valori bassi di Q rende i calcoli più sensibili ai valori anomali, mentre valori bassi di TQ e Q elevato ci rendono meno sensibili.
Prossimo episodio
La prossima volta discuteremo Distanza Mahalanobis , utilizzato per rilevare i valori anomali in più dimensioni.
Vedi tutti i post di questa serie su comprendere i valori anomali .
