La visualizzazione è fondamentale durante tutto il processo di analisi dei dati, dall'esplorazione iniziale fino alla comunicazione di importanti scoperte e intuizioni. Scopriamo modelli, scopriamo relazioni in agguato e comunichiamo visivamente.
Con dati ad alta dimensione, ovvero tabelle di dati con molte colonne e righe, può essere difficile creare grafici che riepiloghino i dati in modo sufficiente per rivelare modelli generali e mostrare anche la scala e l'estensione della variabilità nei dati. Consideriamo alcuni dei modi per bilanciare queste richieste.
Per illustrare, esamineremo alcuni dati di partenza e arrivo delle compagnie aeree per tutti i voli nazionali negli Stati Uniti a marzo 2019. La tabella dei dati è fornita con il mio libro Analisi pratica dei dati con JMP, 3a ed . La tabella dati completa contiene 38 colonne e oltre 632.000 righe. Innanzitutto, consideriamo i ritardi all'arrivo, riportati in minuti. In Graph Builder, trasciniamo il file ArrDelay colonna alla zona di rilascio Y e produrre il grafico predefinito, un boxplot anomalo.
Questo grafico mostra una distribuzione dei ritardi fortemente distorta a destra, con una mediana vicina allo zero. Forse il 50% dei voli arriva prima del previsto e il 75% ha solo ritardi modesti. Selezionando la casella di riepilogo dei 5 numeri ci dice di più e ci si potrebbe chiedere quale sia il valore massimo di 1.928 minuti o un ritardo di 32 ore.
Il baffo superiore in un boxplot anomalo è costruito a Q3 + 1,5*(intervallo interquartile), che in questo caso è 31,5 + 1,5(21) = 37,5. Un numero elevato, ma indeterminato, di osservazioni si trova al di sopra dei 37 minuti. Se usiamo lo strumento Freccia per selezionare i punti sopra il baffo, apprendiamo che ci sono quasi 54.000 valori anomali, ma in questa rappresentazione iniziale del grafico, vediamo una linea scura con alcuni punti attenuati ai valori più alti.
Un problema più grande è che i valori anomali possono sminuire visivamente il fatto che la grande maggioranza dei voli è arrivata entro pochi minuti dall'orario previsto. Se la nostra priorità è comunicare il centro e la forma della distribuzione, potremmo preferire un istogramma o un diagramma a violino. Quest'ultima è un'opzione Contour plot . Ecco i due grafici affiancati.
Queste visualizzazioni evidenziano la posizione e la forma dell'intera distribuzione, senza enfatizzare eccessivamente i punti periferici. D'altra parte, in realtà non mostrano affatto nessuno dei punti dati.
Ovviamente, possiamo aggiungere ogni singolo punto a uno qualsiasi di questi grafici facendo clic con il pulsante destro del mouse sul grafico e scegliendo Aggiungi > Punti. Ecco la trama del violino con i punti sovrapposti sul contorno.
Il problema è che c'è così tanto overplotting che la maggior parte dei punti non sono visibili. Cosa fare?
Ecco cinque semplici tattiche:
1. Dividi e conquista . Fare una serie di piccoli grafici potrebbe non essere la tua prima scelta, ma iniziamo con questo perché aiuta a illustrare più chiaramente gli altri suggerimenti. Se è presente un overplotting eccessivo in un grafico unidimensionale, includere un'altra dimensione. Ad esempio, i nostri dati contengono una variabile categoriale che identifica la causa principale del ritardo quando si è verificato un ritardo . In questo set di dati, solo circa un terzo dei voli è stato ritardato, quindi vediamo circa 200.000 punti invece di 600.000.
Usando Causa principale come variabile di raggruppamento aiuta a identificare i motivi dinamici sottostanti alla variazione dei ritardi e mostra anche più chiaramente i singoli valori dei dati. Ad esempio, è immediatamente chiaro che la maggior parte dei ritardi sembra essere causata dai vettori e dalle apparecchiature in ritardo, che i ritardi più lunghi sono attribuibili al vettore e che i ritardi di sicurezza sono rari e brevi.
Si noti che in questo rendering i punti non sono più allineati verticalmente, ma lo sono stati agitato. Cioè, sono stati riposizionati leggermente a sinistra ea destra per inserire uno spazio bianco tra di loro. Questo ci porta alla seconda tattica.
2. Aggiungere o regolare il jitter . In questo grafico univariato, alcuni punti sono stati uniformemente spostati a sinistra oa destra. Il modello di jitter predefinito separa i punti in modo da poter avere un'idea di quanti voli c'erano a ciascun valore, ma i punti coprono i contorni.
In Graph Builder, i controlli Jitter forniscono opzioni.
Se, ad esempio, scegliamo Normale casuale jitter e ridurre il Limite di jitter , possiamo rivelare di nuovo i violini:
Riducendo il jitter si scoprono i violini, ma si aumenta l'overplotting. Le tre tattiche successive riguardano più direttamente la riduzione della densità dell'inchiostro. Possiamo richiamare queste opzioni facendo clic con il pulsante destro del mouse sul punto nero e Arr ritardo nella legenda in alto a destra del grafico.
3. Usa marcatori aperti . Scegliere Marcatore > e seleziona il cerchio aperto anziché il punto pieno. Ora i punti vicini si sovrappongono visibilmente, anziché sovrapporsi l'un l'altro.
4. Usa pennarelli più piccoli .Anche con i marcatori aperti, la densità dei punti porta a un notevole overplotting. A volte il semplice utilizzo di punti più piccoli lascia più spazio bianco, consentendo ai singoli punti di essere più visibili. Lo facciamo facendo clic con il tasto destro sul cerchio nero nella legenda e scegliendo Dimensioni pennarello > 1, piccolo .
5. Usa pennarelli traslucidi . I marcatori aperti ci permettono di vedere attraverso il centro di un punto, ma il contorno dei punti è opaco. Per ridurre la confusione visiva, possiamo rendere i punti semitrasparenti. Ancora una volta, fai clic con il pulsante destro del mouse sul cerchio nero nella legenda e scegli Trasparenza… per aprire questa finestra di dialogo:
Immettere un valore compreso tra 0 e 1 come indicato. Ecco il risultato dell'inserimento di 0,2, per una densità del marcatore del 20%.
In questa versione, i punti più alti molto radi svaniscono quasi nell'oscurità, ma l'abbondanza di punti a valori più bassi è accentuata.
Queste cinque tattiche di base funzionano altrettanto bene con trame bivariate e multivariate. Ecco, ad esempio, un grafico a dispersione di Ritardo all'arrivo rispetto a Ritardo alla partenza, utilizzando piccoli indicatori aperti. Per aggiungere una terza dimensione, coloriamo i punti in base alla causa principale dei ritardi.
Ora stiamo tracciando tutti i 612.000 punti, la maggior parte dei quali sono abbastanza vicini o al di sotto dell'origine. La massa di punti neri in basso a sinistra sono voli arrivati in anticipo o in orario, e quindi non hanno una causa principale di ritardo all'arrivo. La frequenza comparativa e la gravità dei ritardi sono visibili per causa. Ancora più importante, nonostante la densa densità dei dati, possiamo rilevare i modelli complessivi così come i singoli punti.
