Eliminazione dei valori anomaliCiao team Jmp,
Ho un set di dati di produzione e devo analizzare 5 colonne che contengono quasi 5000 righe.
Quasi l'80% di essi erano valori anomali e rientravano nei limiti delle specifiche.
Ora volevo fare un confronto tramite box plot tra queste 5 colonne per vedere un andamento nel corso dei giorni.
In questo caso devo eliminare tutti i valori anomali presenti o dovrei tenerli per il confronto?
Analisi e modellazione dei dati di baseFusione e pulizia dei datiEsplorazione e visualizzazione dei datiRe: Eliminazione dei valori anomaliPerché non fare entrambe le cose per provare a testare le tue opzioni? Puoi creare una nuova colonna in cui contrassegnare le righe come outlier e usarla nella visualizzazione. In alcuni casi potresti voler impilare i tuoi dati, così puoi semplicemente escludere gli outlier da una singola misurazione anziché da tutti (dati larghi vs alti).
Re: Eliminazione dei valori anomaliCiao @Statexplorer : Devo ammettere che il mio primo pensiero quando ho letto la tua domanda è stato: "Come è possibile che l'80% dei tuoi dati siano valori anomali?"
Puoi fare un po' di luce su questo? Se stai usando una sorta di test "outlier" basato sulla normalità e l'80% è nelle code, allora i tuoi dati non sono distribuiti normalmente e il tuo test outlier non è appropriato.
Mi dispiace, non riesco proprio a capire il concetto di "80% dei miei dati sono valori anomali". In altre parole, i valori anomali sono osservazioni "insolite". Come è possibile che l'80% di essi sia "insolito"?
Re: Eliminazione dei valori anomaliGrazie per i suggerimenti. Ho usato il metodo IQR per il test dei valori anomali e per dire che l'80% dei dati era anomalo. Quando ho visto la casella, la maggior parte dei punti erano valori anomali.Re: Eliminazione dei valori anomaliCiao @Statexplorer : il metodo IQR si basa sulla normalità dei dati. Se l'80% dei dati si trova agli estremi, allora i dati non sono distribuiti normalmente e quell'80% non è "valore anomalo". Concettualmente, la maggior parte dei tuoi dati non può essere "insolita" (secondo la definizione di insolito).
Come si identificano allora i valori anomali da distribuzioni non normali/a coda pesante/asimmetriche? Questa è una domanda molto complessa, senza una risposta facile.
Se condividi alcuni dettagli sui tuoi dati ecc. forse si può trovare una soluzione adatta allo scopo.
Re: Eliminazione dei valori anomaliCiao @Statexplorer : E, tornando alla tua domanda. Non rimuoverei alcun dato... ma non usare il boxplot per identificare i "valori anomali". Detto questo, i boxplot possono essere un buon strumento visivo per i tuoi dati: viene mostrata la mediana, viene mostrato l'IQR, e così anche il minimo e il massimo. Quindi in termini di trend, puoi ancora vedere come la mediana e lo spread cambiano nel tempo.
Re: Eliminazione dei valori anomaliCiao @MRB3855 , quale metodo dovrei usare per eliminare i valori anomali quando i dati non seguono una distribuzione normale? e si tratta di una distribuzione fortemente asimmetrica. (In questo caso la maggior parte dei valori anomali rientra nell'intervallo USL e LSL)
Re: Eliminazione dei valori anomaliCiao @Statexplorer : potrebbe esserci utile capire il contesto della tua domanda: perché cerchi di identificare i valori anomali?
