Élimination des valeurs aberrantesBonjour l'équipe Jmp,
J'ai un ensemble de données de production que je dois analyser 5 colonnes qui contiennent près de 5 000 lignes.
Près de 80 % d’entre eux étaient des valeurs aberrantes, et ils se situaient dans la limite de spécification.
Maintenant, je voulais faire une comparaison de box plot entre ces 5 colonnes pour voir une tendance au fil des jours.
Dans ce cas, dois-je éliminer toutes les valeurs aberrantes, quelles qu'elles soient, ou dois-je les conserver à des fins de comparaison ?
Analyse et modélisation de données de baseFusion et nettoyage des donnéesExploration et visualisation des donnéesRé: Élimination des valeurs aberrantesPourquoi ne pas faire les deux pour tester vos options ? Vous pouvez créer une nouvelle colonne dans laquelle vous marquez les lignes comme étant aberrantes et l'utiliser dans la visualisation. Dans certains cas, vous souhaiterez peut-être empiler vos données, afin de pouvoir simplement exclure les valeurs aberrantes d'une seule mesure au lieu de toutes (données larges ou hautes).
Ré: Élimination des valeurs aberrantesSalut @Statexplorer : Je dois admettre que ma première pensée en lisant votre question a été « Comment 80 % de vos données peuvent-elles être des valeurs aberrantes ? »
Pouvez-vous nous éclairer sur ce point ? Si vous utilisez une sorte de test « aberrant » basé sur la normalité et que 80 % des données sont dans les queues, alors vos données ne sont pas distribuées normalement et votre test aberrant n'est pas approprié.
Désolé, je n'arrive pas à comprendre le concept selon lequel « 80 % de mes données sont des valeurs aberrantes ». Autrement dit, les valeurs aberrantes sont des observations « inhabituelles » ; comment 80 % d'entre elles peuvent-elles être « inhabituelles » ?
Ré: Élimination des valeurs aberrantesMerci pour les suggestions. J'ai utilisé la méthode IQR pour le test des valeurs aberrantes et pour dire que 80 % des données sont aberrantes, lorsque j'ai vu la boîte, la plupart des points étaient des valeurs aberrantes.Ré: Élimination des valeurs aberrantesBonjour @Statexplorer : La méthode IQR est basée sur la normalité des données. Si 80 % des données se situent aux extrêmes, alors les données ne sont pas distribuées normalement et ces 80 % ne sont pas des « valeurs aberrantes ». Conceptuellement, la majorité de vos données ne peuvent pas être « inhabituelles » (selon la définition d'inhabituel).
Comment identifier alors les valeurs aberrantes dans les distributions non normales/à queue lourde/asymétriques ? Il s'agit d'une question très complexe sans réponse simple.
Si vous partagez certains détails sur vos données, etc., une solution adaptée pourra peut-être être trouvée.
Ré: Élimination des valeurs aberrantesBonjour @Statexplorer : Et, pour revenir à votre question. Je ne supprimerais aucune donnée... mais n'utilisez pas le boxplot pour identifier les « valeurs aberrantes ». Cela dit, les boxplots peuvent être un bon outil visuel pour vos données : la médiane est affichée, l'IQR est affiché, ainsi que le minimum et le maximum. Ainsi, en termes de tendance, vous pouvez toujours visualiser comment la médiane et l'écart évoluent au fil du temps.
Ré: Élimination des valeurs aberrantesBonjour @MRB3855 , Quelle méthode dois-je utiliser pour éliminer les valeurs aberrantes lorsque les données ne suivent pas une distribution normale ? et il s'agit d'une distribution très asymétrique (dans ce cas, la plupart des valeurs aberrantes se situent dans la plage USL et LSL)
Ré: Élimination des valeurs aberrantesBonjour @Statexplorer : Il peut être utile pour nous de comprendre le contexte de votre question ; pourquoi essayez-vous d’identifier les valeurs aberrantes ?
