Eliminierung von AusreißernHallo Jmp-Team,
Ich habe einen Produktionsdatensatz, bei dem ich 5 Spalten analysieren muss, die fast 5000 Zeilen enthalten.
Fast 80 % davon waren Ausreißer und lagen innerhalb der Spezifikationsgrenze.
Jetzt wollte ich einen Boxplot-Vergleich zwischen diesen 5 Spalten durchführen, um einen Trend über die Tage hinweg zu erkennen.
Muss ich in diesem Fall alle Ausreißer eliminieren, egal, was da ist, oder sollte ich sie zum Vergleich behalten?
Grundlegende Datenanalyse und ModellierungDatenzusammenführung und -bereinigungDatenexploration und -visualisierungBetreff: Eliminierung von AusreißernWarum nicht beides tun, um Ihre Optionen auszuprobieren? Sie können eine neue Spalte erstellen, in der Sie die Zeilen als Ausreißer markieren und diese in der Visualisierung verwenden. In einigen Fällen möchten Sie Ihre Daten vielleicht stapeln, sodass Sie nur Ausreißer aus einer einzelnen Messung ausschließen können, anstatt aus allen (breite vs. hohe Daten).
Betreff: Eliminierung von AusreißernHallo @Statexplorer : Ich muss zugeben, mein erster Gedanke beim Lesen Ihrer Frage war: „Wie können 80 % Ihrer Daten Ausreißer sein?“
Können Sie das näher erläutern? Wenn Sie eine Art „Ausreißer“-Test auf Basis der Normalverteilung verwenden und 80 % der Werte in den Enden liegen, dann sind Ihre Daten nicht normal verteilt und Ihr Ausreißertest ist nicht geeignet.
Tut mir leid, aber ich komme mit dem Konzept „80 % meiner Daten sind Ausreißer“ einfach nicht klar. Das heißt, Ausreißer sind „ungewöhnliche“ Beobachtungen. Wie können 80 % davon „ungewöhnlich“ sein?
Betreff: Eliminierung von AusreißernVielen Dank für die Vorschläge. Ich habe die IQR-Methode für den Ausreißertest verwendet und festgestellt, dass 80 % der Daten Ausreißer sind. Als ich die Box sah, waren die meisten Punkte Ausreißer.Betreff: Eliminierung von AusreißernHallo @Statexplorer : Die IQR-Methode basiert auf der Normalität der Daten. Wenn 80 % der Daten an den Extremen liegen, sind die Daten nicht normal verteilt und diese 80 % sind keine „Ausreißer“. Konzeptionell kann die Mehrheit Ihrer Daten nicht „ungewöhnlich“ sein (gemäß der Definition von ungewöhnlich).
Wie identifizieren Sie dann Ausreißer aus nicht-normalen/schwerschwänzigen/schiefen Verteilungen? Dies ist eine sehr komplexe Frage, auf die es keine einfache Antwort gibt.
Wenn Sie einige Details zu Ihren Daten usw. weitergeben, kann möglicherweise eine zweckmäßige Lösung gefunden werden.
Betreff: Eliminierung von AusreißernHallo @Statexplorer : Und zurück zu Ihrer Frage. Ich würde keine Daten entfernen … aber verwenden Sie das Boxplot nicht, um „Ausreißer“ zu identifizieren. Dennoch können Boxplots ein gutes visuelles Hilfsmittel für Ihre Daten sein: Der Median wird angezeigt, der IQR wird angezeigt und auch das Minimum und Maximum. In Bezug auf Trends können Sie also immer noch visualisieren, wie sich der Median und die Streuung im Laufe der Zeit ändern.
Betreff: Eliminierung von AusreißernHallo @MRB3855 , welche Methode sollte ich verwenden, um Ausreißer zu eliminieren, wenn die Daten keiner Normalverteilung folgen? Und es handelt sich um eine stark schiefe Verteilung. (In diesem Fall liegen die meisten Ausreißer innerhalb des USL- und LSL-Bereichs.)
Betreff: Eliminierung von AusreißernHallo @Statexplorer : Es könnte für uns hilfreich sein, den Kontext Ihrer Frage zu verstehen; warum versuchen Sie, Ausreißer zu identifizieren?
