883609_de-DE

liliconcom

Wie ich Ausreißer anhand eines Anpassungsmodells vorhersage

Hallo zusammen,

Derzeit versuche ich, ein Modell mit „Modell anpassen“ zu erstellen, um die Ausgabe aus den Eingabevariablen vorherzusagen und zu entscheiden, ob die Vorhersage ein Ausreißer ist oder nicht. Ich habe jedoch Probleme damit, dass das Modell nach Erhalt des Modells Ausreißer nicht klar erkennen kann (rot hervorgehoben).

Auch wenn ich versucht habe, die Datenquelle vorab zu verarbeiten, z. B. Ausreißer aus der Datenquelle auszuschließen und dann das Modell zu trainieren, werden Ausreißer nicht wirklich herausgefiltert

Gibt es eine Möglichkeit, das Modell zu trainieren, sodass Ausreißerpunkte unterschieden werden können?

Danke

Grundlegende Datenanalyse und -modellierungBetreff: Wie kann ich Ausreißer anhand eines Anpassungsmodells vorhersagen?

Hallo @PhamBao ,

Die Erkennung und Klassifizierung von Ausreißern kann ein sehr umfangreiches Gebiet sein, in das Sie mit verschiedenen Ansätzen hineinschnuppern können. Sie sollten sich überlegen, wie Sie einen Ausreißer definieren (das ist in Ihrem Beitrag nicht ganz klar): Suchen Sie nach einem Ausreißer, der nicht zu Ihrem Modell passt, oder sind es die Punkte in den roten Bereichen, die Sie als Ausreißer definiert haben?

Als kurze Idee hier ein paar Bereiche, die Sie ausprobieren können:

- Cooks D-Ausreißer – dies definiert, wie stark sich Ihre Modellkoeffizienten ändern würden, wenn Sie einen Punkt entfernen – im Allgemeinen ist ein Schwellenwert über 4/n (n = Anzahl der Zeilen) ein guter Ausgangspunkt. Dieser Link enthält zahlreiche Anleitungen sowie Informationen zu Cooks D.

- Studentisierte Residuendiagramme – diese bieten eine gute Visualisierung der Residuen aus Ihren Zeilen und helfen dabei, Punkte, die in einen bestimmten Bereich eingetreten sind, als wahrscheinliche Ausreißer zu definieren.

Weitere Informationen finden Sie unter den beiden Links hier und hier .

Danke,

Ben

Betreff: Wie kann ich Ausreißer anhand eines Anpassungsmodells vorhersagen?

Hallo @PhamBao ,

Ich stimme @Ben_BarrIngh zu, es gibt viele Möglichkeiten, wenn es um das Thema Ausreißer geht.

Als Erstes muss die Art des Ausreißers berücksichtigt werden: modellbasiert (mit einer bestimmten Modellanpassung verknüpft) oder modellagnostisch?

Die Methoden zur Identifizierung von Ausreißern hängen von ihrer Art ab:

• Modellunabhängige Methoden zur Ausreißererkennung , wie Mahalanobis-Distanzen, basieren nicht auf einem festgelegten Modell, sondern vergleichen lediglich die Distanz zwischen Punkten anhand von Variablen/Faktoren/Merkmalen. Ein mit solchen Methoden identifizierter Ausreißer deutet darauf hin, dass dieser Punkt „seltsam“ aussieht und nicht Teil der Faktorverteilungen der anderen Punkte zu sein scheint. Weitere Informationen finden Sie in der Ausreißeranalyse der multivariaten Plattform.
• Modellbasierte Methoden zur Ausreißererkennung , basierend auf Residuen (studentisierte Residuen oder andere Metriken wie PRESS RMSE/R2...), ermöglichen die Identifizierung von Ausreißern, die vom Modell nicht gut angepasst/vorhergesagt werden. Dies kann ein Hinweis darauf sein, dass dem Modell wichtige Begriffe (wie Interaktion oder nichtlineare Effekte) fehlen oder es für die Daten nicht geeignet ist. Sie können die anderen Diagnose-Panels/-Tools verwenden, um zu prüfen, ob das Modell gut zu Ihren Daten passt, basierend auf der statistischen Signifikanz Ihres Modells und verschiedenen Metriken je nach Ziel wie Informationskriterium/RMSE/R2... Sie können auch überprüfen, ob dieser erkannte modellbasierte Ausreißer einen starken Einfluss auf Ihr Modell hat, indem Sie Cooks Distanzen berechnen: https://www.jmp.com/en_us/statistics-knowledge-portal/what-is-multiple-regression/mlr-residual-analy... Hohe und/oder ungewöhnliche Werte dieser Punkte deuten darauf hin, dass diese Punkte Einfluss haben und Ihr Modell verzerren könnten. Untersuchen Sie anschließend, um welche Punkte es sich handelt und ob die Messungen gültig sind, bevor Sie entscheiden, ihren Einfluss auf das Modell zu verringern oder sie zu entfernen. Siehe die Optionen „Zeilendiagnose“ in der Plattform „Modell anpassen“ oder „Modellanpassungsoptionen“, sobald das Modell angepasst ist.

Achten Sie besonders auf die Ursache/Quelle der Ausreißer und deren korrekte Behandlung. Das Entfernen der Ausreißer erleichtert zwar die Analyse, löst aber nicht das Problem und verhindert nicht, dass sie erneut auftreten.

Hoffe, diese Antwort kann Ihnen helfen,

Betreff: Wie kann ich Ausreißer anhand eines Anpassungsmodells vorhersagen?

Hallo @Victor_G und @Ben_BarrIngh ,

Ich bin sehr dankbar für Ihre Beiträge. Meine Kenntnisse in Bezug auf Modellanpassung und Statistiken sind begrenzt. Daher würde ich gerne weitere Ratschläge einholen. Lassen Sie mich kurz klarstellen, was ich möchte. Basierend auf der Abbildung unten sind rote Datenpunkte schlechte Datenpunkte, basierend auf unseren Fertigungskriterien. Ich möchte schlechte Datenpunkte, die weit von der Anpassungslinie entfernt sind, trennen. Beim ersten Mal verwende ich Modell 1, sehe aber, dass schlechte Datenpunkte nicht wirklich weit von der Anpassungslinie entfernt sind. Beim zweiten Mal versuche ich, dieselben Eingaben wie Modell 1 zu verwenden, aber dieses Mal führe ich eine Polynom-2-Grad-Verteilung auf einen Parameter durch. Dabei sehe ich, dass der schlechte Datenpunkt im Vergleich zu Modell 1 weit von der Anpassungslinie entfernt ist.

1. Die Zusammenfassung der Anpassungstabellen von Modell 1 und Modell 2 ist vergleichbar, aber Modell 2 scheint genau das zu sein, wonach ich suche. Frage: Gibt es eine Methode, mit der ich fehlerhafte Datenpunkte in der Realität weit von der Anpassungslinie trennen kann?
2. Ich verstehe nicht ganz, warum bei Modell 1 fehlerhafte Datenpunkte so nahe an der Anpassungslinie liegen. Gibt es eine Methode, diese zu trennen?
Ich freue mich auf eure Antworten

Betreff: Wie kann ich Ausreißer anhand eines Anpassungsmodells vorhersagen?

In JMP können Sie Ausreißer vorhersagen, indem Sie ein Modell (z. B. ein Regressions- oder Klassifikationsmodell) anpassen und anschließend die Residuen oder Vorhersagefehler analysieren. Suchen Sie nach der Modellanpassung nach Datenpunkten mit ungewöhnlich hohen Residuen, Hebelwirkungen oder Einflussfaktoren (z. B. mithilfe der Cook-Distanz oder studentisierter Residuen). JMP bietet außerdem visuelle Tools wie das Hebelwirkungs-Residuen-Diagramm zur Identifizierung potenzieller Ausreißer. Sobald diese Punkte markiert sind, können Sie sie genauer untersuchen, um festzustellen, ob es sich um echte Anomalien oder Probleme bei der Dateneingabe handelt.

Betreff: Wie kann ich Ausreißer anhand eines Anpassungsmodells vorhersagen?

Hallo @PhamBao ,

Ihre Frage behandelt mehrere Themen: eines im Zusammenhang mit der Modellanpassung (und dem Vergleich und der Validierung von Modellen) und eines im Zusammenhang mit der Erkennung von Ausreißern.

• Bezüglich der Modellanpassung empfehle ich, die Modellmetriken zu vergleichen und die Residuen zu analysieren. In Ihrem letzten Screenshot sehen Sie, dass die Modelle sehr ähnlich sind, abgesehen von einem zusätzlichen quadratischen Effekt in Modell 2. Dieser zusätzliche quadratische Effekt hat nur geringe Vorteile bei der Betrachtung von R²/R²-bereinigt und RMSE. Er erzwingt außerdem ein nicht zufälliges Krümmungsmuster in den Residuen, daher wäre ich bei der Bewertung und dem Vergleich der Modelle sehr vorsichtig. Möglicherweise könnte die Verwendung von Validierungspunkten oder die Aufteilung Ihres Datensatzes in Trainings- und Validierungsdatensatz helfen, das am besten geeignete Modell für Ihre Daten zu finden.
• Zur Erkennung von Ausreißern stehen, wie bereits in meiner ersten Antwort erwähnt, zahlreiche Optionen zur Verfügung. Wenn Sie bereits wissen, dass diese Punkte ungewöhnlich oder anormal sind, warum kennzeichnen Sie sie nicht als solche und versuchen herauszufinden, welche Faktoren (und Wertebereiche) diese Punkte verursachen können? Sie könnten ein Klassifizierungsmodell (wie eine logistische Regression) erstellen, bei dem Ihre Antwort eine zweistufige Antwort wäre („normal“ und „Ausreißer“ zum Beispiel) und Ihre Faktoren Ihre Eingabevariablen wären (wie in den gezeigten Modellen).
  Abhängig von den Ergebnissen/Leistungen dieses Klassifizierungsmodells (Verwechslungsmatrix, Fehlklassifizierungsrate usw.) können Sie dann untersuchen, welche Faktoren die Situation verursachen, und die Formel für vorhergesagte Wahrscheinlichkeiten verwenden, um die Wahrscheinlichkeit vorherzusagen, dass ein neuer Punkt basierend auf den gemessenen Werten seltsam/ein Ausreißer sein könnte.

Ich hoffe, diese wenigen Vorschläge können Ihnen helfen.

Betreff: Wie kann ich Ausreißer anhand eines Anpassungsmodells vorhersagen?

Ich glaube, Victor_Gs zweiter Punkt trifft genau zu. Die Punkte, die Sie als „schlecht“ bezeichnet haben, sind keine Ausreißer im herkömmlichen Sinne – sie liegen nicht weit von der Regressionsgeraden entfernt. Das eigentliche Problem ist, dass Sie (aus dem Fachwissen) wissen, dass diese Datenpunkte etwas Schlechtes aufweisen. Sie benötigen also ein Modell zur Vorhersage dieser Punkte, und das von Ihnen bereitgestellte Regressionsmodell leistet dies nicht. Ich würde nicht nach anderen Regressionsmodellen suchen – ich denke, Sie benötigen eher ein Klassifikationsmodell zur Vorhersage der Punkte, von denen Sie wissen, dass sie problematisch sind. Das ist ein anderes Modell, und die meisten der gleichen Methoden können in JMP verwendet werden, allerdings mit einer nominalen Antwortvariable anstelle der von Ihnen verwendeten kontinuierlichen Antwortvariable.

Betreff: Wie kann ich Ausreißer anhand eines Anpassungsmodells vorhersagen?

Vielen Dank an Victor und die anderen Mitglieder. Ich werde deinen Vorschlag auf jeden Fall ausprobieren.