Niveau: Mittelstufe
Berufsfunktion: Analyst / Wissenschaftler / Ingenieur
Michael Crotty, JMP Senior Statistical Writer, SAS
Marie Gaudard, Statistikberaterin
Colleen McKendry, Technische Redakteurin bei JMP, SAS
Bester eingeladener Paper-Finalist
In Situationen, in denen die Erkennung von Anomalien das Ziel eines Vorhersagemodells ist, weisen die zugrunde liegenden Daten häufig eine unausgewogene Klassenverteilung auf. Die anomale Klasse ist nämlich deutlich kleiner als die nicht anomale Klasse. Das Modellierungsziel besteht normalerweise darin, Mitglieder der Minderheitenklasse zu identifizieren. Eine einfache Anwendung prädiktiver Modellierungstechniken kann jedoch zu einem verzerrten und ungenauen Modell führen. Es wurden viele Techniken vorgeschlagen, um diese Probleme anzugehen. Wir möchten JMP Pro-Benutzer bei der Entwicklung von Vorhersagemodellen für unausgeglichene Daten unterstützen. Wir befassen uns mit JMP Pro-Ansätzen zur Einstufung in eine unterrepräsentierte Klasse. Wir beschreiben zunächst allgemeine Aspekte des Problems der unausgeglichenen Klasse: Voreingenommenheit, Leistungsmaße und Ansätze zur Lösung der Modellierungsprobleme. Anschließend diskutieren wir die Stichprobenmethoden, die wir in unserer Studie verwenden. Dazu gehören Gewichtung, Unterabtastung, Überabtastung und die Technik der synthetischen Minderheitsüberabtastung (SMOTE). Für mehrere reale Datensätze, die unterschiedliche Klassenanteile aufweisen, vergleichen wir die mit diesen Stichprobenmethoden erhaltenen Anpassungen in Kombination mit Vorhersagemodellen, die in JMP Pro-Klassifizierungsplattformen verfügbar sind. Wir führen eine ähnliche Untersuchung von Stichprobentechniken und Vorhersagemodellen für einen begrenzten Bereich simulierter Datensätze durch. Für die simulierten Datensätze versuchen wir den Grad der Unterrepräsentation zu ermitteln, bei dem Standardmodelle beginnen, von Klassenungleichgewichten betroffen zu sein. Wir präsentieren auch Schlussfolgerungen zur relativen Leistung der Stichprobenmethoden und Vorhersagemodelle.
Ein Add-In, das die in dieser Präsentation besprochenen Analysen durchführt, ist jetzt verfügbar: Unausgeglichenes Klassifizierungs-Add-In .Das Add-In erweitert die Funktionen der Skripte in Scripts_and_Results.zip.Neben anderen Funktionen ist das Add-in nicht auf R angewiesen, es führt SMOTE-, Tomek- und SMOTE-plus-Tomek-Stichproben an Datensätzen durch, die nominale und ordinale Prädiktoren enthalten, und bietet über die Schaltfläche „Hilfe“ des Dialogfelds eine umfassende Dokumentation.
Ich kenne nichts, was in JMP Pro integriert ist und Echtzeit-Sensordaten verarbeiten könnte, aber mit ein wenig Skripting könnten Sie das sicher schaffen. Das wäre eine gute Frage für die größere JMP-Community.
Vielen Dank für Ihr Interesse und Ihre Frage!
Michael
Danke. es ist wirklich toll und hilfreich!
Eine Frage: Kann JMPpro zur Echtzeiterkennung von Anomalien (z. B. Sensordaten) verwendet werden?
Danke schön!
