Niveau: Mittelstufe
Berufsfunktion: Analyst / Wissenschaftler / Ingenieur
Michael Crotty, JMP Senior Statistical Writer, SAS
Marie Gaudard, Statistikberaterin
Colleen McKendry, Technische Redakteurin für JMP, SAS
Finalist für den besten eingeladenen Beitrag
In Situationen, in denen die Anomalieerkennung das Ziel eines prädiktiven Modells ist, weisen die zugrunde liegenden Daten häufig eine unausgewogene Klassenverteilung auf. Die anomale Klasse ist deutlich kleiner als die nicht-anomale Klasse. Ziel der Modellierung ist in der Regel die Identifizierung von Mitgliedern der Minderheitsklasse. Die einfache Anwendung prädiktiver Modellierungstechniken kann jedoch zu einem verzerrten und ungenauen Modell führen. Es wurden zahlreiche Techniken zur Lösung dieser Probleme vorgeschlagen. Wir möchten JMP Pro-Anwender bei der Entwicklung prädiktiver Modelle für unausgewogene Daten unterstützen. Wir untersuchen JMP Pro-Ansätze zur Klassifizierung in eine unterrepräsentierte Klasse. Zunächst beschreiben wir allgemeine Aspekte des Problems unausgewogener Klassen: Verzerrung, Leistungskennzahlen und Ansätze zur Lösung der Modellierungsprobleme. Anschließend diskutieren wir die in unserer Studie verwendeten Stichprobenmethoden; dazu gehören Gewichtung, Unterabtastung, Überabtastung und die synthetische Minderheits-Oversampling-Technik (SMOTE). Für mehrere reale Datensätze mit unterschiedlichen Klassenanteilen vergleichen wir die mit diesen Stichprobenmethoden erzielten Anpassungen in Kombination mit den in den JMP Pro-Klassifizierungsplattformen verfügbaren prädiktiven Modellen. Wir untersuchen Stichprobenverfahren und Vorhersagemodelle für eine begrenzte Anzahl simulierter Datensätze. Für die simulierten Datensätze versuchen wir, den Grad der Unterrepräsentation zu ermitteln, ab dem Standardmodelle durch Klassenungleichgewichte beeinträchtigt werden. Wir präsentieren außerdem Schlussfolgerungen zur relativen Leistungsfähigkeit der Stichprobenverfahren und Vorhersagemodelle.
Ein Add-In, das die in dieser Präsentation besprochenen Analysen durchführt, ist jetzt verfügbar: Add-In für unausgewogene Klassifizierung . Das Add-In erweitert die Funktionen der Skripte in Scripts_and_Results.zip. Unter anderem ist das Add-In unabhängig von R, führt SMOTE-, Tomek- und SMOTE-plus-Tomek-Sampling für Datensätze mit nominalen und ordinalen Prädiktoren durch und bietet über die Hilfe-Schaltfläche des Dialogfelds eine umfassende Dokumentation.
