Niveau: Fortgeschritten
Michael Crotty, @michael_jmp , JMP Senior Statistical Writer, SAS
Colleen McKendry, @cozmck , Technische Redakteurin für JMP, SAS
Marie Gaudard, @marie_gaudard , Statistische Beraterin
In Situationen, in denen die Anomalieerkennung das Ziel eines prädiktiven Modells ist, weisen die zugrunde liegenden Daten häufig eine unausgewogene Klassenverteilung auf. Das heißt, die anomale Klasse ist deutlich kleiner als die nicht-anomale Klasse. Ziel der Modellierung ist in der Regel die Identifizierung der Mitglieder der Minderheitsklasse. Die einfache Anwendung prädiktiver Modellierungstechniken kann jedoch zu einem verzerrten und ungenauen Modell führen. Es wurden zahlreiche Techniken zur Lösung dieser Probleme vorgeschlagen. Wir möchten JMP Pro-Anwender bei der Entwicklung prädiktiver Modelle für unausgewogene Daten unterstützen. Wir untersuchen JMP Pro-Ansätze zur Klassifizierung in eine unterrepräsentierte Klasse. Wir beschreiben zunächst allgemeine Aspekte des Problems unausgewogener Klassen: Verzerrung, Leistungskennzahlen und Ansätze zur Lösung der Modellierungsprobleme. Anschließend diskutieren wir die in unserer Studie verwendeten Stichprobenmethoden; dazu gehören Gewichtung, Unterabtastung, Überabtastung und die synthetische Minderheits-Oversampling-Technik (SMOTE). Für mehrere reale Datensätze mit unterschiedlichen Klassenanteilen vergleichen wir die mit diesen Stichprobenmethoden in Kombination mit den in den JMP Pro-Klassifizierungsplattformen verfügbaren prädiktiven Modellen erzielten Anpassungen. Wir führen eine ähnliche Untersuchung von Stichprobenverfahren und Vorhersagemodellen für eine begrenzte Anzahl simulierter Datensätze durch. Für die simulierten Datensätze versuchen wir, den Grad der Unterrepräsentation zu ermitteln, ab dem Standardmodelle durch Klassenungleichgewichte beeinträchtigt werden. Wir präsentieren außerdem Schlussfolgerungen zur relativen Leistung der Stichprobenverfahren und Vorhersagemodelle.
Ein Add-In, das die in dieser Präsentation besprochenen Analysen durchführt, ist jetzt verfügbar: Imbalanced Classification Add-In . Das Add-In erweitert die Funktionen der Skripte in Scripts_and_Results.zip. Unter anderem ist das Add-In nicht von R abhängig, führt SMOTE-, Tomek- und SMOTE-plus-Tomek-Sampling für Datensätze mit nominalen und ordinalen Prädiktoren durch und bietet über die Hilfe-Schaltfläche des Dialogfelds eine umfassende Dokumentation.
