Anomalieerkennung und JMP® Pro (2019-US-45MP-218)Stufe: Fortgeschritten
Michael Crotty, @michael_jmp , Statistischer Redakteur bei JMP, SAS
Colleen McKendry, @cozmck , Technischer Redakteur bei JMP, SAS
Marie Gaudard, @marie_gaudard , Statistischer Berater
In Situationen, in denen die Erkennung von Anomalien das Ziel eines Vorhersagemodells ist, weisen die zugrunde liegenden Daten häufig eine unausgewogene Klassenverteilung auf. Die anomale Klasse ist nämlich deutlich kleiner als die nicht-anomale Klasse. Das Modellierungsziel besteht normalerweise darin, Mitglieder der Minderheitsklasse zu identifizieren. Eine direkte Anwendung von Vorhersagemodellierungstechniken kann jedoch zu einem verzerrten und ungenauen Modell führen. Viele Techniken wurden vorgeschlagen, um diese Probleme anzugehen. Wir möchten Benutzern von JMP Pro bei der Entwicklung von Vorhersagemodellen für unausgewogene Daten helfen. Wir behandeln JMP Pro-Ansätze zur Klassifizierung in eine unterrepräsentierte Klasse. Wir beschreiben zunächst allgemeine Aspekte des Problems unausgeglichener Klassen: Voreingenommenheit, Leistungsmaße und Ansätze zur Lösung der Modellierungsprobleme. Anschließend diskutieren wir die Stichprobenverfahren, die wir in unserer Studie verwenden; Dazu gehören Gewichtung, Undersampling, Oversampling und die Synthetic Minority Oversampling-Technik (SMOTE). Für mehrere reale Datensätze, die unterschiedliche Klassenanteile aufweisen, vergleichen wir die Anpassungen, die mit diesen Stichprobenverfahren in Kombination mit Vorhersagemodellen erhalten wurden, die in JMP Pro-Klassifizierungsplattformen verfügbar sind. Wir führen eine ähnliche Untersuchung von Stichprobentechniken und Vorhersagemodellen für eine begrenzte Auswahl an simulierten Datensätzen durch. Für die simulierten Datensätze versuchen wir, den Grad der Unterrepräsentation zu identifizieren, ab dem Standardmodelle beginnen, von Klassenungleichgewichten betroffen zu sein. Wir präsentieren auch Schlussfolgerungen über die relative Leistung der Stichprobenverfahren und Vorhersagemodelle.
Ein Add-In, das die in dieser Präsentation besprochenen Analysen durchführt, ist jetzt verfügbar: Unausgeglichenes Klassifizierungs-Add-In .Das Add-In erweitert die Möglichkeiten der Skripts in Scripts_and_Results.zip.Neben anderen Funktionen ist das Add-In nicht von R abhängig, es führt SMOTE-, Tomek- und SMOTE-plus-Tomek-Sampling auf Datensätzen durch, die nominale und ordinale Prädiktoren enthalten, und es bietet eine umfassende Dokumentation über die Hilfeschaltfläche des Dialogfelds.
AusbrechenVideoBetreff: Anomalieerkennung und JMP® Pro (2019-US-45MP-218)Hallo Natalia,
Ich wollte Sie nur wissen lassen, dass die Imbalanced Data-Skripte von der Tucson-Konferenz jetzt in ein Add-In gepackt wurden, das Sie hier finden können:
Unausgeglichenes Klassifizierungs-Add-In .Das Add-In verfügt über erweiterte Funktionen: Neben anderen Funktionen ist es nicht von R abhängig, es führt SMOTE-, Tomek- und SMOTE-plus-Tomek-Sampling auf Datensätzen durch, die nominale und ordinale Prädiktoren enthalten, und es bietet eine umfassende Dokumentation über die Hilfeschaltfläche des Dialogfelds .
Wir hoffen, Sie finden es nützlich!
Marie
Betreff: Anomalieerkennung und JMP® Pro (2019-US-45MP-218)Hallo Natalia,
Dank Du für die Verwendung unseres Skripts!Es hört sich so an, als ob das Problem mit der R-Installation zusammenhängt.In der aktuell geposteten Version des Skripts erhalten wir die AUC-Werte der Precision-Recall-Kurve von R.Wir haben jedoch eine neue Version des Skripts, die R überhaupt nicht verwendet und über zusätzliche Funktionen verfügt, für deren Ausführung jedoch möglicherweise JMP 15 erforderlich ist.
Wenn Sie möchten, könnte ich Ihnen diese Version als Add-In paketiert zusenden.Ich sehe jedoch keine Möglichkeit, über die JMP Community eine Datei an diese E-Mail anzuhängen.Wenn Sie mir Ihre E-Mail-Adresse schicken könnten, kann ich Ihnen einen Entwurf des neuen Add-Ins zusenden.Meine E-Mail-Adresse ist mgaudard@tampabay.rr.com.
- Marie
Betreff: Anomalieerkennung und JMP® Pro (2019-US-45MP-218)Vielen Dank für die Bereitstellung dieser Ressource! Ich habe eine Frage zum Erhalt der AUC für die Präzisionskurve. Ich habe R auf dem Desktop installiert, und wenn ich das Skript „Imbalanced Data“ ausführe, wird es zum Erstellen von Datensätzen weitergeleitet und sagt dann, dass AUC-Werte für die Präzisionskurve abgerufen werden. Es sitzt dich für etwa 10-145 Sekunden und dann knallt JMP-Fehler. Es erstellt keinerlei Bericht. Bevor ich R installiert habe, hat es den Bericht erstellt (genau wie Ihre Powerpoint-Shows), aber AUC-Werte für die Präzisionskurve werden nicht berechnet. Was mache ich falsch? Möchte diese automatisch berechnen lassen.
Danke
