unausgeglichene Daten und GewichtsklassifizierungHallo,
Ich habe eine Datenbank mit einer stark unausgeglichenen oridnalen Antwort. Die Klasse von größerem persönlichem Interesse ist eine Minderheitsklasse (Patienten mit einer seltenen, aber schweren Infektion, etwa 5 % der Beobachtungen).
Die Klassifizierung der anderen Oridinalklassen funktioniert gut mit einem verstärkten Waldbaumklassifikator, aber diese Klassen oder nicht sind in meinem Interesse (weniger schwere Infektion oder überhaupt keine Infektion). Ich frage mich, ob ich die Option „Gewicht“ verwenden kann, um der Minderheitsklasse mehr Gewicht zu verleihen. Außerdem möchte ich berechnen, bei welcher optimalen Schwelle von "Gewicht" der Klassifikator am besten abgeschnitten hat. Bei unausgeglichenen Daten scheint die AUC ROC nicht das geeignete Leistungsmaß zu sein.Ein F1-Score (Maß für falsch positive und falsch negative Raten) scheint dafür geeigneter zu sein.
Kennt jemand die automatische Berechnung von F1-Ergebnissen in JMP?
Gibt es eine Möglichkeit, die Option "Gewicht" in JMP-Klassifizierungsmodellen in stark unausgeglichenen Daten zu optimieren, um die F1-Ergebnisse zu maximieren?
Hat jemand andere Vorschläge, um dieses Problem zu lösen?
Vielen Dank,
Lu
Betreff: unausgeglichene Daten und GewichtsklassifizierungEntschuldigung, ich meine Matthews CC
Betreff: unausgeglichene Daten und GewichtsklassifizierungEine kürzlich erschienene Veröffentlichung beschreibt deutlich die Vorteile des Matthias Correlation Coëfficiënt (MCC) als optimales Leistungsmaß für Klassifikationsmodelle, selbst bei unausgeglichenen Daten.
https://www.ncbi.nlm.nih.gov/pubmed/31898477
https://www.ncbi.nlm.nih.gov/pubmed/28574989
Betreff: unausgeglichene Daten und GewichtsklassifizierungHallo, ich habe ein nettes Add-In gefunden, das helfen kann, den optimalen Schwellenwert für die Klassifizierung zu definieren (unten angehängt). Oder suchen Sie nach „confusion matrix“ in File Exchange – Add-ins der JMP-Community-Website.
Betreff: unausgeglichene Daten und GewichtsklassifizierungIch denke, es gibt hier zwei etwas unterschiedliche Probleme. Einer ist die Unausgewogenheit der Daten - einige Ihrer Kategorien sind viel häufiger als andere, sodass einfache Fehlklassifizierungsraten Kategorien mit kleinen Zahlen "ignorieren" können - ich glaube, dass die F1 in erster Linie eine Möglichkeit ist, dies anzugehen. Das andere Problem ist die Asymmetrie der Fehler – falsch positive und falsch negative Ergebnisse können sehr unterschiedliche Folgen haben. Ich glaube nicht, dass die F1 dabei helfen wird - nur bessere Modelle und das Ändern der Wahrscheinlichkeits-Grenzwerte können dieses Problem lösen. Mir ist keine systematische Beziehung zwischen den beiden Themen bekannt (möglicherweise gibt es eine, und es wäre sehr interessant, etwas darüber zu erfahren).Betreff: unausgeglichene Daten und GewichtsklassifizierungIch habe mich auch für F1-Ergebnisse interessiert, glaube aber nicht, dass sie in JMP automatisch berechnet werden.Wenn jemand keine bessere Idee hat, würde ich davon absehen, Gewichte zu verwenden, um Ihr Problem anzugehen - ich denke, das wird es schwierig machen, zu sehen, was los ist.Meine eigene Neigung wäre, Ihre Antwortvariable in 2 Kategorien umzucodieren - die Krankheit, an der Sie interessiert sind, und alles andere.Dann können Sie die Cutoff-Wahrscheinlichkeiten manuell feinabstimmen (das Add-In dafür ist ziemlich gut), um zu sehen, welche Cutoff-Wahrscheinlichkeit die Krankheit, an der Sie interessiert sind, am besten identifiziert.Dann können Sie zur vollständigen Kategorisierung Ihrer Antwortvariablen zurückkehren und sehen, ob diese Grenzwahrscheinlichkeit robust erscheint.Für mich ist Versuch und Irrtum möglicherweise aufschlussreicher als die Suche nach einer automatischen Lösung für Ihr Problem (aber ob es eine automatische Methode gibt, würde ich gerne wissen).
Betreff: unausgeglichene Daten und GewichtsklassifizierungWenn Sie die Option „Verwirrungsmatrix“ für ein Klassifizierungsmodell aktivieren, können Sie die falsch-positiv/negativ-Raten abrufen.
Sie können auch unterschiedliche Grenzwerte für die Positiv-/Negativ-Klassifizierung festlegen (Standard ist 0,5).
