Vorhersagemodellierung mit asymmetrischen Kosten / unausgewogenem DatensatzHallo,
Wie kann ich Vorhersagemodellierungsplattformen auf JMP Pro (Partition, zufällige Gesamtstrukturen usw.) anweisen, der falschen Vorhersage der Minderheitsklasse höhere Kosten zuzuweisen. Ich habe einen stark unausgeglichenen Datensatz mit hohen Kosten für falsch negative Ergebnisse (Wiederaufnahmerate von Akutpatienten), und wenn ich die Klassifikatoren verwende, ist die AUC niedrig und alle positiven Fälle werden falsch klassifiziert.
Bitte helfen Sie mit verfügbaren Tools, um dieses Problem zu beheben.
Vielen Dank
Re: Predictive Modeling mit asymmetrischen Kosten / unausgewogenem DatensatzWie bereits erwähnt, sind die Verbesserung der AUC und die Berücksichtigung asymmetrischer Kosten/Nutzen zwei verschiedene Dinge.Die AUC hat mit der Fähigkeit des Modells zu tun, richtig zu klassifizieren, während die Gewinnmatrix die Klassifizierungsfehler dorthin lenkt, wo sie den geringsten Schaden anrichten.Wenn das AUC-Maß nicht schlecht ist, aber die Klassifizierungen kostspielige Fehler machen (z. B. wenn einer der 1-Werte nicht klassifiziert wird), sollten Sie eine andere Grenzwahrscheinlichkeit für die Klassifizierung ausprobieren - das wird die Gewinnmatrix automatisch tun, aber Sie kann auch die Cutoff-Wahrscheinlichkeiten von Hand ändern, um die Fehlklassifikationen zu ändern.Wenn Ihnen immer noch nicht gefällt, was Sie bekommen können, dann möchten Sie ein besseres Modell – eines, das eine höhere AUC produziert.Nichts an den Kosten der Fehlklassifizierung erhöht die AUC – nur ein besseres Modell kann die AUC erhöhen.Wenn Sie also ein besseres Modell benötigen, probieren Sie andere Techniken aus, transformieren Sie Ihre Variablen, ändern Sie die Modelleinstellungen usw., aber verwenden Sie die Gewinnmatrix nicht, um zu versuchen, das Modell selbst zu verbessern.
Re: Predictive Modeling mit asymmetrischen Kosten / unausgewogenem DatensatzIch habe alle Modelle ausprobiert, aber aufgrund dieses unausgewogenen Datensatzes werden alle Nullfälle korrekt klassifiziert und alle Einsfälle falsch klassifiziert. Die Kostenvoreingenommenheit sollte logischerweise in der Lage sein, die AUC zu optimieren, verstehe aber nicht, warum sie sich nicht darauf auswirkt. Das ist es, was mich verwirrt.
Re: Predictive Modeling mit asymmetrischen Kosten / unausgewogenem DatensatzKlingt so, als ob Sie jetzt wirklich nur versuchen, eine verbesserte AUC zu erreichen. Bisher haben Sie nur über baumbasierte Modelle gesprochen. Haben Sie neuronale Netzwerktechniken ausprobiert?
Re: Predictive Modeling mit asymmetrischen Kosten / unausgewogenem DatensatzWie kann es mir dann helfen, die Empfindlichkeitsrate meines Modells zu erhöhen? und AUK? Welche anderen Möglichkeiten gibt es, um sicherzustellen, dass die AUC die Kosten bei der Klassifizierung der Ergebnisse berücksichtigt? Danke
Re: Predictive Modeling mit asymmetrischen Kosten / unausgewogenem DatensatzDie Verwendung der Gewinnmatrix ändert die AUC nicht.Es ändert nur die gewählte Wahrscheinlichkeitsgrenze - es wählt diese entsprechend den von Ihnen angegebenen asymmetrischen Gewinnen/Kosten.Im Wesentlichen wählt es einen Punkt auf der ROC-Kurve (ich bin mir nicht sicher, aber ich denke, es ist ein optimaler Punkt, an dem die relativen Fehlerkosten gleich der Steigung der ROC-Kurve sind) gemäß der Gewinnmatrix.Wenn Sie die Vorhersagen speichern, sollten zusätzliche Spalten vorhanden sein, die die mit der optimalen Klassifizierung verbundene Rentabilität anzeigen – und diese Klassifizierung sollte sich von der Standardklassifizierung unterscheiden (unter der Annahme, dass die Kosten asymmetrisch sind).
Re: Predictive Modeling mit asymmetrischen Kosten / unausgewogenem DatensatzVielen Dank. Ich habe es versucht, aber die AUC meines Modells ist bei verschiedenen Methoden immer noch gleich. Es zwang das Modell nicht, der Minderheitsklasse eine höhere Bedeutung zuzuweisen.
Re: Predictive Modeling mit asymmetrischen Kosten / unausgewogenem DatensatzDie Gewinnmatrix kann vor dem Erstellen eines Vorhersagemodells als Spalteneigenschaft definiert werden und sollte das tun, wonach Sie fragen.Ich möchte jedoch anmerken, dass ich Schwierigkeiten hatte, die Gewinnmatrix auszufüllen – das Beispiel in der JMP-Hilfe ist klar, entspricht aber oft nicht einer realen Situation.Wenn Ihr Entscheidungsproblem so ist, dass Sie genau angeben können, wie hoch die Kosten für falsch positive und negative Ergebnisse sind, sollte die Gewinnmatrix funktionieren.Beispielsweise ist das JMP-Beispiel für einen Agenten, der Flugreservierungen vornimmt, wobei eine falsche Vorhersage dem Agenten bekannte zusätzliche Kosten verursacht.Wenn Sie hingegen so etwas wie Kundenbindung vorhersagen, sind die Kosten einer falschen Vorhersage nicht so klar.Wenn Sie fälschlicherweise vorhersagen, dass ein Kunde verloren gehen wird, werden Ihnen vermutlich zusätzliche Kosten entstehen, um zu versuchen, den Kunden zu halten.Bei einigen Kunden kann dies dazu führen, dass sie von „verloren“ zu „einbehalten“ werden, aber dies wird sicherlich nicht zu 100 % effektiv sein.In solchen Fällen wird es kompliziert herauszufinden, was in die Gewinnmatrix eingetragen werden soll – und ich würde empfehlen, diese Funktion nicht zu verwenden.Schauen Sie sich besser alternative Cutoffs und verwirrende Matrizen an.
Re: Predictive Modeling mit asymmetrischen Kosten / unausgewogenem DatensatzIrgendwelche Hilfe dazu bitte?
Re: Predictive Modeling mit asymmetrischen Kosten / unausgewogenem DatensatzIch bin mir nicht sicher, ob ich verstehe, wie es funktioniert. Meines Wissens nach erscheint die Gewinnmatrix, nachdem ich das Modell ausgeführt habe. Ich möchte in der Lage sein, höhere Kosten für die Minderheitsklasse anzugeben und sicherzustellen, dass das Modell dies beim Erstellen der Vorhersage berücksichtigt.
Können Sie das Verfahren erläutern, um dies zu erreichen?
Vielen Dank
Re: Predictive Modeling mit asymmetrischen Kosten / unausgewogenem DatensatzWerfen Sie einen Blick auf die Gewinnmatrix (und verlinkt davon).
