Vorhersage seltener EreignisseIch arbeite mit einem Kunden an einer Pro-Testversion. Sie arbeiten mit einem Datensatz von ca. 3 Millionen Zeilen und versuchen, ein Vorhersagemodell zu erstellen, um Fehler vorherzusagen, die in 0,1 % der Fälle auftreten (binäre Antwort, kontinuierliche Faktoren). Fehler sind tödlich und sie würden gerne ein Modell akzeptieren, das diese Fehler erfassen kann, selbst wenn dies zu Lasten verlorener Durchläufe geht.
Ich habe so ziemlich alles ausprobiert, was ich kann. Um die Laufzeiten niedrig zu halten, haben sie die Originaldatei auf 1-10 % der Originaldaten heruntergebrochen und dabei verschiedene Gewichtungstechniken ausprobiert, Torch, XG Boost und Model Screening. Boosted Tree war dabei am erfolgreichsten, aber in jedem Fall ist das auf der Teilmenge entwickelte Modell zu überangepasst, um für einen ähnlich großen, aber deutlich anderen Datensatz oder den größeren Datensatz nützlich zu sein.
Sollte ich mehr Gewichtung verwenden (derzeit gewichte ich Bestehen/Nichtbestehen mit 1/100) und eine Teilmenge von Daten erstellen, in der Nichtbestehen überrepräsentiert ist? Gibt es Hyperparameter, die für diese Art von stark unausgewogenem Modell optimal eingestellt werden können? Ich suche Rat/Anleitung, was ich mit dieser Person versuchen könnte. Vielen Dank.
Betreff: Vorhersage seltener EreignisseHaben Sie das Add-In für unausgewogene Klassifizierung ausprobiert? Ich habe vor einiger Zeit damit herumgespielt und festgestellt, dass es die Leistung bei einem unserer Beispieldatensätze steigert (welcher, fällt mir jetzt nicht ein). Ich bin kein Experte für SMOTE oder Tomek Links, aber ich fand die Einführung in diesen Kaggle-Beitrag hilfreich, um die Grundlagen zu verstehen.
Dies sollte ein guter nächster Schritt sein, wenn Sie es noch nicht ausprobiert haben.
Betreff: Vorhersage seltener EreignisseDiese seltenen Ereignisse lassen mich an Zuverlässigkeit denken, aber ich bin mir nicht sicher, ob das der richtige Weg ist. Sie haben also über einen längeren Zeitraum hinweg kontinuierliche Eingabefaktoren und hin und wieder kommt es zu einem Fehler. Wie wäre es mit einigen Kontrollkarten-Tools, insbesondere multivariaten Kontrollkarten? Versuchen Sie zu korrelieren, wann eine Kombination von Faktoren mit den Fehlern auftritt.
Betreff: Vorhersage seltener EreignisseHaben Sie sich den Entscheidungsschwellenwert bei der Modellprüfung angesehen? Er wird bei der binären Klassifizierung verwendet. Sie können sehen, wie sich unterschiedliche Schwellenwerte (0,1 vs. 0,5) auf das Modell auswirken.
Betreff: Vorhersage seltener EreignisseHaben Sie sich die Verwendung von Zero Inflated Binomial in der GenReg-Plattform angesehen? Haben Sie auch Entscheidungsschwellen berücksichtigt, die zu höheren Typ I/Falschpositiven führen?
Betreff: Vorhersage seltener EreignisseAuch wenn ich es mir noch nicht angesehen habe, könnte, wenn ich mich nicht irre, @Jason_Wiggins ' aktuelles Mastering Webinar zu Defektzählmodellen hilfreich sein: Die beste Wahl für Defektzählmodelle treffen
Betreff: Vorhersage seltener EreignisseNull aufgebläht in der allgemeinen Registrierung klingt nach einem guten Ansatz, aber ich bin mir über die Laufzeiten nicht sicher. Egal, für welches Modell Sie sich entscheiden, verwenden Sie unbedingt die Entscheidungsschwelle, um einen geeigneten Grenzwert zu bestimmen (sonst geht die Vorhersageformel für beide Ereignisse von 50:50 aus). Ich werde Ihnen eine Folienpräsentation zusenden, die ich zusammengestellt habe, um Ihnen bei der Entscheidung über den Grenzwert basierend auf dem Entscheidungsschwellenbericht zu helfen.Betreff: Vorhersage seltener EreignisseAlso ... ich weiß nicht, ob 3M Records so schlecht sein sollte, wenn sie die Pro-basierten Modelle auf einer anständigen Maschine ausführen (und nicht mit der Anzahl der Faktoren übertreiben). Ich denke, Sie haben hier ein paar Probleme, die Sie berücksichtigen müssen.
Erstens: Haben sie ein Faktoren-Screening durchgeführt? Boosted Tree oder Random Forest sollten Ihnen sagen, ob es Faktoren gibt, die keine Rolle spielen. Wenn Sie diese Faktoren reduzieren, verkürzt sich die Anpassungszeit.
Zweitens (oder vielleicht auch gleichauf mit dem ersten – ich bin mir nicht sicher), führen sie eine geschichtete Kreuzvalidierung durch? Lassen Sie sie das Tool zum Einrichten der Validierungsspalte verwenden, um eine TVT-Kreuzvalidierung mit der Antwort im Schichtungsfeld zu erstellen. Dadurch bleibt das Modell ehrlich. Ich möchte viele Daten in der Trainingsgruppe und abnehmende Mengen in den beiden letzteren haben.
Die vorgeschlagenen Modelltypen und Verteilungen sind allesamt gute Ideen – ich würde bei so etwas eher baumbasierte Methoden (Random Forest, Boosted Trees oder XGBoost) mit einem Zufallsstartwert zur Reproduzierbarkeit bevorzugen. Sie sind für diese größeren Datensätze konzipiert. Ich finde, Jerry hat eine interessante Idee mit dem Aspekt der Zuverlässigkeit seltener Ereignisse. Sie könnten auch Folgendes in Betracht ziehen: https://youtu.be/Ac6E7da9igU
Zur Gewichtung: Ich glaube nicht, dass Sie weit genug gehen. Wenn ich Ihre Fehlerquote von 0,01 % nehme, würde ich den bestandenen Daten eine Gewichtung von 0,0001 und Ihren nicht bestandenen Daten eine Gewichtung von 0,9999 geben. Wir hatten vor einiger Zeit eine Phase, in der dies aufkam, und die (stammesmäßige – das gebe ich zu) Anweisung lautete, die Antwortspalte in die Verteilung zu bringen und die Proportionen umzukehren (was ich in diesem zweiten Satz beschreibe). Es schien ziemlich gut zu funktionieren.
Und schließlich, vielleicht um die Situation noch einmal zu beschreiben: Evaluierungen verlaufen reibungsloser, wenn es darum geht, den Kunden das Vertrauen zu vermitteln, dass sie eine Lösung für ihr Problem finden können. Es geht weniger darum, sie tatsächlich über die Ziellinie zu bringen. Ich denke, wir wissen beide, dass so etwas einige Lernzyklen von ihrer Seite erfordern wird und in der verbleibenden Zeit der Evaluierung wahrscheinlich gut verlaufen wird. Wenn Sie sich darauf konzentrieren, ihnen das Vertrauen zu vermitteln, dass sie mit Pro eine Lösung finden, werden sie kaufen, auch wenn Sie nicht „das Modell“ für ihr Problem bekommen.
Betreff: Vorhersage seltener EreignisseVielen Dank an alle für die (bisherigen) Beiträge! Ich habe einige der unten aufgeführten Ideen zur Lösung dieses Problems eingesetzt, aber nicht alle und nicht in der empfohlenen Weise. Ich bin für euren Rat dankbar.
