423584_de-DE

liliconcom

Vorhersage-Screening

Habe mit großem Interesse dem Vortrag über Vorhersagemodelle zugehört und den Vorschlag, die Vorhersageformel im Datensatz zu speichern, dann das Vorhersagescreening mit den Anfangsvariablen als X und dem Hinzufügen der Vorhersageformeln als neue Xs erneut durchzuführen.

Erstellen besserer Vorhersagemodelle mit JMP Pro - Model Screening

 

Heute habe ich mit einem Kollegen diskutiert, und seine Reaktion war: "Gerede über die Überanpassung der Modelle!"

Wird dieser Ansatz Modelle noch stärker anpassen (auch wenn wir andere Validierungsdaten aus den Daten verwenden, die die Modelle erstellen). Die Meinung meines Kollegen war, dass wir dieselben Daten zweimal verwenden.
Wir arbeiten an Binomial Y (Health or Sick), und der Ansatz verbessert tatsächlich die Vorhersage, aber haben wir gerade mehr Overfitting eingeführt, so dass sogar die Validierung jetzt falsch / overfitted ist? #Vorhersage, #Überanpassung, #Screening

AnalytikFensterRe: Vorhersage-Screening

Ich habe das nicht gesehen und bin an den Antworten interessiert, aber ich habe eine erste Reaktion.Die Verwendung der Vorhersageformel von der Model Screen-Plattform und das erneute Ausführen dieser Plattform mit der Vorhersageformel zusammen mit anderen Prädiktoren klingt ein bisschen nach Überanpassung.Ich denke jedoch, dass es eine Möglichkeit ist, Ensemble-Modelle zu erstellen - wenn die Vorhersageformel von einem Modell stammt und das neue Modell diese Ausgabe (zusammen mit anderen Prädiktoren) verwendet, um ein neues Modell zu erstellen, dann ist es ein Ensemble-Modell, das möglicherweise überlegen ist zum ersten Modell ohne Überanpassung.Die Frage, welche Validierungsdaten verwendet werden sollen, erscheint mir subtiler.Ich würde die gleichen Validierungsdaten verwenden, sonst kann man wirklich nicht sagen, ob das neue Modell besser ist als das alte.Vielleicht könnten Sie beide Vorhersageformeln speichern und diese dann auf einen anderen Validierungssatz anwenden, um zu sehen, ob die Leistung verbessert wird oder nicht.

Re: Vorhersage-Screening

Hi @ChristerMalm ,

 

Die gestrige Sitzung zum Thema Vorhersagemodellierung war sehr aufschlussreich. Ich erinnere mich nicht an die genaue Diskussion zu diesem Thema, aber ich wäre vorsichtig, wenn ich eine Vorhersageformel für das Ergebnis als eine der Eingaben für dasselbe Ergebnis verwenden würde. Mein Verständnis von Ensemble-Modellierung ist, dass verschiedene Modelle erstellt werden, zB NN, Boosted Tree, XGBoost usw. und dann zusammen gemittelt werden. Sie können dies über die Modellvergleichsplattform tun, indem Sie den roten Hot-Button verwenden, oder Sie können eine Spaltenformel schreiben, die dies für Sie erledigt. Das Ensemble-Modell sollte besser zu den Daten passen als jedes einzelne Modell allein, aber das ist nicht immer der Fall. Eine Sache, die Sie beachten sollten, hängt wirklich davon ab, was das Endziel ist und wie wichtig die Interpretierbarkeit für das Modell ist. Wenn Sie die Modellgleichung und die Übersetzung von Eingaben in Ausgaben verstehen, sind Modellensembles und komplizierte nichtlineare Modelle möglicherweise nicht der beste Weg.

 

Ich denke, eines der Dinge, über die Russ Wolfinger gesprochen hat, ist wirklich wichtig, das richtige Validierungsschema für Ihre Daten zu finden. Wenn der falsche Satz von Trainings- und Validierungsdaten ausgewählt wird, kann es zu schrecklichen Anpassungen kommen, obwohl die Daten gut sind, wie in dem von ihm erwähnten Nature Paper-Beispiel. Es wäre wahrscheinlich am besten, mehr Zeit damit zu verbringen, das beste Validierungsschema zu bestimmen und dann an der Generierung des Modells zu arbeiten.

 

Es hört sich auch so an, als ob Sie einen unausgeglichenen Datensatz haben, was viel mehr von einem Vorkommen als einem anderen bedeutet. In diesem Fall sollten Sie auf jeden Fall den Schwellenwert für die logistische Wahrscheinlichkeit ändern, um zu sehen, ob dies Ihrer Vorhersage hilft. Ziehen Sie auch den Gewinnmatrix-Ansatz in Betracht, um den Kosten von falsch positiven und falsch negativen Ergebnissen einen Wert zuzuordnen. Chris Gotwalt demonstrierte auch einen interessanten Ansatz zur Verwendung von Entscheidungsbäumen, um ein besseres Verständnis von Cutoffs mit unausgeglichenen Daten zu ermöglichen.

 

Hoffe das hilft,
DS

Re: Vorhersage-Screening

Hi @dale_lehman .Andrea Coombs @andreacoombs1 präsentierte die Sitzung zum Thema Predictive Modeling und hat vielleicht einige Gedanken dazu.

 

Re: Vorhersage-Screening

@ChristerMalm und @dale_lehman .Das Ensemblemodell, das ich in dieser Aufnahme vorgestellt habe, war wahrscheinlich überangepasst, da das Ensemblemodell mit den gleichen Daten erstellt wurde, die zum Erstellen des Originalmodells verwendet wurden.(Ich werde mit der Terminologie "Originalmodell" und "Ensemblemodell" fortfahren, um die Dinge in meiner Erklärung klar zu halten).Eine Strategie, um diese Überanpassung zu verhindern, besteht darin, den gesamten Datensatz in zwei Gruppen zu unterteilen: Gruppe A zum Erstellen des Originalmodells und Gruppe B zum Erstellen des Ensemblemodells.Sie können Gruppe B aus- und einblenden, während Sie das Originalmodell erstellen.Teilen Sie Gruppe A in Training, Validierung und Test auf, um Kandidatenmodelle zu erstellen und das Championmodell auszuwählen.Bringen Sie nun Gruppe B wieder in den Mix und nutzen Sie die gesamte Gruppe B zum Training.Sie können Gruppe B als Validierung verwenden oder in Validierung und Test aufteilen.Dies soll vor Überanpassung schützen.  

Re: Vorhersage-Screening

Ich hatte mir das Video bis jetzt noch nicht wirklich angesehen.Nachdem ich es gesehen habe, verwirrt mich deine Antwort ein wenig.Es scheint, als würden 2 Dinge vermischt - die schwer zu entwirren sind.Wenn Sie potenzielle Vorhersagemodelle erstellen und sie neuen Daten aussetzen (z. B. Ihre Gruppe , können Sie sicherlich feststellen, ob diese ursprünglichen Kandidatenmodelle immer noch die besten sind oder ob zusätzliche Anpassungen oder andere Modelle die Vorhersagen angesichts neuer Daten verbessern könnten - klassische Methoden zur Vermeidung von Overfitting.Wenn Sie jedoch das Ensemble-Modell zusammen mit den ursprünglichen Prädiktoren mit denselben Daten ausführen, würde ich denken, dass die Überanpassung nicht das einzige Problem ist.Ich bin mir nicht sicher, was der Sinn in diesem Prozess überhaupt ist - indem Sie die ursprünglichen Prädiktoren zusammen mit einigen ausgewählten Modellen aus dem Screening einbeziehen, bestätigen Sie nicht nur, ob die ursprünglich ausgewählten Modelle von Anfang an hätten ausgewählt werden sollen?Und wenn der Zweck darin besteht, zu sehen, wie Ihr(e) Modell(e) mit neuen Daten arbeiten, hat das dann wirklich etwas mit Ensemble-Modellierung zu tun?Ist nicht die Idee, einen Testdatensatz (oder vielleicht sogar einen zweiten Testdatensatz) vorzuhalten, um zu sehen, wie Ihr Modell außerhalb der Stichprobe funktioniert - unabhängig davon, ob es sich um ein Ensemble-Modell handelt oder nicht.Mit anderen Worten, das Out-of-Sample-Testen scheint wenig oder gar nichts mit der Modell-Screening-Plattform oder der Ensemble-Modellierung zu tun zu haben – es ist immer ein Problem mit jedem Vorhersagemodell(en).