423584_de-DE

liliconcom

Vorhersage-Screening

Ich habe mit großem Interesse den Vortrag über Vorhersagemodelle und den Vorschlag gehört, die Vorhersageformel im Datensatz zu speichern und dann das Vorhersagescreening mit den Anfangsvariablen als X erneut auszuführen und die Vorhersageformeln als neue X hinzuzufügen.

Erstellen besserer Vorhersagemodelle mit JMP Pro – Modell-Screening

 

Heute habe ich mit einem Kollegen gesprochen, und seine Reaktion war: „Ich rede von einer Überanpassung der Modelle!“

Wird dieser Ansatz die Modelle noch stärker anpassen (auch wenn wir andere Validierungsdaten als die Daten verwenden, die die Modelle erstellen)? Die Meinung meines Kollegen war, dass wir dieselben Daten zweimal verwenden.
Wir arbeiten am binomialen Y (Gesundheit oder Krankheit), und der Ansatz verbessert tatsächlich die Vorhersage, aber haben wir gerade mehr Überanpassung eingeführt, sodass jetzt sogar die Validierung falsch/überangepasst ist? #Vorhersage, #Überanpassung, #Screening

Prädiktive Modellierung und maschinelles LernenWindowsBetreff: Vorhersage-Screening

Ich bin mir nicht sicher, ob ich dich verstehe.Wenn Sie sagen, dass Datensatz B „verblindet“ ist, meinen Sie damit, dass Sie nicht wissen, welche Probanden gedopt sind (oder zumindest so tun, als wüssten Sie es nicht)?Wenn ja, dann scheint B Ihr Testdatensatz zu sein.Wenn Sie über genügend Daten verfügen, teilen Sie A normalerweise in Trainings- und Validierungsdaten auf, trainieren Ihre Modelle (einschließlich Ensemble-Modelle) und wenden sie dann auf B an.Die Idee, dass Sie dann auf der Grundlage ihrer Leistung auf B zurückgehen und Ihre Modelle ändern würden, scheint zu einer Überanpassung einzuladen.Es ist analog zum Training auf A und der Verwendung von B als Validierungssatz.Aber dann haben Sie überhaupt keine Testdaten – was ich mit Testdaten meine, sind Daten, die vollständig vom Modellierungsprozess getrennt sind.

Betreff: Vorhersage-Screening

Vielen Dank an alle für das Feedback zu meiner Frage!

Als Kommentar zu Ihren Anliegen @dale_lehman - Ziel des Projekts ist die Validierung einer Reihe ausgewählter Biomarker für Doping anhand neuartiger Datensätze (blinde Blutproben, die von gedopten Probanden entnommen werden können oder werden). Daher müssen wir das Modell mithilfe von Datensatz A aus bekannten Stichproben korrigieren, und der Ensemble-Ansatz scheint eine Möglichkeit zu sein, dann das Modell auf Datensatz B anzuwenden (verblindet) und das Vorhersageergebnis für Datensatz B anhand der mit Datensatz A erstellten Formel zu untersuchen .

Bei Bedarf können wir dann zurückgehen und einige der Biomarker austauschen und diesen Vorgang noch einmal durchführen, bis wir eine voreingestellte Vorhersagekraft erreichen.

Nachdem ich das Projekt nun (hoffentlich) etwas besser erklärt habe, kann ich sehen, wie ich Gruppe B zur Validierung verwenden würde, bin mir aber nicht sicher, ob ich verstehe, wie ich das Modell (erneut) mit B trainieren kann (denken Sie daran, dass ich kein Statistiker bin). ), wie vorgeschlagen von @andreacoombs1 .

Ich weiß nicht, ob dies Ihre Antworten verändert, wollte es nur klarstellen.

 

Betreff: Vorhersage-Screening

Ich hatte das Video bis jetzt noch nicht wirklich gesehen.Nachdem ich es gesehen habe, verwirrt mich Ihre Antwort ein wenig.Es scheint, als würden zwei Dinge vermischt, die sich nur schwer voneinander trennen lassen.Wenn Sie potenzielle Vorhersagemodelle erstellen und sie neuen Daten (z. B. Ihrer Gruppe aussetzen, können Sie sicherlich herausfinden, ob diese ursprünglichen Kandidatenmodelle immer noch die besten sind oder ob zusätzliche Optimierungen oder andere Modelle die Vorhersagen angesichts neuer Daten verbessern könnten - klassische Möglichkeiten, eine Überanpassung zu vermeiden.Wenn Sie jedoch das Ensemble-Modell zusammen mit den ursprünglichen Prädiktoren auf denselben Daten ausführen, denke ich, dass Überanpassung nicht das einzige Problem ist.Ich bin mir nicht sicher, welchen Sinn dieser Prozess überhaupt hat – indem Sie die ursprünglichen Prädiktoren zusammen mit einigen ausgewählten Modellen aus dem Screening einbeziehen, bestätigen Sie damit nicht nur, ob die ursprünglich ausgewählten Modelle von Anfang an hätten ausgewählt werden sollen?Und wenn der Zweck darin besteht, zu sehen, wie Ihre Modelle mit neuen Daten arbeiten, hat das dann überhaupt etwas mit der Ensemble-Modellierung zu tun?Ist das nicht die Idee, einen Testdatensatz (oder vielleicht sogar einen zweiten Testdatensatz) bereitzuhalten, um zu sehen, wie sich Ihr Modell außerhalb der Stichprobe verhält – unabhängig davon, ob es sich um ein Ensemblemodell handelt oder nicht?Mit anderen Worten: Das Out-of-Sample-Testen scheint wenig oder gar nichts mit der Modell-Screening-Plattform oder der Ensemble-Modellierung zu tun zu haben – es ist immer ein Problem bei allen Vorhersagemodellen.

Betreff: Vorhersage-Screening

@ChristerMalm Und @dale_lehman .Das Ensemble-Modell, das ich in dieser Aufnahme vorgestellt habe, war wahrscheinlich überangepasst, da das Ensemble-Modell mit denselben Daten erstellt wurde, die auch für die Erstellung des Originalmodells verwendet wurden.(Ich werde mit der Terminologie „Originalmodell“ und „Ensemblemodell“ fortfahren, um die Übersichtlichkeit meiner Erklärung zu gewährleisten.)Eine Strategie zur Verhinderung dieser Überanpassung besteht darin, den gesamten Datensatz in zwei Gruppen aufzuteilen: Gruppe A zum Erstellen des Originalmodells und Gruppe B zum Erstellen des Ensemblemodells.Sie können Gruppe B beim Erstellen des Originalmodells ausblenden und ausschließen.Teilen Sie Gruppe A in Training, Validierung und Test auf, um Kandidatenmodelle zu erstellen und das Championmodell auszuwählen.Bringen Sie nun Gruppe B wieder ins Spiel und nutzen Sie die gesamte Gruppe B für das Training.Sie können Gruppe B als Validierung verwenden oder sie in Validierung und Test aufteilen.Dies soll vor einer Überanpassung schützen.  

Betreff: Vorhersage-Screening

Hallo @dale_lehman .Andrea Coombs @andreacoombs1 hat die Sitzung zur prädiktiven Modellierung moderiert und hat möglicherweise einige Gedanken dazu.

 

Betreff: Vorhersage-Screening

Hallo @ChristerMalm ,

 

Die gestrige Sitzung zum Thema Vorhersagemodellierung war sehr aufschlussreich. Ich erinnere mich nicht an die genaue Diskussion zu diesem Thema, aber ich wäre vorsichtig, wenn ich eine Vorhersageformel für das Ergebnis als eine der Eingaben für dasselbe Ergebnis verwenden würde. Mein Verständnis von Ensemble-Modellierung ist, dass verschiedene Modelle erstellt werden, z. B. NN, Boosted Tree, XGBoost usw., und diese dann gemeinsam gemittelt werden. Sie können dies über die Modellvergleichsplattform tun, indem Sie den roten Hot-Button verwenden, oder Sie können eine Spaltenformel schreiben, die dies für Sie erledigt. Das Ensemble-Modell sollte besser zu den Daten passen als jedes einzelne Modell allein, aber das ist nicht immer der Fall. Beachten Sie Folgendes: Es kommt wirklich darauf an, was das Endziel ist und wie wichtig die Interpretierbarkeit für das Modell ist. Wenn Sie die Modellgleichung und die Umsetzung von Eingaben in Ausgaben verstehen möchten, sind Modellensembles und komplizierte nichtlineare Modelle möglicherweise nicht der beste Weg.

 

Ich denke, eines der Dinge, über die Russ Wolfinger gesprochen hat, ist wirklich wichtig, das richtige Validierungsschema für Ihre Daten zu finden. Wenn der falsche Satz an Trainings- und Validierungsdaten ausgewählt wird, kann es zu schrecklichen Anpassungen kommen, obwohl die Daten gut sind, wie das Beispiel des Nature-Artikels, über das er gesprochen hat. Es wäre wahrscheinlich am besten, mehr Zeit damit zu verbringen, das beste Validierungsschema zu ermitteln und dann an der Generierung des Modells zu arbeiten.

 

Es hört sich auch so an, als hätten Sie möglicherweise einen unausgeglichenen Datensatz, was bedeutet, dass ein Ereignis viel häufiger vorkommt als ein anderes. In diesem Fall sollten Sie auf jeden Fall die Änderung des logistischen Wahrscheinlichkeitsschwellenwerts in Betracht ziehen, um zu sehen, ob dies Ihrer Vorhersage hilft. Ziehen Sie vielleicht auch den Gewinnmatrix-Ansatz in Betracht, um den Kosten falsch positiver und falsch negativer Ergebnisse einen Wert zuzuordnen. Chris Gotwalt demonstrierte außerdem einen interessanten Ansatz zur Verwendung von Entscheidungsbäumen, um Grenzwerte bei unausgeglichenen Daten besser zu verstehen.

 

Hoffe das hilft,
DS

Betreff: Vorhersage-Screening

Ich habe das noch nicht gesehen und bin gespannt auf die Reaktionen, aber ich habe schon eine erste Reaktion.Die Verwendung der Vorhersageformel von der Model Screen-Plattform und das erneute Ausführen dieser Plattform mit der Vorhersageformel zusammen mit anderen Prädiktoren klingt ein wenig nach Überanpassung.Ich denke jedoch, dass es eine Möglichkeit ist, Ensemble-Modelle zu erstellen. Wenn die Vorhersageformel von einem Modell stammt und das neue Modell diese Ausgabe (zusammen mit anderen Prädiktoren) verwendet, um ein neues Modell zu erstellen, dann handelt es sich um ein Ensemble-Modell, das möglicherweise überlegen ist zum ersten Modell ohne Überanpassung.Die Frage, welche Validierungsdaten verwendet werden sollen, erscheint mir subtiler.Ich würde die gleichen Validierungsdaten verwenden, sonst kann man wirklich nicht sagen, ob das neue Modell besser ist als das alte.Möglicherweise könnten Sie beide Vorhersageformeln speichern und diese dann auf einen anderen Validierungssatz anwenden, um zu sehen, ob die Leistung verbessert wird oder nicht.