446912_de-DE

liliconcom

JMP > Identifizierung prädiktiver Signaturen aus großen Datensätzen > Problem mit offensichtlicher Überanpassung

Hallo JMP-Community,

Ich habe einen großen Datensatz mit ~4.000 Biomarker-Messungen zu Studienbeginn bei Patienten, die in eine klinische Studie aufgenommen wurden. Ich muss aus diesen Daten herausfinden, welche Kombination von Biomarkern das klinische Ergebnis 12 Wochen später vorhersagen kann.

Ich habe einen ziemlich naiven Ansatz verwendet, der zu stark überangepassten Ergebnissen zu führen scheint:

1. Führen Sie alle 4.000 Biomarker durch das Screening > Response Screening, wobei Response das binäre klinische Ergebnis in Woche 12 ist
2. Wählen Sie die Top 10 - 20 Biomarker (basierend auf FDR)
3. Verwenden Sie die ausgewählten Biomarker (als Modelleffekte) auf der Plattform Fit Model > Stepwise, wobei Y das binäre klinische Ergebnis in Woche 12 ist; Kriterien = BIC minimieren
4. Modell generieren

Während dieser Ansatz ausgezeichnete „Prädiktoren“ für das klinische Ansprechen in Woche 12 (ROC AUC > 0,940) lieferte, ergab er auch eine hohe ROC AUC, wenn er mit einer zufällig generierten „Dummy“-Variable getestet wurde (ROC AUC ~0,870). Letzteres zeigt mir, dass meine Methode wegen Überanpassung grob unangemessen ist.

Ich habe die Durchführbarkeit der Arbeit mit Discovery- und Validation-Patientenuntergruppen (50% der Gesamtbevölkerung) untersucht, aber mein Problem mit der Überanpassung wurde dadurch nicht gelöst.

 

Gibt es neben der Verwendung der fortschrittlichen Modellierungsplattformen von JMP Pro bessere Techniken in JMP, um sich einer solchen Frage zu nähern?

 

Danke für Ihre Hilfe.

 

Am besten,

TS

 

 

AnalytikBetreff: JMP > Identifizierung prädiktiver Signatur aus großem Datensatz > Problem mit offensichtlicher Überanpassung

Können Sie etwas mehr Details zu Ihrer zufällig generierten Antwortvariablen angeben?Wie genau hast du es erstellt?

Betreff: JMP > Identifizierung prädiktiver Signatur aus großem Datensatz > Problem mit offensichtlicher Überanpassung

Hallo Dale,

 

Danke, dass Sie dieser relativ offenen Frage nachgegangen sind. Ich habe die Zufallsvariable mit der folgenden Formel erstellt:

random uniform (0,1) > 0.5;

Bemerkenswert ist, dass ich meine oben beschriebene "Methode" mit acht verschiedenen Versionen der Dummy-Variablen (dh Formel neu berechnen) ausgeführt habe, was ROC-AUC-Werte von 0,770 bis 0,870 ergab.

Ich bin nie auf ein solches Verhalten gestoßen, aber ich habe noch nie mit mehr als 1.200 Biomarker-Variablen gearbeitet.

Danke für Ihre Hilfe.

Am besten,

TS

Betreff: JMP > Identifizierung prädiktiver Signatur aus großem Datensatz > Problem mit offensichtlicher Überanpassung

Ich kenne die Antwort nicht, aber ich kann bestätigen, was Sie gefunden haben.Ich habe eine binäre Antwortvariable (zufällig) und 20 zufällige Normalfaktoren mit 200 Beobachtungen erstellt.Ich habe AUC=.71!Ich finde es wirklich sehr überraschend.Ich vermute, es hat etwas mit einer Begrenzung der AUC als Leistungsmaß zu tun, aber wie gesagt, ich verstehe dieses Verhalten nicht wirklich.In meinem Fall sollte es sicherlich nicht übertrieben sein.Ich bin gespannt, was andere dazu sagen können.

Betreff: JMP > Identifizierung der prädiktiven Signatur aus einem großen Datensatz > Problem mit offensichtlicher Überanpassung

Um das Mysterium zu vervollständigen, habe ich die Simulation angehängt, die ich gemacht habe.Dieses Mal habe ich eine Validierungsspalte verwendet.Bemerkenswert: Die logistische Regression (in der Datei gespeichertes Skript) zeigt eine AUC von etwa 0,71 für Trainingsdaten und viel niedriger (weniger als 0,5) für die Validierungsdaten.Das ist ein klarer Beweis für Overfitting.Ich habe jedoch auch das Modellscreening durchgeführt - alle Methoden (einschließlich der logistischen Regression) zeigen AUC um 0,5 für die Trainingsdaten und niedriger für die Validierungsdaten - das erscheint mir vernünftig.Darüber hinaus ist das logistische Regressionsmodell nicht signifikant (und nur 1 oder 2 Faktoren sind signifikant, was ungefähr dem entspricht, was Sie für 20 zufällige Faktoren erwarten würden).Ich verstehe unter anderem nicht, warum die logistische Regressionsplattform und die logistische Regression innerhalb der Modell-Screening-Plattform so unterschiedliche Ergebnisse liefern.Ich weiß (oder glaube), dass das Modellscreening nicht so viele Tune-Hyperparameter findet wie die einzelnen Modellierungsplattformen, aber der Unterschied zwischen 0,7 und 0,5 auf den Trainingsdaten erscheint mir zu groß.