Logistische Analyse > Receiver-Operator-Curve-Analyse: Was sind die Annahmen über Datenstruktur, Verteilung und Stichprobe?Hallo JMP-Community,
Gibt es bei der Durchführung einer logistischen Analyse (dh Y = Kategorial und X = Kontinuierlich) irgendwelche Annahmen in Bezug auf Datenstruktur, Verteilung und/oder Stichprobenverfahren, insbesondere im Hinblick auf die ROC-Analyse?
Insbesondere in der klinischen Forschung, die darauf abzielt, Prädiktoren für das Ansprechen auf die Behandlung zu identifizieren, habe ich festgestellt, dass einige meiner Kollegen Patienten mit dem besten Ansprechen und dem schlechtesten Ansprechen auswählen, wobei sie die „Mitte“ der Ansprechverteilung ausschließen. Nach der Identifizierung eines Kandidaten-Prädiktors fahren sie fort, ROC-Analysen (gleicher voreingenommener Datensatz) zu erstellen, bei denen die AUCs ziemlich überhöht zu sein scheinen.Verstößt die absichtliche Auswahl von Patienten daher gegen die statistischen Annahmen der ROC-Analyse?
Ich danke Ihnen für Ihre Hilfe.
Am besten,
TS
AnalytikBetreff: Logistische Analyse > Empfänger-Operator-Kurvenanalyse: Was sind die Annahmen über Datenstruktur, Verteilung und Stichprobe?Vielleicht sollte jemand Ihre Kollegen über die Stichhaltigkeit und Strenge ihres Ansatzes befragen. Auf welchen statistischen Prinzipien basiert sie? Welche Risiken birgt dieser Ansatz? Welche Verzerrungen führt es zu Schätzungen von Parametern, AUC und anderen datenabhängigen Ergebnissen? Sind Ihre Kollegen Experten für statistische Analysen? Haben sie qualifizierte Experten eingeladen, um ihren Ansatz zu validieren?
(Beachten Sie auch, dass eine solche Vorgehensweise das Trennungs- oder Quasi-Trennungsproblem verursachen kann, das zu instabilen Schätzungen für den Parameter des logistischen Modells führt. Möglicherweise kennen Sie dieses Problem bereits.)
Erinnert mich an die Anfänge von ad hoc Datenanalyse von Microarrays...
Betreff: Logistische Analyse > Empfänger-Operator-Kurvenanalyse: Was sind die Annahmen über Datenstruktur, Verteilung und Stichprobe?Hallo Mark,
Vielen Dank für Ihr Feedback: Genau aus diesem Grund habe ich die Frage gestellt. Ich mache mir tatsächlich Sorgen, mit diesem voreingenommenen Ansatz unangemessene Erwartungen zu wecken: Wenn ich ROC-Analysedaten anhand einer repräsentativen Patientenpopulation (Zufallsauswahl) präsentiere, wird mir oft gesagt, dass die Ergebnisse meiner Kollegen, die Rosinen herauspicken, viel „stärker“ sind. Daher die Notwendigkeit einer soliden Rechtfertigung meinerseits.
Am besten,
TSBetreff: Logistische Analyse > Empfänger-Operator-Kurvenanalyse: Was sind die Annahmen über Datenstruktur, Verteilung und Stichprobe?Auch wenn der Anwendungsfall keine Patientenergebnisse beinhaltet, wird das Weglassen der Mitte der Biomarkerverteilung die Schätzungen der Sensitivität und Spezifität aufblähen. Es besteht keine Notwendigkeit oder Grund, diesen Ausschluss für die Daten vorzunehmen. Warum warten, um später, wenn alle Daten verwendet werden, festzustellen, dass die Leistung viel geringer oder nicht einmal reproduzierbar ist? Diese Praxis weckt falsche Erwartungen.
Betreff: Logistische Analyse > Empfänger-Operator-Kurvenanalyse: Was sind die Annahmen über Datenstruktur, Verteilung und Stichprobe?Hallo,
Danke für Ihre Rückmeldung. Nur zur Verdeutlichung, das in meinem ursprünglichen Beitrag zitierte Beispiel handelt von explorativer Biomarkerforschung und nicht von klinischer Entwicklung: Entscheidungen über die Gesundheit von Patienten werden niemals auf diese Weise getroffen.
Am besten,
TSBetreff: Logistische Analyse > Empfänger-Operator-Kurvenanalyse: Was sind die Annahmen über Datenstruktur, Verteilung und Stichprobe?Betreff: Logistische Analyse > Empfänger-Operator-Kurvenanalyse: Was sind die Annahmen über Datenstruktur, Verteilung und Stichprobe?Dies ist eine komplizierte Frage, aber die einfache Antwort lautet „Ja, die Daten können die ROC-Kurve verzerren“.Der Grund dafür ist, dass die ROC-Kurve auf einem Vorhersagemodell basiert, und wenn „schlechte“ Daten verwendet wurden, um dieses Modell zu generieren, dann wird die ROC-Kurve auch nicht gut sein.
Die ROC-Kurve ist eine Möglichkeit, die Sensitivität und Spezifität einer Entscheidungsregel (eine Regel zur Vorhersage eines diskreten binären Ergebnisses Y=0|1) unter Verwendung unterschiedlicher Schwellenwerte für das Modell zu untersuchen.Es wird angenommen, dass das Modell (M) einen numerischen Ausgabewert hat, und dann wird die Entscheidung basierend auf einem Schwellenwert (T) unter Verwendung der Regel getroffen
Wenn (M > T) --> Y = 1 vorhersagen, andernfalls --> Y = 0 vorhersagen.
Mit dem ROC können Sie sehen, welche Auswirkung der Schwellenwert auf die Klassifizierung hat. Je höher die Fläche unter der Kurve für den ROC ist, desto besser ist das Modell im Allgemeinen in der Lage, korrekte Klassifizierungen über einen Bereich potenzieller Schwellenwerte durchzuführen.
Es werden keine anderen Annahmen über die zugrunde liegenden Daten oder die Verteilung getroffen.
