In der vergangenen Woche hielt Nate Silver ein Frag mich was Chat auf Reddit. Es gab einige sehr gute Fragen, von denen ich eine besonders wichtig fand, als wir mit der Internationales Jahr der Statistik : "Was ist der größte Missbrauch von Statistiken?" Dem antwortete Nate: "Überanpassung".
Diese Antwort ist sehr relevant für unsere Diskussion der Vorhersagemodellierung, insbesondere wenn sie auf Probleme in den Lebenswissenschaften angewendet wird. In einer klinischen Studie möchten wir möglicherweise die Reaktion eines Patienten vorhersagen, um eine Studienanpassung durchzuführen. Oder wir möchten vielleicht verstehen, welche Personen wahrscheinlich eine schwere unerwünschte Erfahrung oder den Tod erleben werden. Bei Problemen in der Genomik hoffen wir, Allele zu identifizieren, die zu verschiedenen Krankheitszuständen beitragen, oder die toxischen Wirkungen verschiedener Chemikalien basierend auf In-vivo-Genexpressionsdaten und chemischer Struktur vorherzusagen.
Überanpassung tritt auf, wenn das Modell sowohl dem Rauschen als auch dem Signal in den Daten entspricht. In Fällen, in denen ein übermäßig angepasstes Vorhersagemodell auf neue Datensätze angewendet wird, ist die Leistung des Modells oft ziemlich schlecht. Nehmen wir zum Beispiel den extremsten Fall, in dem die Anzahl der unabhängigen Prädiktoren der Anzahl der untersuchten Beobachtungen entspricht und keine Regularisierung vorliegt. In diesem Szenario erreicht das Modell jedes Mal eine perfekte Vorhersage der Trainingsdaten, da mit jeder Kovariate die Reaktion einer einzelnen Beobachtung vorhergesagt werden kann. Das Modell enthält jedoch wahrscheinlich zahlreiche Variablen, die zum Vorhersagen des Ergebnisses nicht nützlich sind. Das Ergebnis? Wenn das Modell für einen neuen Datensatz verwendet wird, ist die Anpassung schrecklich! Dies liegt daran, dass das Modell für den ersten Datensatz zu spezifisch ist (dh das Modell ist überfüllt).
Warum also ist die Überanpassung für die Lebenswissenschaften so ein Thema? Im Gegensatz zu kommerziellen Data-Mining-Anwendungen in Finanzen, Einzelhandel und Telekommunikation weisen Datensätze aus Life-Science-Bereichen in der Regel Größenordnungen mehr Prädiktoren auf als Beobachtungen (p >> n). In diesen "Wide Data" -Instanzen ist es sehr einfach, die Daten mit Vorhersagemodellen zu überfüllen (wie in unserem Worst-Case-Szenario oben). Stellen Sie sich vor, klinische Studien in der Anfangsphase, in denen jeder dem Menschen bekannte Test über mehrere Tage oder Wochen durchgeführt wird, um die Sicherheit eines neuen Medikaments zu bewerten. Wie wäre es mit Analysen von SNPs, bei denen die Anzahl der Prädiktoren leicht in die Millionen gehen kann? Wie Sie sehen, ist das Potenzial für eine Überanpassung in den Lebenswissenschaften groß.
Wie ist es möglich, ein nützliches Modell zu generieren, das auf neue Datensätze angewendet werden kann, um genaue, generalisierbare Vorhersagen zu erzielen? Als Teil des Modellbildungsprozesses sollte das Modell anhand eines oder mehrerer unabhängiger Datensätze getestet oder validiert werden, um zu beurteilen, ob einige der Kovariaten nicht erforderlich sind. Aber wie ist das für unsere Zwecke praktisch? In kommerziellen Anwendungen gibt es normalerweise ausreichend Daten, um sich gegenseitig ausschließende Teilmengen zu definieren, um ein Modell (den Lern- oder Trainingssatz) zu trainieren und das Modell (den Validierungssatz) zu validieren. Beobachtungen aus den Lebenswissenschaften sind jedoch aufgrund der Kosten, der Zeit und der Schwierigkeit, Probanden oder experimentelle Proben zu erhalten, eher eingeschränkt.
Validierungsmethoden in den Lebenswissenschaften erfordern häufig die Vorhersage der Ergebnisse für eine kleine Teilmenge der verfügbaren Daten anhand der verbleibenden Beobachtungen und die Wiederholung dieses Prozesses für alle Teilmengen. Abbildung 1 zeigt ein Beispiel für die 5-fache Kreuzvalidierung. Die Daten sind in fünf sich gegenseitig ausschließende Sätze unterteilt, die jeweils 20% der verfügbaren Beobachtungen darstellen. Ein Vorhersagemodell wird mit 80% der Daten (den blauen Quadraten) trainiert und anschließend mit dem Test-Set (dem roten Quadrat) validiert. Diese Übung wird vier weitere Male wiederholt, sodass jede Partition der Daten (dh jedes Quadrat) als Testsatz dient.
Außerdem kann die Simulation verwendet werden, um Unterschiede bei der Erzeugung von Teilmengen zu berücksichtigen. Beispielsweise kann die obige Kreuzvalidierungsübung zehnmal wiederholt werden, wobei jedes Mal eine neue Partition der Daten generiert und die Kreuzvalidierung durchgeführt wird. Nach der Simulationsübung wären es 10 x 5 = 50 Modelle. Um mein endgültiges Modell zu entwickeln, würde ich diejenigen Prädiktoren auswählen, die in der Mehrzahl der 50 verfügbaren Modelle ausgewählt werden. Dieser Satz von Prädiktoren kann dann für den vollständigen Datensatz zur Entwicklung des endgültigen Modells verwendet werden.
Wenn das nächste Mal in einem Zeitschriftenartikel ein Modell als die beste Methode zum Vorhersagen eines bestimmten Ergebnisses beworben wird, gehen Sie dieses Modell mit Vorsicht an! Untersuchen Sie, ob die Autoren ihr Modell auf neue Daten oder auf ehrliche Kreuzvalidierungsmethoden angewendet haben, um die Vorhersageleistung zu bewerten. Andernfalls tun Sie sich möglicherweise einen schlechten Dienst, wenn Sie es verwenden.
JMP Clinical und JMP Genomics verfügen über einen umfangreichen Satz an Vorhersagemodellen. Darüber hinaus stehen robuste Werkzeuge zur Kreuzvalidierung, Lernkurven (zur Beantwortung der Frage "Sind meine Trainingssätze groß genug?") Und Prädiktor-Reduzierung zur Verfügung, um ein nützliches Vorhersagemodell für Life-Science-Anwendungen zu entwickeln.
Weitere Informationen erhalten Sie hier Add-In (arbeitet mit JMP 10 ) oder sehen Sie sich dies bei Bedarf an Webcast (das das Add-In nutzt). Das Add-In und der Webcast veranschaulichen die obigen Methoden anhand von Daten aus einer klinischen Studie und einer Genomics-Studie unter Verwendung der Next-Generation-Sequenzierung.
Richard Giambrone schrieb:
Nette Diskussion. Ich mache gerade einen Kurs in statistischer Modellierung, daher ist dieses Thema für mich oberste Priorität. Ich mag das Beispiel der Überanpassung, die Sie gegeben haben. Danke für die Erwähnung von Nate Silver auf Reddit. Ich weiß nicht was Reddit ist. Wieder außer Kontakt!
