253640_de-DE

liliconcom

Der beste prädiktive Modellierungsansatz für Gesundheitsdaten

Hallo alle,

Das ist mehr "Spit Balling" als alles andere, also los geht's. Kurz gesagt, ich versuche, einen diagnostischen Test für Riffkorallen zu entwickeln, damit wir wissen, welche wahrscheinlich infolge des Klimawandels sterben werden und welche nicht. Aus einer Reihe von Experimenten, die im Labor durchgeführt wurden, kenne ich jetzt die Proteinsignaturen, die mit widerstandsfähigen und stressempfindlichen Korallen verbunden sind, so dass ich theoretisch jetzt die Möglichkeit habe, ins Meer hinauszugehen und neue Kolonien zu beproben, die ich anziehe haben kein a priori Wissen über ihre Gesundheit und treffen keine Vorhersagen über ihre Gesundheit.

 

Analytisch habe ich mit den Proteinen, die ich profiliert habe, einiges ausprobiert, von denen große Teile kollinear sind (wodurch Standardregressionsansätze schlecht geeignet sind). Es scheint, als könnte mir die Verwendung des Diskriminanzanalyseansatzes für "gesunde" vs. "gestresste" Korallendatensätze die gewünschte Antwort geben. Ich habe mit der schrittweisen Diskriminanzanalyse herumgespielt und im Grunde versucht, die Mindestanzahl an Proteinen zu identifizieren, die die Proben zu 100 % korrekt nach Gesundheitszustand sortieren würde. Interpretiere ich das richtig? Es scheint, als wäre die Diskriminanzanalyse im Grunde eine MANOVA mit einer Art Vorhersagefunktion (obwohl MANOVA in diesem Fall nicht verwendet werden kann, da ich 272 Proteine in nur 11 Proben gemessen habe).

 

Ich habe heute ein großartiges JMP-Webinar über generalisierte Regression gesehen, also habe ich damit herumgespielt. Ich habe mein Y als Gesundheitszustand gesetzt (binomial: gesund vs. gestresst) und die 272 Proteine als x-Variablen verwendet. In einigen Fällen ähnelte der letzte Satz der „informativsten“ Proteine denen, die von DCA abgeleitet wurden, aber es gab tendenziell mehr (Proteine in der Größenordnung von fünf könnten im Grunde verwendet werden, um ein Modell zu erstellen, das die Gesundheit von Korallen genau vorhersagen kann). Ein Problem ist natürlich, dass ich Proben verwende, bei denen ich die Antwort bereits kenne (dh ob die Korallen lebten oder starben). Daher riskiere ich, es überangepasst zu haben. Die Diskriminanzanalyse scheint buchstäblich nur die Daten vollständig anzupassen und lässt möglicherweise keinen Spielraum für Zufälligkeiten oder Rauschen. Da ich eine Validierungsspalte für die generalisierte Regression erstellt habe, sollte dies teilweise die Möglichkeit einer Überanpassung verringern, oder?

 

Und dann gibt es teilweise kleinste Quadrate, aber jedes Mal, wenn ich PLS mit OMICS-Datensätzen (Transkriptom oder Proteom) verwendet habe, ist das R2 immer erbärmlich niedrig, wie 0,05-0,07. Ich habe letzte Woche ein wirklich ausgezeichnetes Webinar über verallgemeinerte Regression gesehen, in dem der Moderator im Wesentlichen Formula Depot verwendet, um die Modelle zusammenzustellen, die aus einer Reihe von Ansätzen abgeleitet wurden, was mich im Grunde auf die Idee brachte, diese Art von Analyse durchzuführen. Abschließend denke ich, meine Hauptfrage lautet: Wenn Sie versuchen, Vorhersagemodelle für eine Binomialantwort (in diesem Fall gesund vs. krank) mit Hunderten bis Tausenden von Prädiktoren zu erstellen, wird eine dieser Methoden als das „Gold“ angesehen? Standard?" Es könnte auch erwähnenswert sein, dass die Daten typischerweise nicht normalverteilt sind. Dieser Datensatz ist sehr klein, und wenn Sie auf die PCA klicken, können die ungesunden Proben sehr leicht unterschieden werden.

Betreff: Der beste prädiktive Modellierungsansatz für Gesundheitsdaten

Eine Sache, die Sie auch im Auge behalten sollten, ist Ihr Gesamtansatz, denn es klingt wirklich so, als ob es für Ihr globales Problem einen zweistufigen Ansatz gibt.

 

Schritt 1: Erklärende Modellierung zum Versuch und zur Charakterisierung eines Systems, daher sollten zunächst Modellierungsmethoden betrachtet werden, deren Stärken in der Variablenidentifikation/-reduktion liegen.

 

Schritt 2: Vorhersagemodellierung, um Aussagen über den Zustand zukünftiger oder neuer Korallensysteme und ihre Zukunftsaussichten zu treffen. Daher sind Modelle, bei denen die Vorhersagefähigkeit am wünschenswertesten ist.

 

Ein schönes Webinar, das hilft, die Ansätze zu differenzieren, ist hier:

 

https://www.jmp.com/en_us/events/ondemand/analytically-Speaking/to-explain-or-predict-that-is-the-question.html

 

 

Betreff: Der beste prädiktive Modellierungsansatz für Gesundheitsdaten

Vielen Dank an alle für Ihre Vorschläge und Ihr Feedback. Mir ist klar, dass der Versuch, das Schicksal von Korallen in freier Wildbahn auf der Grundlage von 11 Proben aus einem einzigen Experiment, das im Jahr 2010 durchgeführt wurde, vorherzusagen, gelinde gesagt, prekär ist! Glücklicherweise habe ich Tonnen von Felddaten von verschiedenen Korallen zusammengestellt, die bei unterschiedlichen Temperaturen, Salzgehalten, Lichtverhältnissen, Ländern, Breiten usw. gesammelt wurden, und hoffe, diese Daten mit denen aus den Laborexperimenten zusammenführen zu können, um damit zu beginnen, eine Art Koralle zusammenzusetzen diagnostisches System. Ich mag den Biomarker-Ansatz mit menschlichem Blut, bei dem sie Ihnen Ihre Konzentration sowie den normalen "gesunden" Bereich zeigen. Wir wissen noch nicht, was die gesunden Bereiche für Korallen sind, also muss das vielleicht zuerst ausgearbeitet werden.

 

In Bezug auf den besten Modellierungsansatz für diese Art von Unterfangen bin ich wohl froh zu hören, dass niemand gesagt hat: „Sie sollten diesen Ansatz unbedingt verwenden, den Sie völlig vernachlässigt haben zu erwähnen“, da ich im Grunde alle verschiedenen untersucht habe Optionen da draußen. Am Ende werde ich wahrscheinlich eine Mischung von Ansätzen verwenden, obwohl ich mich immer mehr für diese verallgemeinerten Regressionsmodelle interessiere, weil sie eine gute Balance zu finden scheinen zwischen KEINER Überanpassung, aber KEINER Erstellung eines so komplexen Modells, dass dies der Fall ist hätte keine praktische Anwendung. Andererseits ist dies möglicherweise nur bei meinem Datensatz der Fall und nicht eine Gesamteigenschaft dieses Ansatzes!

 

Auf jeden Fall bin ich froh, dass so viele solcher Algorithmen und Plattformen in JMP Pro verfügbar sind. Ich glaube nicht, dass ich jetzt jemals wieder zum regulären JMP zurückkehren kann!

Betreff: Der beste prädiktive Modellierungsansatz für Gesundheitsdaten

Ich gebe mein mageres Feedback ... Eine der Fragen, die Sie zu beantworten versuchen, scheint mir zu lauten: "Haben die Studien, die ich in einer Laborumgebung durchgeführt habe, die Möglichkeit, Schlussfolgerungen in der "realen Welt" zu ziehen? Ich glaube nicht, dass dies durch Datenanalyse beantwortet werden kann. Ich schlage vor, dass Sie sich auf zwei Dinge konzentrieren:

1. Entwicklung besserer Antwortvariablen (vs. diskret). Dies kann die Form einer kontinuierlichen Variablen annehmen (z. B. Abstufung des Bleichmittels, Prozentsatz von Protein x usw.) oder, wenn Sie keine kontinuierliche Antwort erstellen können, erstellen Sie zumindest eine ordinale Antwort.

2. Entwerfen Sie Stichprobenpläne. Stichprobenpläne werden in Abhängigkeit von Ihren Hypothesen erstellt. Die Pläne können hierarchisch (verschachtelt), systematisch oder gekreuzt sein. Sie sollen verschiedene Variationsquellen trennen und zuweisen und den Inferenzraum vergrößern. Es scheint also, dass Sie daran interessiert sind, was die Zerstörung von Korallenriffen verursacht. Sie können echte Riffe als Funktion Ihrer Hypothesen beproben. Nehmen wir an, Sie nehmen an, dass der Salzgehalt der Umgebung einen gewissen Einfluss hat. Sie würden mehrere Proben innerhalb desselben Salzgehalts nehmen und dann Proben von einem Ort mit unterschiedlichem Salzgehalt nehmen. Nehmen wir an, Ihre Hypothese hat etwas mit Schadstoffen in der Umgebung zu tun. Dieselbe Idee Äpfel, nehmen Sie mehrere Proben aus einem Bereich mit "gleichen" Verunreinigungen und wählen Sie dann einen anderen Ort aus, an dem die Verunreinigung unterschiedlich ist. Natürlich kann dies mit experimentellen Designideen beschleunigt werden, aber die Experimente müssen in der realen Welt durchgeführt werden, nicht im Labor. Siehe Fisher et. Al.

Betreff: Der beste prädiktive Modellierungsansatz für Gesundheitsdaten

@abmayfield : Ich komme zurück auf Ihre '...Hauptfrage...' bezüglich einer 'Goldstandard'-Modellierungsmethodik. IMO ist der Begriff eines „Goldstandards“ einfach unmöglich zu spezifizieren. Wenn ich ein bisschen philosophisch werden darf, gibt es einen Grund, warum so viele Modellierungsmethoden „da draußen“ sind. Wenn man an das Wachstum und die Verbreitung von Modellierungsmethoden zurückdenkt, liegt das wirklich daran, dass keine Methode am besten für alle Arten von Problemen und Daten geeignet ist. Die Idee, die ich den Praktizierenden immer gepredigt habe, ist also, VIELE davon für IHR Problem und Ihre Daten auszuprobieren und dann zu sehen, was am besten funktioniert. Für binäre kategoriale Antworten sind einige wichtige Modelldiagnosemethoden die Fehlklassifikationsrate, ROC-Kurven und dergleichen. Die Formeldepot- und Modellvergleichsplattformen von JMP Pro können das Vergleichsgeschäft effizient gestalten.

Betreff: Der beste prädiktive Modellierungsansatz für Gesundheitsdaten

Danke, dass Sie sich das angesehen haben. Ich war absichtlich vage in Bezug auf meine eigentliche biologische Frage, also werden vielleicht meine Fragen und Bedürfnisse klarer, wenn ich das erweitere. Ich möchte vorhersagen, welche Korallen bleichen (ein Prozess, bei dem sie aufgrund des Verlusts von Symbionten weiß werden und später sterben). Grundsätzlich habe ich die Molekularbiologie von Korallen in den Tagen bis Wochen vor dem Bleichen überwacht, damit ich die Biomarkerkonzentrationen und die Wahrscheinlichkeit des Bleichens in Beziehung setzen kann. Grundsätzlich liefern die verschiedenen multivariaten Plattformen ähnliche Ergebnisse in Bezug auf die Auswahl der Biomarkerkandidaten (dh der Proteine, die am besten bleichanfällige von bleichresistenten Korallen unterscheiden). Ich frage mich jedoch, ob diese Ergebnisse in der realen Welt irgendeinen Vorhersagewert haben werden, wenn ich sie mit noch nicht beprobten Korallen teste. Ich brauche eindeutig ein Modell mit einer gewissen Flexibilität, und ich denke, einige der Ansätze, die ich ausprobiert habe, sind keine prädiktiven Modellierungsansätze per se, sondern erklärend, in diesem Fall passen sie zu 100 % auf die Daten und würden daher zu einer Überanpassung neigen . Vielleicht ist dies ein Beweis dafür, dass nur 11 Korallen und 272 Merkmale vorhanden sind, dh das resultierende Modell wird von Natur aus überangepasst sein.

https://www.jmp.com/en_us/events/ondemand/mastering-jmp/using-jmp-pro-to-build-generalized-regression-models.html Dieses Webinar versucht, etwas Ähnliches zu erreichen, wenn auch beim Menschen (Verknüpfung der Wahrscheinlichkeit, an Diabetes zu erkranken, mit Biomarker-Signaturen). In diesem Fall ist Y jedoch eine kontinuierliche Variable, also muss ich vielleicht versuchen, herauszufinden, wie man Korallen, wie Sie erwähnt haben, entlang eines Kontinuums von 0 bis 10 oder so ähnlich einordnet.

Betreff: Der beste prädiktive Modellierungsansatz für Gesundheitsdaten

Ich verstehe Ihr Problem eindeutig nicht, daher ist dieser Kommentar möglicherweise nicht hilfreich.Wenn Sie wirklich über 800 Merkmale und 11 Beobachtungen haben, kann ich mir nicht vorstellen, irgendetwas daraus schließen zu können.Es sollte nicht schwer sein, zwischen gesunden und ungesunden Beobachtungen zu unterscheiden (buchstäblich sollte dies mit fast jedem Satz einer Handvoll dieser Merkmale möglich sein, obwohl es größtenteils ein bedeutungsloses Modell wäre).Noch wichtiger ist, dass ich mir bei Ihrer dichotomen Antwortvariablen überhaupt nicht sicher bin.Sind Korallenriffe wirklich entweder gesund oder ungesund, ohne Abstufungen?Normalerweise würden Gesundheitsstudien wie diese dies als zensierte Daten behandeln - die Beobachtungen werden zu einem bestimmten Zeitpunkt durchgeführt, und zu diesem Zeitpunkt könnten die ungesunden Proben beobachtet werden, während die gesunden bis jetzt als gesund behandelt werden müssen (d.h. die Zeit bis a schlechtes Ergebnis ist die kontinuierliche Antwortvariable und die Daten werden zensiert).Oder schlagen Sie vor, Beobachtungen erst zu einem Zeitpunkt vorzunehmen, an dem Sie das Riff endgültig als gesund oder krank erklären können?