La meilleure approche de modélisation prédictive pour les données de santéBonjour à tous,
C'est plus "spit balling" qu'autre chose, alors voilà. En un mot, j'essaie de développer un test de diagnostic pour les coraux de récifs afin que nous puissions savoir lesquels mourront probablement à cause du changement climatique et lesquels ne le feront pas. Grâce à une série d'expériences menées en laboratoire, je connais maintenant les signatures protéiques associées aux coraux résistants et sensibles au stress, de sorte qu'en théorie, j'ai peut-être maintenant la capacité d'aller dans l'océan, d'échantillonner de nouvelles colonies que je mets n'ont aucune connaissance a priori sur leur état de santé et font des prédictions sur celui-ci.
Analytiquement, j'ai essayé pas mal de choses avec les protéines que j'ai profilées, dont de grandes proportions sont colinéaires (ce qui rend les approches de régression standard mal adaptées). Il semble que l'utilisation de l'approche d'analyse discriminante pour les ensembles de données de coraux "sains" et "stressés" pourrait me donner la réponse que je veux. J'ai joué avec l'analyse discriminante par étapes et j'ai essentiellement essayé d'identifier le nombre minimum de protéines qui trieraient correctement à 100% les échantillons par état de santé. Est-ce que j'interprète cela correctement? Il semble que l'analyse discriminante soit essentiellement une MANOVA avec une sorte de fonction prédictive (bien que la MANOVA ne puisse pas être utilisée dans ce cas puisque j'ai 272 protéines mesurées dans seulement 11 échantillons).
J'ai vu un super webinaire JMP aujourd'hui sur la régression généralisée, j'ai donc joué avec ça. J'ai défini mon Y comme état de santé (binôme : en bonne santé contre stressé) et j'ai utilisé les 272 protéines comme variables x. Dans certains cas, l'ensemble final de protéines "les plus informatives" était similaire à celles dérivées du DCA, mais il y en avait généralement plus (de l'ordre de cinq protéines pourraient être utilisées pour construire un modèle capable de prédire avec précision la santé des coraux). Un problème, bien sûr, est que j'utilise des échantillons pour lesquels je connais déjà la réponse (c'est-à-dire si les coraux ont vécu ou sont morts). Par conséquent, je risque de l'avoir surdimensionné. L'analyse discriminante semble littéralement s'adapter entièrement aux données, ne laissant peut-être aucune marge de manœuvre au hasard ou au bruit. Depuis que j'ai créé une colonne de validation pour la régression généralisée, cela devrait, en partie, réduire la possibilité de surajustement, n'est-ce pas ?
Et puis il y a les moindres carrés partiels, mais chaque fois que j'ai utilisé PLS avec des ensembles de données OMICS (transcriptome ou protéome), le R2 est toujours pitoyablement bas, comme 0,05-0,07. J'ai vu la semaine dernière un webinaire vraiment excellent sur la régression généralisée dans lequel le présentateur utilise essentiellement Formula Depot pour compiler les modèles dérivés d'un certain nombre d'approches, ce qui m'a essentiellement donné l'idée de faire ce type d'analyse. Je suppose que, pour conclure, ma principale question est la suivante : lorsque vous essayez de créer des modèles prédictifs pour une réponse binomiale (en bonne santé contre malade, dans ce cas) avec des centaines de milliers de prédicteurs, l'une de ces méthodes est-elle considérée comme la "méthode d'or ? la norme?" Il peut également être utile de mentionner que les données sont généralement distribuées de manière non normale. Cet ensemble de données est très petit et, si vous cliquez sur l'ACP, les échantillons malsains sont très facilement distingués.
Re : La meilleure approche de modélisation prédictive pour les données de santéUne chose à garder également à l'esprit est votre approche globale car cela ressemble vraiment à votre problème global, il y a une approche en deux étapes,
Etape 1 : Modélisation explicative pour tenter de caractériser un système, il faut donc s'intéresser en priorité aux méthodes de modélisation dont les points forts sont l'identification/réduction de variables.
Étape 2: Modélisation prédictive pour faire des déclarations sur la santé future ou nouvelle des systèmes coralliens et les perspectives de leur avenir. D'où les modèles où la capacité prédictive est la plus souhaitable.
Un webinaire sympa qui permet de différencier les approches est ici :
https://www.jmp.com/en_us/events/ondemand/analyticically-talking/to-explain-or-predict-that-is-the-question.html
Re : La meilleure approche de modélisation prédictive pour les données de santéMerci à tous pour vos suggestions et commentaires. Je me rends compte qu'essayer de prédire le sort des coraux dans la nature sur la base de 11 échantillons d'une seule expérience réalisée en 2010 est pour le moins précaire ! Heureusement, j'ai compilé des tonnes de données de terrain provenant de différents coraux collectés à différentes températures, salinités, niveaux de lumière, pays, latitudes, etc. et j'espère fusionner ces données avec celles des expériences de laboratoire pour commencer à reconstituer une sorte de corail système de diagnostic. J'aime l'approche des biomarqueurs sanguins humains où ils vous montrent votre concentration, ainsi que la plage "saine" normale. Nous ne savons pas encore quelles sont les plages saines pour les coraux, donc c'est peut-être quelque chose qui doit être déterminé en premier.
En ce qui concerne la meilleure approche de modélisation pour ce type d'effort, je suppose que je suis heureux d'entendre que personne n'a dit "vous devriez absolument utiliser cette approche, que vous avez totalement négligé de mentionner" puisque j'ai essentiellement enquêté sur tous les différents options là-bas. En fin de compte, je finirai probablement par utiliser un mélange d'approches, même si je m'intéresse de plus en plus à ces modèles de régression généralisés car ils semblent trouver un bon équilibre entre NE PAS sur-ajuster mais NE PAS rendre un modèle si complexe qu'il n'aurait aucune application pratique. Là encore, cela pourrait n'être le cas qu'avec mon jeu de données, plutôt qu'une propriété globale de cette approche !
Quoi qu'il en soit, je suis heureux qu'autant d'algorithmes et de plates-formes de ce type soient disponibles dans JMP Pro. Je ne pense pas que je pourrai jamais revenir à JMP normal maintenant !
Re : La meilleure approche de modélisation prédictive pour les données de santéJe vais donner mon maigre retour... Il me semble que l'une des questions auxquelles vous essayez de répondre est : "Les études que j'ai effectuées en laboratoire ont-elles la capacité de tirer des conclusions dans le "monde réel" ? Je ne pense pas que l'analyse des données puisse répondre à cette question. Ce que je suggère, c'est que vous vous concentriez sur deux choses :
1. Développer de meilleures variables de réponse (vs discrètes). Cela peut prendre la forme d'une variable continue (par exemple, gradation de l'eau de Javel, pourcentage de protéine x, etc.) ou si vous ne pouvez pas créer une réponse continue, créez au moins une réponse ordinale.
2. Concevoir des plans d'échantillonnage. Des plans d'échantillonnage sont créés en fonction de vos hypothèses. Les plans peuvent être hiérarchiques (emboîtés), systématiques ou croisés. Ils sont destinés à séparer et attribuer différentes sources de variation et à augmenter l'espace d'inférence. Il devrait donc sembler que vous vous intéressiez à ce qui cause la dégradation des récifs coralliens. Vous pourrez échantillonner des récifs réels en fonction de vos hypothèses. Disons que vous faites l'hypothèse que la salinité ambiante a un certain effet. Vous prélèveriez plusieurs échantillons de la même salinité, puis échantillonneriez à partir d'un emplacement qui a une quantité de salinité différente. Disons que votre hypothèse a quelque chose à voir avec les contaminants ambiants. La même idée consiste à prélever plusieurs échantillons dans une zone de contaminants "égaux", puis à sélectionner un emplacement différent où la contamination est différente. Bien sûr, cela peut être accéléré avec des idées de conception expérimentale, mais les expériences doivent être menées dans le monde réel, pas en laboratoire. Voir Fisher, et. Al.
Re : La meilleure approche de modélisation prédictive pour les données de santé@abmayfield : Je reviens à votre '...question principale...', par rapport à une méthodologie de modélisation 'gold standard'. Selon l'OMI, la notion d'«étalon-or» est tout simplement impossible à préciser. Si je peux devenir un peu philosophe, il y a une raison pour laquelle tant de méthodes de modélisation sont « là-bas ». Si l'on repense à la croissance et à la prolifération des méthodes de modélisation, c'est vraiment parce qu'aucune méthode ne fonctionne mieux pour tous les types de problèmes et de données. Donc, l'idée que j'ai toujours prêchée aux praticiens est d'en essayer BEAUCOUP pour VOTRE problème et VOS données, puis de voir ce qui fonctionne le mieux. Pour les réponses catégorielles binaires, quelques méthodes de diagnostic de modèle clés sont le taux d'erreur de classification, les courbes ROC, etc. Les plates-formes de dépôt de formules et de comparaison de modèles de JMP Pro peuvent rendre l'activité de comparaison efficace.
Re : La meilleure approche de modélisation prédictive pour les données de santéMerci d'avoir regardé ça. J'ai été délibérément vague sur ma question biologique réelle, alors peut-être que développer cela rendra mes questions et mes besoins plus clairs. Je veux prédire quels coraux blanchiront (un processus dans lequel ils deviennent blancs en raison de la perte de symbiotes et meurent plus tard). Fondamentalement, j'ai surveillé la biologie moléculaire des coraux au cours des jours-semaines précédant le blanchiment afin de pouvoir relier les concentrations de biomarqueurs et la probabilité de blanchiment. Fondamentalement, les différentes plates-formes multivariées donnent des résultats similaires en ce qui concerne la sélection des biomarqueurs candidats (c'est-à-dire les protéines qui distinguent le mieux les coraux sujets au blanchiment des coraux résistants au blanchiment). Ce que je me demande, cependant, c'est si ces résultats auront une valeur prédictive dans le monde réel lorsque je les testerai avec des coraux non encore échantillonnés. J'ai clairement besoin d'un modèle avec une certaine flexibilité, et je pense que certaines des approches que j'ai essayées ne sont pas des approches de modélisation prédictive en soi, mais explicatives, auquel cas elles correspondent à 100 % des données et seraient donc sujettes à un ajustement excessif . Cela témoigne peut-être du fait qu'il n'y a que 11 coraux et 272 caractéristiques, c'est-à-dire que le modèle résultant sera intrinsèquement surajusté.
https://www.jmp.com/en_us/events/ondemand/mastering-jmp/using-jmp-pro-to-build-generalized-regression-models.html Ce webinaire essaie de réaliser quelque chose de similaire, mais avec des humains (liant la probabilité de contracter le diabète à partir de signatures de biomarqueurs). Cependant, dans ce cas, le Y est une variable continue, alors peut-être que je dois essayer de comprendre comment classer les coraux, comme vous l'avez mentionné, le long d'un continuum de 0 à 10 ou quelque chose comme ça.
Re : La meilleure approche de modélisation prédictive pour les données de santéJe ne comprends clairement pas votre problème, donc ce commentaire peut ne pas être utile.Si vous avez vraiment plus de 800 fonctionnalités et 11 observations, je ne peux pas imaginer pouvoir conclure quoi que ce soit.Il ne devrait pas être difficile de faire la distinction entre les observations saines et malsaines (littéralement, vous devriez pouvoir le faire avec presque n'importe quel ensemble d'une poignée de ces fonctionnalités, même si ce serait en grande partie un modèle dénué de sens).Plus important encore, je ne suis pas sûr du tout de votre variable de réponse dichotomique.Les récifs coralliens sont-ils vraiment sains ou malsains, sans gradations ?Habituellement, les études sur la santé comme celle-ci traiteraient cela comme des données censurées - les observations sont prises à un moment donné et à ce moment-là, les spécimens malsains pourraient être observés tandis que ceux qui sont en bonne santé doivent être traités comme sains jusqu'à présent (c'est-à-dire le temps jusqu'à un mauvais résultat est la variable de réponse continue et les données sont censurées).Ou proposez-vous de ne prendre des observations qu'à un moment où vous pouvez déclarer définitivement le récif sain ou malsain ?
