La semaine dernière, Nate Silver a organisé un « Demande-moi n'importe quoi ”Discuter sur Reddit. Il y avait plusieurs très bonnes questions, dont une que j’ai trouvée particulièrement importante au début du Année internationale de la statistique : "Quel est le plus gros abus de statistiques"? A quoi Nate a répondu: "Overfitting".
Cette réponse est très pertinente pour notre discussion sur la modélisation prédictive, en particulier lorsqu'elle est appliquée à des problèmes en sciences de la vie. Dans un essai clinique, nous pouvons souhaiter prédire la réponse d'un patient afin d'appliquer l'adaptation à l'étude. Nous pouvons également vouloir savoir quels sujets subiront probablement une expérience défavorable grave ou un décès. Pour les problèmes de génomique, nous espérons identifier les allèles contribuant à divers états pathologiques ou prévoir les effets toxiques de divers produits chimiques sur la base de données d'expression de gènes in vivo et de la structure chimique.
Surapprentissage se produit lorsque le modèle adapte le bruit ainsi que le signal dans les données. Dans les cas où un modèle prédictif suradapté est appliqué à de nouveaux ensembles de données, les performances du modèle sont souvent très médiocres. Par exemple, prenons le cas le plus extrême où le nombre de prédicteurs indépendants est égal au nombre d'observations à l'étude et en l'absence de régularisation. Dans ce scénario, le modèle obtiendra une prévision parfaite à chaque fois sur les données d'apprentissage, puisque chaque covariable peut être utilisée pour prédire la réponse d'une seule observation. Cependant, le modèle comprend probablement de nombreuses variables qui ne sont pas utiles pour prédire le résultat. Le résultat? Lorsque le modèle est utilisé pour un nouvel ensemble de données, l'ajustement est terrible! Cela est dû au fait que le modèle est trop spécifique au premier ensemble de données (c’est-à-dire que le modèle est overfit).
Alors, pourquoi surapprentissage d’une telle préoccupation pour les sciences de la vie? Eh bien, contrairement aux applications commerciales de data mining dans la finance, la vente au détail et les télécommunications, les ensembles de données issus des domaines des sciences de la vie ont généralement des ordres de grandeur plus prédicteurs que les observations (p >> n). Dans ces instances de «données étendues», il est très facile d'adapter les données avec des modèles prédictifs (comme dans notre pire scénario ci-dessus). Imaginez des essais cliniques en phase précoce où tous les tests connus de l’humanité sont effectués sur plusieurs jours ou plusieurs semaines pour évaluer la sécurité d’un nouveau médicament. Qu'en est-il des analyses de SNP où le nombre de prédicteurs peut facilement atteindre des millions? Comme vous pouvez le constater, le potentiel de surajustement dans les sciences de la vie est grand.
Comment est-il possible de générer un modèle utile, pouvant être appliqué à de nouveaux ensembles de données dans le but d’obtenir des prévisions précises et généralisables? Dans le cadre du processus de création du modèle, le modèle doit être testé ou validé par rapport à un ou plusieurs ensembles de données indépendants afin de déterminer si certaines des covariables sont inutiles. Mais comment est-ce pratique pour nos buts? Dans les applications commerciales, il existe généralement suffisamment de données pour définir des sous-ensembles s'excluant mutuellement afin de former un modèle (l'ensemble d'apprentissage ou de formation) et de valider le modèle (l'ensemble de validation). Cependant, les observations issues des sciences de la vie ont tendance à être plus limitées en raison de la dépense, du temps et de la difficulté d'obtenir des sujets ou des échantillons expérimentaux.
Les méthodes de validation dans les sciences de la vie nécessitent souvent de prévoir les résultats pour un petit sous-ensemble des données disponibles en utilisant les observations restantes, et de répéter ce processus pour tous les sous-ensembles. La figure 1 illustre un exemple de validation croisée sur 5 fois. Les données sont réparties en cinq ensembles mutuellement exclusifs, chacun représentant 20% des observations disponibles. Un modèle prédictif est formé avec 80% des données (les carrés bleus), puis validé avec l'ensemble de test (le carré rouge). Cet exercice est répété quatre fois de plus pour que chaque partition des données (chaque carré) serve d’ensemble de test.
En outre, la simulation peut être utilisée pour prendre en compte les différences de génération de sous-ensembles. Par exemple, l'exercice de validation croisée ci-dessus peut être répété 10 fois, générant à chaque fois une nouvelle partition des données et effectuant une validation croisée. Après l'exercice de simulation, il y aurait 10 x 5 = 50 modèles. Afin de développer mon modèle final, je choisirais les prédicteurs sélectionnés dans la majorité des 50 modèles disponibles. Cet ensemble de prédicteurs peut ensuite être utilisé sur l'ensemble de données complet pour développer le modèle final.
Ainsi, la prochaine fois qu'un article de journal présente un modèle comme le meilleur moyen de prédire un résultat particulier, approchez-le avec prudence! Déterminer si les auteurs ont appliqué leur modèle à de nouvelles données ou appliqué des méthodes honnêtes de validation croisée pour évaluer ses performances prédictives. Sinon, vous risquez de vous rendre un mauvais service en l'utilisant.
JMP Clinical et Génomique JMP avoir un vaste ensemble de modèles prédictifs disponibles. De plus, des outils robustes pour la validation croisée, des courbes d'apprentissage (pour répondre à la question «Mes ensembles de formation sont-ils suffisamment grands?») Et une réduction des prédicteurs sont disponibles pour développer un modèle prédictif utile pour les applications des sciences de la vie.
Pour plus d'informations, téléchargez ce ajouter à (marche avec JMP 10 ) ou voir ce sur demande webcast (qui utilise le complément). Le complément et la diffusion Web illustrent les méthodes ci-dessus à l'aide des données d'un essai clinique et d'une étude génomique utilisant un séquençage de nouvelle génération.
Richard Giambrone a écrit:
Bonne discussion. Je suis actuellement en train de suivre un cours de modélisation statistique, ce sujet est donc ma priorité. J'aime l'exemple de l'overfitting que vous avez donné. Merci pour la mention de Nate Silver sur Reddit. Je ne sais pas ce que Reddit est. Hors de contact, encore!
