446912_fr-FR

liliconcom

JMP > Identification d'une signature prédictive à partir d'un grand ensemble de données > Problème de surapprentissage évident

Salut la communauté JMP,

J'ai un grand ensemble de données avec environ 4 000 mesures de biomarqueurs au départ chez des patients inscrits à un essai clinique. Je dois identifier parmi ces données quelle combinaison de biomarqueurs peut prédire le résultat clinique 12 semaines plus tard.

J'ai utilisé une approche plutôt naïve qui semble produire des résultats grossièrement suréquipés :

1. Exécutez les 4 000 biomarqueurs via le Dépistage > Dépistage de la réponse où la réponse est le résultat clinique binaire à la semaine 12
2. Sélectionnez les 10 à 20 meilleurs biomarqueurs (basés sur le FDR)
3. Utilisez les biomarqueurs sélectionnés (en tant qu'effets de modèle) sur la plate-forme Fit Model > Stepwise où Y est le résultat clinique binaire à la semaine 12 ; critère = minimiser BIC
4. Générer le modèle

Bien que cette approche ait donné d'excellents " prédicteurs " de la réponse clinique à la semaine 12 (ROC AUC > 0,940), elle a également donné une ROC AUC élevée lorsqu'elle a été testée avec une variable " factice " générée aléatoirement (ROC AUC ~ 0,870). Ce dernier m'indique que ma méthode est grossièrement inappropriée à cause du surapprentissage.

J'ai exploré la faisabilité de travailler avec des sous-groupes de patients de découverte et de validation (50 % de l'ensemble de la population), mais cela n'a pas résolu mon problème de surapprentissage.

 

Outre l'utilisation des plates-formes de modélisation avancées fournies par JMP Pro, existe-t-il de meilleures techniques dans JMP pour aborder une telle question ?

 

Merci de votre aide.

 

Meilleur,

ST

 

 

AnalytiqueRe: JMP > Identification de la signature prédictive à partir d'un grand ensemble de données > Problème de surapprentissage évident

Pouvez-vous fournir plus de détails sur votre variable de réponse générée aléatoirement ?Comment l'avez-vous créé exactement ?

Re: JMP > Identification de la signature prédictive à partir d'un grand ensemble de données > Problème de surapprentissage évident

Salut Dale,

 

Merci pour le suivi de cette question relativement ouverte. J'ai créé la variable aléatoire en utilisant la formule suivante :

random uniform (0,1) > 0.5;

Il est à noter que j'ai exécuté ma "méthode" décrite ci-dessus sur huit versions différentes de la variable fictive (c'est-à-dire recalculer la formule), donnant des valeurs ROC AUC allant de 0,770 à 0,870.

Je n'ai jamais rencontré un tel comportement, mais je n'ai jamais travaillé avec plus de 1 200 variables de biomarqueurs.

Merci de votre aide.

Meilleur,

ST

Re: JMP > Identification de la signature prédictive à partir d'un grand ensemble de données > Problème de surapprentissage évident

Je ne connais pas la réponse, mais je peux confirmer ce que vous avez trouvé.J'ai créé une variable de réponse binaire (aléatoire) et 20 facteurs normaux aléatoires avec 200 observations.J'ai AUC=.71 !Je trouve cela très surprenant en effet.Je soupçonne que cela a quelque chose à voir avec une limitation de l'AUC en tant que mesure de performance, mais comme je l'ai dit, je ne comprends pas vraiment ce comportement.Dans mon cas, cela ne devrait certainement pas être excessif.J'ai hâte de voir ce que les autres peuvent dire à ce sujet.

Re : JMP > Identification de la signature prédictive à partir d'un grand ensemble de données > Problème de surajustement évident

Pour ajouter au mystère, j'ai joint la simulation que j'ai faite.Cette fois, j'ai utilisé une colonne de validation.À noter : la régression logistique (script enregistré dans le fichier) montre une AUC autour de 0,71 pour les données d'entraînement et bien inférieure (moins de 0,5) pour les données de validation.C'est une preuve évidente de surajustement.Cependant, j'ai également exécuté le criblage du modèle - toutes les méthodes (y compris la régression logistique) montrent une AUC autour de 0,5 pour les données d'entraînement et inférieure pour les données de validation - cela me semble raisonnable.De plus, le modèle de régression logistique n'est pas significatif (et seuls 1 ou 2 facteurs sont significatifs, à propos de ce que vous attendez pour 20 facteurs aléatoires).Parmi les choses que je ne comprends pas, il y a pourquoi la plate-forme de régression logistique et la régression logistique au sein de la plate-forme de sélection de modèles donnent des résultats si différents.Je sais (ou crois) que le criblage de modèles ne trouve pas autant d'hyperparamètres de réglage que les plates-formes de modélisation individuelles, mais la différence entre 0,7 et 0,5 sur les données d'entraînement me semble trop grande.