446912_es-ES

liliconcom

JMP> Identificación de la firma predictiva de un gran conjunto de datos> Problema de sobreajuste obvio

Hola, comunidad de JMP:

Tengo un gran conjunto de datos con ~ 4000 mediciones de biomarcadores al inicio en pacientes inscritos en un ensayo clínico. Necesito identificar entre estos datos qué combinación de biomarcadores puede predecir el resultado clínico 12 semanas después.

He utilizado un enfoque bastante ingenuo que parece producir resultados muy sobreajustados:

1. Ejecute los 4000 biomarcadores a través de Screening> Response Screening donde Response es el resultado clínico binario en la semana 12
2. Seleccione los 10-20 biomarcadores principales (según FDR)
3. Utilice los biomarcadores seleccionados (como Efectos del modelo) en la plataforma Ajustar modelo> Paso a paso, donde Y es el resultado clínico binario en la semana 12; criterios = minimizar BIC
4. Genera el modelo

Si bien este enfoque produjo excelentes "predictores" de la respuesta clínica en la semana 12 (ROC AUC> 0,940), también produjo un alto ROC AUC cuando se probó con una variable "ficticia" generada aleatoriamente (ROC AUC ~ 0,870). Esto último me indica que mi método es tremendamente inapropiado debido al sobreajuste.

Exploré la viabilidad de trabajar con subgrupos de pacientes de Descubrimiento y Validación (50% de toda la población), pero no resolvió mi problema con el sobreajuste.

 

Además de utilizar las plataformas de modelado avanzadas proporcionadas por JMP Pro, ¿existen mejores técnicas en JMP para abordar esta cuestión?

 

Gracias por tu ayuda.

 

Mejor,

TS

 

 

AnalíticaRe: JMP> Identificación de firma predictiva de un gran conjunto de datos> Problema con sobreajuste obvio

¿Puede proporcionar más detalles sobre su variable de respuesta generada aleatoriamente?¿Cómo lo creaste exactamente?

Re: JMP> Identificación de firma predictiva de un gran conjunto de datos> Problema con sobreajuste obvio

Hola Dale,

 

Gracias por dar seguimiento a esta pregunta relativamente abierta. Creé la variable aleatoria usando la siguiente fórmula:

random uniform (0,1) > 0.5;

Es de destacar que ejecuté mi "método" descrito anteriormente en ocho versiones diferentes de la variable ficticia (es decir, recalcular la fórmula), lo que arrojó valores de ROC AUC que van de 0,770 a 0,870.

Nunca me encontré con un comportamiento así, pero nunca he trabajado con más de 1200 variables de biomarcadores.

Gracias por tu ayuda.

Mejor,

TS

Re: JMP> Identificación de firma predictiva de un gran conjunto de datos> Problema con sobreajuste obvio

No sé la respuesta, pero puedo confirmar lo que encontró.Creé una variable de respuesta binaria (aleatoria) y 20 factores normales aleatorios con 200 observaciones.¡Obtuve AUC = .71!Lo encuentro realmente muy sorprendente.Sospecho que tiene algo que ver con una limitación de las AUC como medida de desempeño, pero como dije, realmente no entiendo este comportamiento.En mi caso, ciertamente no debería estar sobreajustado.Estoy ansioso por ver qué pueden decir otros sobre esto.

Re: JMP > Identificación de firma predictiva de un gran conjunto de datos > Problema con sobreajuste obvio

Para aumentar el misterio, adjunto la simulación que hice.Esta vez usé una columna de validación.Cosas que vale la pena señalar: la regresión logística (secuencia de comandos guardada en el archivo) muestra un AUC de alrededor de 0,71 para los datos de entrenamiento y mucho más bajo (menos de 0,5) para los datos de validación.Esa es una clara evidencia de sobreajuste.Sin embargo, también ejecuté la selección del modelo: todos los métodos (incluida la regresión logística) muestran un AUC de alrededor de 0,5 para los datos de entrenamiento y más bajo para los datos de validación, lo que me parece razonable.Además, el modelo de regresión logística no es significativo (y solo 1 o 2 factores son significativos, más o menos lo que esperaría para 20 factores aleatorios).Entre las cosas que no entiendo es por qué la plataforma de regresión logística y la regresión logística dentro de la plataforma de selección de modelos dan resultados tan diferentes.Sé (o creo) que el cribado de modelos no encuentra hiperparámetros de ajuste tanto como las plataformas de modelado individuales, pero la diferencia entre 0,7 y 0,5 en los datos de entrenamiento me parece demasiado grande.