La semana pasada, Nate Silver celebró un “ Pregúntame lo que sea "Chat en reddit. Hubo varias preguntas muy buenas, una de las cuales me pareció particularmente importante al comenzar el Año Internacional de la Estadística : “¿Cuál es el mayor abuso de estadísticas”? A lo que Nate respondió: "Overfitting".
Esta respuesta es muy relevante para nuestra discusión del modelado predictivo, particularmente cuando se aplica a problemas en las ciencias de la vida. En un ensayo clínico, podemos desear predecir la respuesta de un paciente para aplicar una adaptación al estudio. O podemos querer entender qué sujetos probablemente experimentarán una experiencia adversa grave o la muerte. Para problemas en genómica, esperamos identificar alelos que contribuyen a varios estados de enfermedad, o predecir los efectos tóxicos de varios químicos basados en datos de expresión génica in vivo y estructura química.
Sobreajuste ocurre cuando el modelo se ajusta al ruido así como a la señal en los datos. En los casos en que se aplica un modelo predictivo sobrecargado a nuevos conjuntos de datos, el rendimiento del modelo suele ser bastante bajo. Por ejemplo, tomemos el caso más extremo en el que el número de predictores independientes es igual al número de observaciones en estudio y no hay regularización. En este escenario, el modelo logrará una predicción perfecta cada vez sobre los datos de entrenamiento, ya que cada covariable puede usarse para predecir la respuesta de una sola observación. Sin embargo, es probable que el modelo incluya numerosas variables que no son útiles para predecir el resultado. ¿El resultado? Cuando se usa el modelo para un nuevo conjunto de datos, el ajuste es terrible. Esto se debe a que el modelo es demasiado específico para el primer conjunto de datos (es decir, el modelo está sobre ajustado).
Entonces, ¿por qué el exceso de personal es una preocupación tan grande para las ciencias de la vida? Bueno, a diferencia de las aplicaciones de minería de datos comerciales en finanzas, comercio minorista y telecomunicaciones, los conjuntos de datos de los dominios de ciencias de la vida generalmente tienen órdenes de magnitud más predictores que observaciones (p >> n). En estas instancias de "datos amplios", es muy fácil ajustar los datos con modelos predictivos (como en el peor de los casos arriba). Imagine los ensayos clínicos de fase temprana en los que cada prueba conocida por la humanidad se realiza en el transcurso de varios días o semanas para evaluar la seguridad de un nuevo medicamento. ¿Qué hay de los análisis de los SNP donde la cantidad de predictores se puede extender fácilmente a millones? Como puede ver, el potencial de sobreajuste en las ciencias de la vida es grande.
¿Cómo es posible generar un modelo útil, que se pueda aplicar a nuevos conjuntos de datos con el objetivo de lograr predicciones precisas y generalizables? Como parte del proceso de creación del modelo, el modelo debe probarse o validarse con uno o más conjuntos de datos independientes para evaluar si algunas de las covariables son innecesarias. Pero, ¿cómo es esto práctico para nuestros propósitos? En aplicaciones comerciales, generalmente hay datos suficientes para definir subconjuntos mutuamente exclusivos para entrenar un modelo (el conjunto de aprendizaje o capacitación), así como para validar el modelo (el conjunto de validación). Sin embargo, las observaciones de las ciencias de la vida tienden a ser más limitadas debido al gasto, el tiempo y la dificultad de obtener sujetos o muestras experimentales.
Los métodos de validación en las ciencias de la vida a menudo requieren la predicción de resultados para un pequeño subconjunto de los datos disponibles utilizando las observaciones restantes y la repetición de este proceso para todos los subconjuntos. La Figura 1 ilustra un ejemplo de validación cruzada de 5 veces. Los datos se dividen en cinco conjuntos mutuamente exclusivos, cada uno representa el 20% de las observaciones disponibles. Un modelo predictivo se entrena con el 80% de los datos (los cuadrados azules) y luego se valida con el conjunto de pruebas (el cuadrado rojo). Este ejercicio se repite cuatro veces adicionales para que cada partición de los datos (es decir, cada cuadrado) sirva como conjunto de prueba.
Además, la simulación se puede utilizar para tener en cuenta las diferencias en cómo se generan los subconjuntos. Por ejemplo, el ejercicio de validación cruzada anterior se puede repetir 10 veces, cada vez generando una nueva partición de los datos y realizando una validación cruzada. Después del ejercicio de simulación, habría 10 x 5 = 50 modelos. Para desarrollar mi modelo final, elegiría los predictores que se seleccionan en la mayoría de los 50 modelos disponibles. Este conjunto de predictores se puede usar en el conjunto completo de datos para desarrollar el modelo final.
Entonces, la próxima vez que un artículo de una revista promueva un modelo como la mejor manera de predecir un resultado particular, ¡acérquese a este modelo con precaución! Examine si los autores aplicaron su modelo a nuevos datos o aplicaron métodos honestos de validación cruzada para evaluar su desempeño predictivo. De lo contrario, puedes estar haciendo un mal uso de ti mismo al usarlo.
JMP clinico y JMP Genomics tener un extenso conjunto de modelos predictivos disponibles. Además, existen herramientas robustas para la validación cruzada, curvas de aprendizaje (para responder a la pregunta "¿Son mis conjuntos de entrenamiento lo suficientemente grandes?") Y la reducción de predictores para desarrollar un modelo predictivo útil para aplicaciones de ciencias de la vida.
Para más información, descargue este complemento (funciona con JMP 10 ) o ver esto a petición webcast (que hace uso del complemento). El complemento y el webcast ilustran los métodos anteriores utilizando datos de un ensayo clínico y un estudio de genómica utilizando la secuenciación de la próxima generación.
Richard Giambrone escribió:
Buena discusión. Actualmente estoy tomando una clase en modelos estadísticos, por lo que este tema es lo más importante para mí. Me gusta el ejemplo de sobreajuste que le diste. Gracias por la mención de Nate Silver en Reddit. No sé qué es Reddit. Fuera de contacto, otra vez!
