Cribado de predicciónEscuché con gran interés la conferencia sobre modelos predictivos y la sugerencia de guardar la fórmula de predicción en el conjunto de datos y luego volver a ejecutar la evaluación de predicción con las variables iniciales como X y agregar las fórmulas de predicción como nuevas X.
Creación de mejores modelos predictivos con JMP Pro: detección de modelos
Hoy hablé con un colega y su reacción fue "¡hablar de sobreajustar los modelos!"
¿Este enfoque sobreajustará aún más los modelos (incluso si utilizamos datos de validación diferentes de los datos que crean los modelos)? La opinión de mi colega fue que utilizamos los mismos datos dos veces.
Estamos trabajando en el binomio Y (Salud o Enfermo), y el enfoque de hecho mejora la predicción, pero ¿acabamos de introducir más sobreajuste de modo que incluso la validación ahora es incorrecta/sobreajustada? #predicción, #sobreajuste, #detección
Modelado predictivo y aprendizaje automáticoventanasRe: Detección de predicciónNo estoy seguro de entenderte.Cuando dice que el conjunto de datos B está "ciego", ¿quiere decir que no sabe qué sujetos están dopados (o al menos finge que no lo sabe)?Si es así, entonces B parece ser su conjunto de datos de prueba.Normalmente, si tiene suficientes datos, dividiría A en datos de entrenamiento y validación, entrenaría sus modelos (incluidos los modelos de conjunto) y luego los aplicaría a B.La idea de que luego, basándose en su desempeño en B, regresaría y cambiaría sus modelos parece invitar a un sobreajuste.Es análogo a entrenar en A y usar B como conjunto de validación.Pero entonces no tienes ningún dato de prueba; lo que quiero decir con datos de prueba es datos que se mantienen completamente separados del proceso de modelado.
Re: Detección de predicción¡Gracias a todos por los comentarios sobre mi pregunta!
Como comentario sobre tus problemas. @dale_lehman - el proyecto tiene como objetivo validar un conjunto de biomarcadores seleccionados para el dopaje en conjuntos de datos novedosos (muestras de sangre ciegas que pueden o pueden extraerse ahora de sujetos dopados). Por lo tanto, necesitamos arreglar el modelo usando el Conjunto de datos A a partir de muestras conocidas, y el enfoque de conjunto parece ser un camino a seguir, luego aplicar el modelo al Conjunto de datos B (ciego) e investigar el resultado de la predicción en el Conjunto de datos B a partir de la fórmula creada usando el Conjunto de datos A. .
Si es necesario, podemos regresar e intercambiar algunos de los biomarcadores y realizar este procedimiento nuevamente, hasta que alcancemos un poder predictivo preestablecido.
Ahora que (con suerte) he explicado el proyecto un poco mejor, puedo ver cómo usaría el Grupo B para la validación, pero no estoy seguro de entender cómo (nuevamente) entrenar el modelo con B (recuerde que no soy estadístico). ) como lo sugiere @andreacoombs1 .
No sé si esto altera tus respuestas, sólo quería aclarar.
Re: Detección de predicciónEn realidad, no había visto el vídeo hasta ahora.Después de verlo, tu respuesta me desconcierta un poco.Parece que se están mezclando dos cosas que son difíciles de desenredar.Ciertamente, si crea posibles modelos predictivos y los expone a nuevos datos (por ejemplo, su grupo 
, puede descubrir si esos modelos candidatos originales siguen siendo los mejores, o si ajustes adicionales o modelos diferentes podrían mejorar las predicciones cuando se enfrentan a nuevos datos. - formas clásicas de evitar el sobreajuste.Sin embargo, si ejecuta el modelo de conjunto, junto con los predictores originales, con los mismos datos, creo que el sobreajuste no es el único problema.No estoy seguro de cuál es el sentido de ese proceso: al incluir los predictores originales junto con algunos modelos elegidos de la selección, ¿no estás simplemente confirmando si los modelos originales elegidos deberían haberse elegido para empezar?Y, si el propósito es ver cómo funcionan sus modelos con datos nuevos, ¿esto realmente tiene algo que ver con el modelado de conjuntos?¿No es la idea mantener un conjunto de datos de prueba (o tal vez incluso un segundo conjunto de datos de prueba) para ver cómo funciona su modelo sin muestra, independientemente de si es un modelo de conjunto o no?En otras palabras, las pruebas fuera de la muestra parecen tener poco o nada que ver con la plataforma de selección de modelos o el modelado de conjunto; siempre es un problema con cualquier modelo predictivo.
Re: Detección de predicción@ChristerMalm y @dale_lehman .El modelo de conjunto que presenté en esa grabación probablemente estaba sobreajustado porque el modelo de conjunto se construyó usando los mismos datos que se usaron para construir el modelo original.(Continuaré con la terminología de "modelo original" y "modelo de conjunto" para mantener las cosas claras en mi explicación).Una estrategia para evitar este sobreajuste es tomar todo el conjunto de datos y dividirlo en dos grupos: el grupo A para construir el modelo original y el grupo B para construir el modelo de conjunto.Puede ocultar y excluir el Grupo B mientras construye el modelo original.Divida el Grupo A en capacitación, validación y prueba para crear modelos candidatos y elegir el modelo campeón.Ahora vuelve a incorporar el Grupo B a la mezcla y utiliza todo el Grupo B para entrenar.Puede utilizar el Grupo B como validación o dividirlo en validación y prueba.Esto debería proteger contra el sobreajuste.
Re: Detección de predicciónHola @dale_lehman .Andrea Coombs @andreacoombs1 presentó la sesión sobre modelado predictivo y es posible que tenga algunas ideas al respecto.
Re: Detección de predicciónHola @ChristerMalm ,
La sesión de ayer sobre modelos predictivos fue muy informativa. No recuerdo la discusión exacta sobre ese tema, pero sería cauteloso al usar una fórmula de predicción para el resultado como uno de los insumos para el mismo resultado. Lo que entiendo sobre el modelado de conjuntos es que se construyen diferentes modelos, por ejemplo, NN, árbol impulsado, XGBoost, etc., y luego se promedian juntos. Puede hacer esto a través de la plataforma de Comparación de modelos usando el botón rojo, o puede escribir una fórmula de columna que lo haga por usted. El modelo conjunto debería ajustarse a los datos mejor que cualquier modelo por sí solo, pero no siempre es así. Una cosa a tener en cuenta es que realmente depende de cuál sea el objetivo final y de la importancia de la interpretabilidad para el modelo. Si comprender la ecuación del modelo y cómo las entradas se traducen en salidas, entonces los conjuntos de modelos y los modelos no lineales complicados podrían no ser el mejor camino a seguir.
Creo que una de las cosas de las que hablaba Russ Wolfinger y que es realmente importante es encontrar el esquema de validación correcto para sus datos. Si se elige el conjunto incorrecto de datos de entrenamiento y validación, es posible que se obtengan resultados terribles, aunque los datos sean buenos, como el ejemplo del artículo de Nature del que habló. Probablemente sería mejor dedicar más tiempo a determinar el mejor esquema de validación y luego trabajar en generar el modelo.
También parece que podría tener un conjunto de datos desequilibrado, lo que significa que hay muchos más casos que otros. En ese caso, definitivamente querrás explorar cómo cambiar el umbral de probabilidad logística para ver si eso ayuda a tu predicción. Además, tal vez considere el enfoque de la matriz de ganancias para asignar valor al costo de los falsos positivos y falsos negativos. Chris Gotwalt también demostró un enfoque interesante de utilizar árboles de decisión para ayudar a comprender mejor los límites con datos desequilibrados.
Espero que esto ayude,
DS
Re: Detección de predicciónNo he visto esto y me interesará ver las respuestas, pero tengo una reacción inicial.Usar la fórmula de predicción de la plataforma Model Screen y volver a ejecutar esa plataforma con la fórmula de predicción junto con otros predictores suena un poco como un ajuste excesivo.Sin embargo, creo que es una forma de construir modelos de conjunto: si la fórmula de predicción proviene de un modelo y el nuevo modelo usa ese resultado (junto con otros predictores) para crear un nuevo modelo, entonces es un modelo de conjunto que puede ser superior. al primer modelo sin sobreajuste.La cuestión de qué datos de validación utilizar me parece más sutil.Usaría los mismos datos de validación; de lo contrario, realmente no se puede saber si el nuevo modelo es mejor que el anterior.Quizás podría guardar ambas fórmulas de predicción y luego aplicarlas a un conjunto de validación diferente para ver si el rendimiento mejora o no.
