Cribado de predicciónEscuché con gran interés la conferencia sobre modelos predictivos y la sugerencia de guardar la fórmula de predicción en el conjunto de datos y luego volver a ejecutar la selección de predicción con las variables iniciales como X y agregar las fórmulas de predicción como nuevas X.
Creación de mejores modelos predictivos con JMP Pro: detección de modelos
Hoy hablé con un colega y su reacción fue “¡hablar de sobreajustar los modelos!”.
¿Este enfoque se ajustará aún más a los modelos (incluso si usamos datos de validación diferentes de los datos que crean los modelos)? La opinión de mi colega fue que utilizamos los mismos datos dos veces.
Estamos trabajando en el binomio Y (salud o enfermedad), y el enfoque de hecho mejora la predicción, pero ¿acabamos de introducir más sobreajustes de modo que incluso la validación ahora sea incorrecta / sobreajustada? # predicción, # sobreajuste, # detección
AnalíticaVentanasRe: cribado de prediccionesNo he visto esto y me interesará ver las respuestas, pero tengo una reacción inicial.Usar la fórmula de predicción de la plataforma Model Screen y volver a ejecutar esa plataforma con la fórmula de predicción junto con otros predictores suena un poco como un ajuste excesivo.Sin embargo, creo que es una forma de construir modelos de conjunto: si la fórmula de predicción proviene de un modelo y el nuevo modelo usa esa salida (junto con otros predictores) para crear un nuevo modelo, entonces es un modelo de conjunto que puede ser superior. al primer modelo sin sobreajuste.La cuestión de qué datos de validación usar me parece más sutil.Usaría los mismos datos de validación, de lo contrario, realmente no se puede saber si el nuevo modelo es mejor que el anterior.Quizás podría guardar ambas fórmulas de predicción y luego aplicarlas a un conjunto de validación diferente para ver si el rendimiento mejora o no.
Re: cribado de prediccionesHola @ChristerMalm ,
La no sesión de ayer sobre modelos predictivos fue muy informativa. No recuerdo la discusión exacta sobre ese tema, pero sería cauteloso al usar una fórmula de predicción para el resultado como una de las entradas para el mismo resultado. Mi entendimiento sobre el modelado de conjuntos es que se construyen diferentes modelos, por ejemplo, NN, árbol impulsado, XGBoost, etc. y luego se promedian juntos. Puede hacer esto a través de la plataforma de comparación de modelos utilizando el botón rojo vivo, o puede escribir una fórmula de columna que lo haga por usted. El modelo de conjunto debería ajustarse a los datos mejor que cualquier modelo por sí mismo, pero no siempre es así. Una cosa a tener en cuenta, realmente depende de cuál es el objetivo final y qué tan importante es la interpretabilidad para el modelo. Si comprender la ecuación del modelo y cómo las entradas se traducen en salidas, entonces los conjuntos de modelos y los modelos no lineales complicados podrían no ser la mejor manera de hacerlo.
Creo que una de las cosas de las que hablaba Russ Wolfinger que es realmente importante es encontrar el esquema de validación adecuado para sus datos. Si se elige el conjunto incorrecto de datos de entrenamiento y validación, es posible que se produzcan ajustes terribles, aunque los datos sean buenos, como el ejemplo del artículo de Nature del que habló. Probablemente sería mejor dedicar más tiempo a determinar el mejor esquema de validación y luego trabajar en la generación del modelo.
También parece que podría tener un conjunto de datos desequilibrado, lo que significa mucho más de una ocurrencia que de otra. En ese caso, definitivamente querrá explorar el cambio del umbral de probabilidad logística para ver si eso ayuda a su predicción. Además, tal vez considere el enfoque de la matriz de ganancias para asignar valor al costo de los falsos positivos y los falsos negativos. Chris Gotwalt también demostró un enfoque interesante del uso de árboles de decisión para ayudar a comprender mejor los límites con datos desequilibrados.
Espero que esto ayude,
DS
Re: cribado de prediccionesHola @dale_lehman .Andrea Coombs @ andreacoombs1 presentó la sesión sobre Modelado Predictivo y es posible que tenga algunas ideas al respecto.
Re: cribado de predicciones@ChristerMalm y @dale_lehman .El modelo de conjunto que presenté en esa grabación probablemente estaba sobreajustado porque el modelo de conjunto se construyó usando los mismos datos que se usaron para construir el modelo original.(Continuaré con la terminología de "modelo original" y "modelo de conjunto" para mantener las cosas claras en mi explicación).Una estrategia para evitar este sobreajuste es tomar el conjunto de datos completo y dividirlo en dos grupos: Grupo A para construir el modelo original y Grupo B para construir el modelo de conjunto.Puede ocultar y excluir el Grupo B mientras crea el modelo original.Divida el Grupo A en entrenamiento, validación y prueba para crear modelos candidatos y elegir el modelo campeón.Ahora traiga el Grupo B nuevamente a la mezcla y use todo el Grupo B para entrenar.Puede utilizar el Grupo B como validación o dividirlo en validación y prueba.Esto debería proteger contra el sobreajuste.
Re: cribado de prediccionesEn realidad, no había visto el video hasta ahora.Después de verlo, su respuesta me desconcierta un poco.Parece que se están mezclando 2 cosas, que son difíciles de desenredar.Ciertamente, si crea modelos predictivos potenciales y los expone a nuevos datos (por ejemplo, su grupo 
, puede descubrir si esos modelos candidatos originales siguen siendo los mejores, o si un ajuste adicional o modelos diferentes podrían mejorar las predicciones cuando se enfrenten a nuevos datos. - formas clásicas de evitar el sobreajuste.Sin embargo, si ejecuta el modelo de conjunto, junto con los predictores originales, en los mismos datos, creo que el sobreajuste no es el único problema.No estoy seguro de cuál es el sentido de ese proceso en absoluto: al incluir los predictores originales junto con algunos modelos elegidos de la selección, ¿no está simplemente confirmando si los modelos elegidos originales deberían haberse elegido para empezar?Y, si el propósito es ver cómo funcionan sus modelos con datos nuevos, ¿esto realmente tiene algo que ver con el modelado de conjuntos?¿No es la idea de mantener un conjunto de datos de prueba (o quizás incluso un segundo conjunto de datos de prueba) para ver cómo funciona su modelo fuera de la muestra, independientemente de si es un modelo de conjunto o no?En otras palabras, las pruebas fuera de muestra parecen tener poco o nada que ver con la plataforma de selección de modelos o el modelado de conjuntos; siempre es un problema con cualquier modelo predictivo.
