Entrenamiento y Validación R2s en Lasso/Red ElásticaEstimados,
Utilizo validación cruzada k-fold en combinación con modelos de regresión penalizados (lazo, red elástica) y quiero examinar los valores R2 (promediados) de los conjuntos de entrenamiento/validación para verificar el sobreajuste y la varianza explicada. Ya busqué entre muchas opciones, pero no puedo encontrarla. ¿Hay alguna manera de mostrar esto? Sería fantástico si esto pudiera mostrarse en la tabla de descripción general, para poder usarlo para seleccionar el modelo.
Gracias, marcos
Mac OSModelado predictivo y aprendizaje automáticoRe: Entrenamiento y Validación R2 en Lasso/Elastic netGracias, pero, por supuesto, conozco la plataforma de selección de modelos, pero ejecuta modelos simplificados y no ofrece las opciones de los modelos completos. Por ejemplo, supongo que el modelo neuronal en la selección de modelos es bastante simple con sólo unas pocas unidades ocultas.
Cuando quiero hacer una validación cruzada anidada con un modelo neuronal más complejo con 2 capas, por ejemplo, esto no se puede hacer con la selección del modelo, ¿no es así?
También hay otras cosas que se pueden hacer únicamente en el bucle interno. Por ejemplo, la imputación a menudo se realiza dentro del circuito interno únicamente, porque sería injusto utilizar toda la muestra, incluida la muestra de prueba independiente, para la imputación.
Por lo tanto, estoy buscando un script con el que se pueda realizar una validación cruzada anidada. Entonces podría, por ejemplo, insertar la imputación sólo dentro del bucle interno.
Re: Entrenamiento y Validación R2 en Lasso/Elastic netHola @MarkusJH ,
¡Bienvenidos a la Comunidad!
Para responder a su pregunta, una opción podría ser utilizar la plataforma "Model Screening" disponible en el menú "Analyze", "Predictive Modeling".
Una vez en la plataforma "Selección de modelos", puede anular la selección de métodos distintos de "Regresión generalizada" y "Métodos adicionales" (aquí realizados en el conjunto de datos del Titanic) y especificar si desea incluir interacciones de 2 factores o términos cuadráticos en el modelo. También puede especificar el número de pliegues para la validación cruzada y una semilla aleatoria si desea resultados reproducibles:
Cuando finalice el análisis, podrá ver los resultados de la validación como un resumen en todos los pliegues. Esta tabla de resumen puede ayudarle a seleccionar los modelos más apropiados (puede seleccionar los modelos que desea ver con más detalles (o hacer clic en "Seleccionar dominante") y luego hacer clic en "Ejecutar seleccionados" para abrir el plataforma de Regresión Generalizada para tener más detalles sobre el modelo(s) seleccionado):
Y también puede ver los resultados individuales por pliegues (si es necesario) abriendo el menú "Entrenamiento" y "Validación" (aquí en "Entrenamiento", el identificador de pliegues se puede ver en la última columna para cada tipo de modelo entrenado) :
Espero haber entendido tu pregunta y que esta respuesta te ayude.
Si entiendo mal algo y esto no era lo que esperaba, ¿podría proporcionar más detalles sobre qué plataforma utiliza actualmente, qué información ya tiene y cuáles faltan?
Re: Entrenamiento y Validación de R2 en Lasso/Elastic net... u otra cosa que uno quiera hacer en el bucle interno sería la selección de hiperparámetros, por ejemplo, el número de unidades ocultas.
Por supuesto, al final del bucle interno debe haber un criterio que defina el mejor modelo, que luego se somete a la validación cruzada del bucle externo.
Re: Entrenamiento y Validación de R2 en Lasso/Elastic netLe hice a JMP una pregunta similar sobre la regresión de red elástica y cómo podía obtener algún tipo de R-cuadrado y la respuesta fue que no se proporciona para los métodos de validación KFold o Leave-One-Out, solo para AICc y BIC. Por lo tanto, creo que debes calcularlo manualmente tú mismo. Creo que es bastante molesto ya que SAS puede hacer esto.
Re: Entrenamiento y Validación de R2 en Lasso/Elastic net@MarkusJH
Puede comparar los valores R2 en k pliegues mediante la plataforma de comparación de modelos en el menú Analizar > Modelado predictivo. Siga estos pasos:
- Cree una columna K Fold utilizando la utilidad Crear columna de validación y seleccione "Crear columna K Fold" (en la parte inferior izquierda de la ventana de diálogo).
- Inicie Gen Reg y cargue su columna KFold como rol de Validación.
- Ejecute su modelo de regresión (Elastic Net, Lasso, etc.) y asegúrese de que la Columna de validación esté seleccionada como Método de validación.
- Cuando esté satisfecho con el modelo, guarde la fórmula de predicción en la tabla de datos.
- Para ver el valor R2 de cada pliegue, inicie Comparación de modelos desde el menú Analizar > Modelado predictivo
- Cargue la columna de fórmula guardada como Y y la columna de validación KFold como Grupo
- El informe resultante le mostrará las medidas de ajuste para cada pliegue en la columna:
