Validación cruzada utilizando la calidad de ajuste k-foldEstoy usando un ajuste Lasso con validación cruzada de tipo "omitir uno" o "k-fold". Por favor, indiquen la mejor manera de visualizar el R cuadrado y otras métricas de calidad de ajuste (p. ej., AIC) en el resultado. Sería útil tener esto para el conjunto de entrenamiento y el conjunto de validación (promedio de todos los valores de retención).
Modelado predictivo y aprendizaje automáticoRe: validación cruzada utilizando la calidad de ajuste k-foldHi @daniel_s,
¡Bienvenido a la comunidad!
Para obtener métricas de rendimiento de su regresión LASSO en los pliegues individuales y en promedio, creo que es más fácil iniciar la regresión generalizada desde la plataforma de selección de modelos , marcando solo las opciones "Regresión generalizada" y "Métodos adicionales", especificando el tipo de términos que pueden ingresar al modelo (por ejemplo, introduciendo interacciones y efectos cuadráticos), el número de pliegues y la semilla para la reproducibilidad (si es necesario):
Una vez que se lance la plataforma, tendrás una nueva ventana abierta con toda la información sobre los pliegues individuales y un resumen:
Espero que esta respuesta te ayude.
Re: validación cruzada utilizando la calidad de ajuste k-foldGracias. Me ha sido útil. Supongo que luego seleccionaría el mejor pliegue y "ejecutaría la selección", lo que le permitirá obtener los resultados del ajuste de lazo con el mejor pliegue K como validación.
Re: validación cruzada utilizando la calidad de ajuste k-foldHi @daniel_s,
Después de haber lanzado su modelo LASSO con validación cruzada de K-folds, existen varias formas de proceder con los resultados:
- Elija el modelo LASSO con mejor rendimiento en el "mejor" pliegue de validación : no se recomienda ya que esto parecería una "selección conveniente" y no un procedimiento de "evaluación honesta" y selección: es más como seleccionar los datos correctos para el modelo, en lugar de ajustar el modelo correcto a sus datos, por lo que podría terminar sobreajustando sus datos de validación.
- Tras evaluar la consistencia y robustez de los resultados, vuelva a entrenar el modelo con todos los datos : Este enfoque podría parecer lógico, ya que una vez que haya evaluado la robustez de su modelo y los resultados sean similares en todos los aspectos, podría verse tentado a utilizar todos los datos para mejorarlo aún más. Podría ser una opción viable si está seguro de que los parámetros del modelo (por ejemplo, los términos incluidos y el valor de la penalización) se pueden mantener sin cambios entre el ajuste con los datos de validación cruzada y el ajuste con todos los datos, para garantizar que su modelo no se sobreajuste en todo el conjunto de datos. Este enfoque tiene la desventaja de perder de vista la validación del modelo, por lo que si algo falla en los datos de prueba, es difícil depurarlo sin los datos de validación.
- Crear un promedio de modelos de sus K modelos : Este es mi enfoque preferido (si es posible). Una vez que tenga sus K modelos, puede ejecutar cada modelo y guardar su fórmula de predicción usando "Publicar fórmula de predicción" para almacenar sus modelos en el Depósito de fórmulas .
Una vez que la fórmula del modelo esté en el Depósito de Fórmulas, puede hacer clic en el triángulo rojo junto a "Depósito de Fórmulas" y seleccionar " Comparación de Modelos ". Esto creará un breve resumen del rendimiento de su modelo. Si hace clic en el triángulo rojo junto a "Comparación de Modelos", podrá crear un promedio del modelo .
Esta opción creará una nueva fórmula en su tabla de datos, que corresponde a la ecuación promedio de sus K modelos (en mi caso, la ecuación/modelo promedio de mis 5 modelos individuales validados de forma cruzada):
Luego puede comparar nuevamente el rendimiento de sus K modelos individuales y su modelo promedio utilizando la misma plataforma de comparación de modelos.
Tenga en cuenta que este enfoque puede no ser fácil o viable si se cuenta con un gran número de pliegues o si los modelos utilizados son complejos (como las redes neuronales). Para modelos simples, como los de regresión y los modelos base de aprendizaje automático (como árboles de decisión, SVM, kNN, etc.), este enfoque ayuda a evitar el sobreajuste y a garantizar la robustez y las propiedades de generalización, sin perder datos durante la validación.
Puede leer más sobre la validación cruzada en las siguientes publicaciones:
VALIDACIÓN CRUZADA - MÉTODO DE COLUMNA DE VALIDACIÓN
k-fold r2
También recomiendo encarecidamente la lista de reproducción "Making Friends with Machine Learning" de Cassie Kozyrkov para aprender más sobre el entrenamiento, la validación y las pruebas de modelos: Haciendo amigos con el aprendizaje automático - YouTube
Espero que esta respuesta te ayude y responda tus preguntas.
Re: validación cruzada utilizando la calidad de ajuste k-fold¡Gracias! Tus ideas fueron perfectas para el camino que estoy siguiendo en el aprendizaje automático.
Re: validación cruzada utilizando la calidad de ajuste de k-foldPara completar mi análisis, si utilizo el modelo promedio del modelo K-fold, como se describió anteriormente, me gustaría revisar la importancia de las variables independientes de cada modelo. Normalmente usaría un VIF. ¿Podrían indicar cómo lo haría con la fórmula promedio?
Gracias.
Re: validación cruzada utilizando la calidad de ajuste de k-foldHi @daniel_s
No estoy seguro de seguirte, los valores de VIF son útiles para evaluar el grado de colinealidad entre tus variables, pero no reflejan la importancia de estas variables en la respuesta.
Puede comparar las estimaciones de los parámetros de la fórmula del modelo promedio para comparar la importancia de los factores.
También puede cargar la fórmula promedio en el Perfilador (disponible en el menú Gráfico, marque "Expandir fórmula intermedia" para asegurarse de que su respuesta estará vinculada a sus predictores originales) y usar la opción " Evaluar importancia de la variable " para calcular la importancia de las variables (en términos de efectos principales y efectos totales) en función de los índices de Sobol.
Espero que esta respuesta te ayude.
Re: validación cruzada utilizando la calidad de ajuste de k-fold¡Gracias! Aún tengo mucho que aprender, y tu respuesta me da una plataforma para continuar.
