Validación cruzada de dejar uno fuera¿Puede alguien ayudarme a comprender el gráfico que se muestra a continuación de la plataforma de Gen Reg para la validación de dejar uno fuera (o quizás ayudarme a comprender mejor la validación de dejar uno fuera)?Usé Diabetes y estoy prediciendo Y (continuo).¿Por qué se muestra un registro en particular en la gráfica de validación?Tenía entendido que el gráfico de validación de la ruta de la solución traza el valor promedio en todos los que se dejan uno fuera.
Conjunto de datos adjunto a continuación con script.
Re: validación cruzada de dejar uno fueraHola wendy
Creo que si miras el documentación de ayuda para k-fold ayudará a explicar esto. Dejar uno es solo un caso especial de k-fold donde k = número de filas de datos.
"Para obtener el modelo final, todos los modelos k derivados del valor óptimo del parámetro de ajuste se ajustan al conjunto de datos completo. De estos, el modelo que tiene la mayor probabilidad logarítmica de validación se selecciona como modelo final. El conjunto de entrenamiento utilizado para ese modelo final se designa como conjunto de entrenamiento y el pliegue reservado para ese modelo es el conjunto de validación. Estos son los conjuntos de formación y validación utilizados en los gráficos y en los resultados informados para la solución final ".
Por lo tanto, solo está viendo los gráficos para uno de los modelos k: el modelo con la mayor probabilidad logarítmica de validación.
Estoy de acuerdo en que es un poco extraño ver el valor real frente al previsto para un conjunto de validación con un punto de datos. Pero espero que esto explique por qué ahora.
Salud,
Phil
Re: validación cruzada de dejar uno fueraHola wendy
Sí, se promedia la Loglikelihood escalada (= log-verosimilitud negativa dividida por # observaciones) que se usa en el método de validación K-Fold o Leave-One-Out, pero las gráficas de diagnóstico como Actual por Predicted muestran los resultados para un solo modelo.
La solución a la regresión penalizada de Lasso depende de un único parámetro de ajuste. Al buscar el valor óptimo en la cuadrícula usando la validación LOO, habrá N (por ejemplo, 442 en su caso) modelos que se ajusten a cada valor del parámetro de giro.¡Muchos modelos estarán en forma! Los valores -LL escalados se calcularán para cada una de las 442 observaciones LOO, y luego se comparará un promedio de ellos con otro -LL escalado promedio de modelos ajustados con un valor de parámetro de giro diferente.Esto es lo que se muestra en el gráfico de validación.(Tenga en cuenta que los valores de la magnitud de las estimaciones de los parámetros escalados son equivalentes a los valores del parámetro de ajuste).
Luego, se selecciona un modelo final entre 442 modelos como se describe en la documentación de @phil_kay : es el modelo que muestra el LL más alto en la validación de "todos k los modelos derivados del valor óptimo del parámetro de ajuste se ajustan a todo el conjunto de datos ".El valor real por predicho traza los resultados del modelo final en el conjunto de entrenamiento y la observación de LOO; en este caso, es la Fila 305 ya que este punto de datos arroja el valor LL más alto cuando se usa como validación de LOO.
Como puede ver, los métodos de validación K-fold y LOO operan de manera un poco diferente en la regresión penalizada que en Partition y NN.Espero que esto ayude.
Jian
