R cuadrado pronosticadoQuería usar Rsquare pronosticado para probar si mi modelo se ajusta en exceso o no.No estoy muy familiarizado con esto, así que tengo algunas preguntas sobre el Rsquare predicho.
1. ¿Cuánto más pequeño para el R cuadrado predicho es un signo de sobreajuste?Si el R-cuadrado ajustado es 0,94 y el R-cuadrado predicho es 0,84, ¿está bien?
2. No entiendo completamente cómo se calculó el R cuadrado predicho.Sé que toma un punto de datos cada vez, obtiene un modelo de regresión, vuelve a colocar ese punto de datos y obtiene un R-cuadrado. Repitió para todos los puntos de datos y promedió los cuadrados R obtenidos.Pero, ¿cómo obtener esos modelos de regresión? ¿JMP utiliza el enfoque de aprendizaje automático para obtener el modelo? ¿Son esos modelos de regresión diferentes del modelo que elijo?
3. Descubrí que no siempre es cierto decir que el R-cuadrado pronosticado caerá más si hay más factores en el modelo. Encontré que, por ejemplo, el modelo con 2 factores puede tener un R-cuadrado predicho más bajo que un modelo con 3 factores (aunque el tercer factor tiene un valor p (mucho) mayor que 0,05).En este caso, ¿debo incluir 2 o 3 factores en el modelo?
Re: Rcuadrado predichoSolo para agregar a los comentarios de Mark, uno de los métodos para determinar el modelo sobre la especificación es usar el delta entre el R-cuadrado y el R-cuadrado ajustado. Los cuadrados R aumentan a medida que aumenta el número de grados de libertad en el modelo (independientemente de si esos DF son importantes). El R-cuadrado ajustado tiene en cuenta la "importancia" de los DF en el modelo, por lo que al agregar grados de libertad sin importancia al modelo, el delta aumentará (el R-cuadrado ajustado no aumentará a la tasa del R-cuadrado) .
Re: Rcuadrado predichoNo debe usar el cuadrado R para la selección del modelo. Siempre aumenta cuando hace que un modelo sea más complejo (p. ej., agrega un término al predictor lineal en la regresión). Siempre disminuye cuando haces un modelo menos complejo.
Sin embargo, el uso de validación cruzada puede hacer que el cuadrado R sea más útil para la selección de modelos. Es de esperar que el cuadrado R de validación no aumente a medida que sobreajusta los datos. Específicamente:
- No hay manera de establecer qué tanta diferencia entre el R cuadrado de entrenamiento y el R cuadrado de validación indica sobreajuste. Es una decisión subjetiva. Se puede decir que el modelo para el que las dos estimaciones de R cuadrada sobreajustan al menor de todos los modelos candidatos.
- Hay un cálculo eficiente de las estadísticas de 'dejar uno fuera' utilizando la matriz de 'sombrero' o 'proyección'.
- No usaría el cambio en el cuadrado R para seleccionar el modelo. Consideraría otra información, pero sobre todo prestaría atención a un criterio como AICc o BIC.
