Diferencia de resultados entre RSquare generalizado y RSquareHola a todos,
Intenté encontrar una respuesta a mi pregunta en la comunidad o en la ayuda de JMP, pero no pude. Entonces, realmente agradecería que alguien pudiera señalarme en la dirección correcta aquí o hacerme saber cuál es el concepto básico que me falta.
Estoy ajustando un modelo a mi respuesta (variable dependiente - DV), que es continua, usando 3 variables independientes (IV) [2 categóricas y 1 continua] y la interacción entre 2 de ellas (la otra solo estoy usando la principal efecto). Primero usé Mínimos cuadrados para eso, como puede ver en la captura de pantalla a continuación.
Sin embargo, mi gráfico residual por predicción no se ve muy bien (tengo algunos valores atípicos).Independientemente de los otros factores que traté de agregar al modelo, o transformación, no pude mejorar mi gráfico de residuos. Lo mejor que pude obtener fue usar un cambio de mi respuesta, que es la que ya estoy mostrando arriba.
A continuación, pensé en utilizar el método de regresión penalizada (más específicamente Ridge) a través de la regresión generalizada. Leí que puede ser más robusto para los valores atípicos (aunque introducirá algún sesgo).
Comencé a ejecutar la regresión generalizada con mínimos cuadrados estándar.
Según algunos videos que he visto, esto debería producir los mismos resultados que la regresión de mínimos cuadrados.
Además, según la ayuda de JMP ( https://www.jmp.com/support/help/en/15.2/index.shtml#page/jmp/training-and-validation-measures-of-fit.shtml ) el RS cuadrado generalizado proporcionado debe estar entre 0 y 1 y se simplificará al RS cuadrado tradicional para respuestas normales continuas en la configuración estándar de mínimos cuadrados. Sin embargo, como puede ver en la captura de pantalla siguiente, aunque el RSquare generalizado coincide con el RSquare para el conjunto de entrenamiento, no coincide con el conjunto de validación (y es negativo). Las otras estadísticas (por ejemplo, RASE) coinciden con ambos conjuntos (Entrenamiento y Validación).
¿Alguna idea sobre lo que puede estar pasando aquí?
¡Gracias de antemano por cualquier idea y sugerencia!
PD: Para todo lo que estoy haciendo en esta publicación, utilicé la plataforma FitModel en JMP.
AnalíticaRe: Diferencia de resultados entre RSquare generalizado y RSquare¿El predictor continuo está involucrado en el término de interacción? ¿Usó la estimación de la interacción omitida para determinar que debería eliminarse o la dejó fuera para empezar?
¿Qué transformaciones de la respuesta probaste?
La regresión penalizada y la regresión por mínimos cuadrados no suelen conducir a las mismas estimaciones de los parámetros del modelo, por lo que el cuadrado R no sería el mismo. Su imagen muestra el resultado de OLS, no la regresión de cresta.
Los resultados del entrenamiento y la validación deben ser similares con el mejor modelo imparcial, pero no iguales. ¿Cómo determinó la reserva establecida para la validación?
El cuadrado R negativo es posible.
Re: Diferencia de resultados entre RSquare generalizado y RSquareHola @AnnaPaula ,
Si lo entiendo correctamente, tiene un conjunto de datos que ha dividido de acuerdo con una columna de validación de algún tipo. Una cosa a considerar es si estratificó o no la columna de validación en su respuesta para asegurarse de que tanto la columna de entrenamiento como la de validación tengan distribuciones similares.
Dado que el R ^ 2 es negativo, para mí eso indicaría que está sobreajustando sus datos. ¿Ha realizado un bootstrapping en las estimaciones para ver si los términos que tiene en su modelo son realmente importantes? ¿Tiene una base teórica para incluir términos mixtos?
Además, es posible que desee probar Elastic Net, ya que es una combinación de Ridge y Lasso. Otra cosa a considerar es si su distribución de respuesta es realmente normal o si una distribución diferente se adapta mejor a sus datos.
DS
Re: Diferencia de resultados entre RSquare generalizado y RSquareLo siento @markbailey , Creo que no fui muy claro en mi pregunta.
Como dijiste, no usé Ridge (ese sería mi próximo paso). Pero primero, utilicé nuevamente el método de mínimos cuadrados (a través del modelo de regresión generalizada), para verificar si los resultados coincidirían con los resultados usando LeastSquares directamente desde la ventana FitModel. Debido a que mis resultados no coincidieron, ni siquiera terminé probando Ridge (que sería mi siguiente paso).
Pero tengo curiosidad por qué los resultados de LeastSquares a través de la regresión generalizada no coinciden con los resultados de LeastSquares directamente desde FitModel . ¿Tienes alguna idea?
Contestando tus preguntas:
1. El predictor continuo no está involucrado en el término de interacción.
2. Utilicé por pasos y también utilicé las estimaciones para determinar si el efecto de interacción debería eliminarse
3. Probé Log, Logistic, Logit y Reciprocal. Con recíproco, el modelo se deteriora mucho. Con Logística, hay una ligera mejora en las estadísticas (R-cuadrado, RASE), pero no en los gráficos residuales. Entonces, nada para justificar el uso de la transformación en mi opinión.
4. El entrenamiento y la validación se definieron en base a los grupos que tengo (estos son experimentos informáticos con diferentes semillas aleatorias). Usé las semillas para separar los datos en grupos y usé esa columna como mi columna de validación de exclusión.
5. Mi pregunta relacionada con lo negativo fue para Cuadrado R generalizado , porque cuando leí por primera vez la ayuda de JMP, pensé que solo podía ir entre 0 y 1. Pero sí, encontré la fórmula para ese y, como podemos ver, también puede ir por debajo de 0:
| Nagelkerke / Cragg & Uhler's (RSquare generalizado) | 
|
¡Gracias!
Re: Diferencia de resultados entre RSquare generalizado y RSquareHola @DS
Muchas gracias por su respuesta y sus conocimientos. Son muy útiles y se alinean con algunas cosas que estaba pensando.
Proporcionaré información adicional aquí en caso de que tenga más ideas que brindar (se lo agradecería mucho).
1. La respuesta estratificada basada en las columnas de validación tiene distribuciones (muy) similares. Como le expliqué a Mark, la respuesta se calculó en base a experimentos informáticos generados con diferentes semillas (y usé las semillas para estratificar en conjuntos de entrenamiento y validación).
2. Supongamos que estoy sobreajustado, mi pregunta principal es:
Por qué mi RSquare para el conjunto de entrenamiento es 0.9995 usando LeastSquares directamente desde FitModel o mediante Regresión generalizada, mientras que mi RSquare para el conjunto de validación es 0.9791 utilizando LeastSquares directamente desde FitModel y -1,24e + 12 usando mínimos cuadrados mediante regresión generalizada .
No entiendo las diferencias en los valores RSquare para el conjunto de validación. ¿No deberían los valores ser los mismos (incluso si hay sobreajuste)?
3. Creo que tengo motivos para incluir los términos en mi modelo. Primero, mi respuesta se calculó con diferentes datos basados en el diferente número de repeticiones (un IV categórico) y diferentes "fórmulas / datos" basados en el diferente número de grupos (segundo IV categórico). La conocida fórmula teórica para calcular la respuesta toma en consideración la tasa de llegada (IV continuo), porque ese valor afecta los datos generados.
No estoy seguro de cómo haría el arranque en JMP. Pero probé diferentes modelos manualmente (con y sin los términos) y también intenté usar Forward Stepwise. En ambos casos, los resultados terminaron mostrando los dos IV categóricos + su interacción + el IV continuo fue el mejor modelo.
4. Su último punto es en realidad algo que esperaba que alguien aportara a esta discusión.
Mi respuesta no es realmente Normal (es LogNormal, de hecho).
Entonces, voy a ajustar eso cuando pruebe Ridge o ElasticNet.
Pero incluso si mi respuesta no es Normal, ¿no deberían coincidir los valores de RSquare para los conjuntos de validación en ambas imágenes que cargué?
¡Muchas gracias por tus ideas!
Re: Diferencia de resultados entre RSquare generalizado y RSquareNoté en su gráfico residual original que todos los valores atípicos parecen estar en el conjunto de reserva de validación.
La regresión generalizada utiliza una parametrización diferente a la de Ajustar mínimos cuadrados. Vea esta página de detalles estadísticos . También utiliza un método de estimación diferente (MLE vs OLS).
Re: Diferencia de resultados entre RSquare generalizado y RSquareHola @AnnaPaula ,
No estoy seguro de entender bien cómo utilizó las semillas calculadas para generar la estratificación de la columna de validación. Pero, si usa la plataforma de columna de validación en JMP Pro (que tiene si puede acceder a GenReg), entonces puede estratificar la respuesta (variable Y) que está ajustando. Si todos sus valores atípicos están en el conjunto de validación, es posible que desee volver a pensar cómo generó los dos conjuntos.
Otro punto sobre esto que podría considerar es dividir por completo, en otra tabla de datos, un conjunto de datos de prueba que no se usa para ajustar los datos. Si ejecuta varios modelos en el conjunto de entrenamiento / validación, puede usar el conjunto de datos de prueba para ver qué modelo es realmente el mejor en la predicción, puede hacerlo utilizando la plataforma de comparación de modelos. Presumiblemente, su objetivo es tener la mejor capacidad predictiva, y necesita probar eso de alguna manera. Parece que tienes un conjunto lo suficientemente grande como para poder hacer algo así. Por ejemplo, haga una columna de validación con, por ejemplo, 60% de entrenamiento, 20% de validación, 20% de prueba. Subconjunto del conjunto de datos de prueba en una tabla completamente diferente y luego use el subconjunto de tren / validación restante para construir modelos.
Para sus otras preguntas sobre R ^ 2 y si es negativo o no coincide, me referiría a lo que dijo Mark.
Si sus datos tienen una distribución logarítmica normal, querrá seleccionar esa opción en la especificación del modelo, ya que eso cambia algunos de los procesos subyacentes detrás de cómo se ajusta.
Cuando haya creado un modelo en SLS o GenReg o PLS, puede iniciar las Estimaciones haciendo clic con el botón derecho en la columna Estimación y seleccionando bootstrap. Querrá ejecutar varios miles y luego mirar las distribuciones para ver si la estimación original del coeficiente de ese término está cerca de una media global de muchas estimaciones. JMP ejecutará algunos cálculos con puntos de partida ligeramente diferentes y, por lo tanto, generará varias estimaciones diferentes, luego puede ver esa distribución y determinar si en general 1) la estimación del primer intento fue precisa y 2) si el coeficiente del efecto realmente está contribuyendo mucho o no. Por ejemplo, en la plataforma SLS, los efectos reciben un valor FDR LogWorth para estimar la tasa de descubrimiento falso para ese efecto. Si el valor es> 2 (la línea azul), entonces hay evidencia significativa de que el efecto realmente contribuye al modelo. Por otro lado, podría ser menor o cercano al valor 2. Si arranca esos valores FDR, puede encontrar la media y el rango para determinar si el efecto es significativo o no. He tenido momentos en los que parecía que un efecto podría estar en el límite, y después de iniciar el FDR, la mayor parte del tiempo en realidad no cruzaba por encima de 2 y, por lo tanto, no era realmente un factor globalmente importante en el modelo.
Como última nota, recomiendo encarecidamente ejecutar varios tipos diferentes de plataformas de modelado: árbol impulsado, bosque de arranque, NN, etc. para ver si otra plataforma podría funcionar mejor para sus datos / situación.
¡Espero que esto ayude!,
DS
Re: Diferencia de resultados entre RSquare generalizado y RSquareHola @markbailey , muchas gracias por volver a contactarme. Realmente agradezco toda su ayuda y paciencia con mis preguntas.
Sí, para esta respuesta específica, todos mis valores atípicos están en el conjunto de validación. Pero para otras respuestas que estoy investigando, esto no es cierto (los valores atípicos se encuentran en los conjuntos de validación y entrenamiento).
En términos de lo que estoy modelando: había realizado algunos experimentos usando simulación de eventos discretos (con diferentes semillas para tener diferentes datos). En base a eso, calculé mis cuatro respuestas de interés (aquí solo mostré una).
Ahora, estoy tratando de ajustar un modelo de regresión a esas respuestas, porque mi próximo paso será usar un modelo de optimización para encontrar la mejor configuración para mis respuestas de interés.
Hasta donde yo sé, la parametrización / codificación no debería afectar las estadísticas del modelo. ¿Me estoy perdiendo de algo? ( Codificación )
Además, para la regresión lineal y cuando los residuos se distribuyen normalmente, MCO y MLE conducen a los mismos coeficientes. Ellos no? ( OLS y MLE )
De acuerdo a esto Tutorial de regresión generalizada publicado por @gail_massari , alrededor del tiempo 8:35, tengo entendido que @brady_brady también dice que los resultados entre el MLE y el OLS deben coincidir.
Finalmente, ¿le importaría señalarme la página de ayuda de JMP que indica que la Regresión generalizada usa MLE en lugar de OLS cuando la distribución es normal?
Debido a la imagen a continuación (tomada de JMP), tenía la impresión equivocada de que la regresión generalizada seguiría usando OLS si la distribución elegida fuera Normal:
¡Gracias!
Re: Diferencia de resultados entre RSquare generalizado y RSquare¡Gracias!
No tenía idea de que pudiéramos arrancar el estimado en JMP. ¡Gracias por enseñarme eso!
Gracias también por todas las demás ideas. ¡Muy útil!
Re: Diferencia en los resultados entre RSquare generalizado y RSquareTiene razón, las métricas para todo el modelo no deberían cambiar con diferentes parametrizaciones. Por supuesto, las métricas de términos o parámetros individuales cambiarán.
Entonces, los coeficientes no son los mismos con diferentes parametrizaciones, por lo que sus estimaciones también deben ser diferentes.
La solución OLS y la optimización MLE deberían conducir a las mismas estimaciones bajo la misma parametrización con una respuesta normalmente distribuida.
Te engañé: el resultado estándar de mínimos cuadrados en GenReg es MCO. Ver esta página para más detalles.
