Diferencia en resultados entre RSquare generalizado y RSquareHola a todos,
Intenté encontrar una respuesta a mi pregunta en la comunidad o en la ayuda de JMP, pero no pude. Por lo tanto, realmente agradecería que alguien pudiera indicarme la dirección correcta o decirme cuál es el concepto básico que me falta.
Estoy ajustando un modelo a mi respuesta (variable dependiente - DV), que es continua, usando 3 variables independientes (IV) [2 categóricas y 1 continua] y la interacción entre 2 de ellas (la otra solo estoy usando la principal). efecto). Primero usé Mínimos Cuadrados para eso, como puedes ver en la captura de pantalla a continuación.
Sin embargo, mi gráfico residual por predicción no se ve muy bien (tengo algunos valores atípicos).No importa qué otros factores intenté agregar al modelo (o transformación), no pude mejorar mi gráfico de residuos. Lo mejor que pude conseguir fue utilizar un cambio en mi respuesta, que es la que ya muestro arriba.
A continuación, pensé en utilizar el método de regresión penalizada (más específicamente Ridge) a través de la regresión generalizada. Leí que puede ser más sólido ante los valores atípicos (aunque introducirá cierto sesgo).
Empecé a ejecutar la regresión generalizada con mínimos cuadrados estándar.
Según algunos vídeos que he visto, esto debería producir los mismos resultados que la regresión de mínimos cuadrados.
Además, según la ayuda de JMP ( https://www.jmp.com/support/help/en/15.2/index.shtml#page/jmp/training-and-validation-measures-of-fit.shtml ) el RSquare generalizado proporcionado debe estar entre 0 y 1 y se simplificará al RSquare tradicional para respuestas normales continuas en la configuración estándar de mínimos cuadrados. Sin embargo, como puede ver en la captura de pantalla siguiente, aunque el RSquare generalizado coincide con el RSquare del conjunto de entrenamiento, no coincide con el conjunto de validación (y es negativo). Las otras estadísticas (por ejemplo, RASE) coinciden con ambos conjuntos (Entrenamiento y Validación).
¿Alguna idea sobre lo que puede estar pasando aquí?
¡Gracias de antemano por cualquier idea y sugerencia!
PD: Para todo lo que estoy haciendo en esta publicación, utilicé la plataforma FitModel en JMP.
Combinación y limpieza de datosRe: Diferencia en resultados entre RSquare generalizado y RSquare¡Gracias, Marcos! Acabo de abrir un ticket al respecto.
Publicaré la respuesta aquí cuando la tenga.Re: Diferencia en resultados entre RSquare generalizado y RSquareDe esta discusión no puedo decir qué podría causar una diferencia. Le sugiero que se comunique con el soporte técnico de JMP ( soporte@jmp.com ) sobre el asunto.
Re: Diferencia en resultados entre RSquare generalizado y RSquareGracias por todos los detalles y por indicarme más información sobre GenReg.
Pero todavía estoy confundido en este caso (asumiendo una distribución normal para la respuesta), ¿qué explicaría las diferencias en los valores de Rsquare generalizado entre los conjuntos de validación entre las dos "plataformas" (Fit Least Squares y GenReg)?
Perdón si entendí mal algo de lo que dijiste.
¡Gracias!
Re: Diferencia en resultados entre RSquare generalizado y RSquareTienes razón, las métricas de todo el modelo no deberían cambiar con diferentes parametrizaciones. Por supuesto, las métricas de términos o parámetros individuales cambiarán.
Entonces los coeficientes no son los mismos con diferentes parametrizaciones, por lo que sus estimaciones también deben ser diferentes.
La solución OLS y la optimización MLE deberían conducir a las mismas estimaciones bajo la misma parametrización con una respuesta normalmente distribuida.
Te engañé: el resultado estándar de mínimos cuadrados en GenReg es OLS. Ver esta página para más detalles.
Re: Diferencia en resultados entre RSquare generalizado y RSquare¡Gracias!
No tenía idea de que pudiéramos iniciar el estimado en JMP. ¡Gracias por enseñarme eso!
Gracias también por todas las demás ideas. ¡Muy útil!
Re: Diferencia en resultados entre RSquare generalizado y RSquareHola @Mark_Bailey , muchas gracias por contactarme nuevamente. Realmente aprecio toda su ayuda y paciencia con mis preguntas.
Sí, para esta respuesta específica, todos mis valores atípicos están en el conjunto de validación. Pero para otras respuestas que estoy investigando, esto no es cierto (los valores atípicos se encuentran tanto en el conjunto de validación como en el de entrenamiento).
En términos de lo que estoy modelando: realicé algunos experimentos usando simulación de eventos discretos (con diferentes semillas para tener datos diferentes). En base a eso calculé mis cuatro respuestas de interés (aquí mostré solo una).
Ahora, estoy intentando ajustar un modelo de regresión a esas respuestas, porque mi próximo paso será utilizar un modelo de optimización para encontrar la mejor configuración para mis respuestas de interés.
Hasta donde yo sé, la parametrización/codificación no debería afectar las estadísticas del modelo. ¿Me estoy perdiendo de algo? ( Codificación )
Además, para la regresión lineal y cuando los residuos se distribuyen normalmente, MCO y MLE conducen a los mismos coeficientes. ¿No es así? ( OLS y MLE )
De acuerdo a esto Tutorial de regresión generalizada publicado por @gail_massari , alrededor de las 8:35, tengo entendido que @brady_brady También dice que los resultados entre el MLE y el OLS deben coincidir.
Finalmente, ¿le importaría indicarme la página de ayuda de JMP que indica que la regresión generalizada usa MLE en lugar de OLS cuando la distribución es normal?
Debido a la siguiente imagen (tomada de JMP), tenía la impresión equivocada de que la Regresión Generalizada seguiría usando OLS si la distribución elegida fuera Normal:
¡Gracias!
Re: Diferencia en resultados entre RSquare generalizado y RSquareHola @AnnaPaula ,
No estoy seguro de entender bien cómo utilizó las semillas calculadas para generar la estratificación de la columna de validación. Pero, si usa la plataforma de columnas de validación en JMP Pro (que tiene si puede acceder a GenReg), entonces puede estratificar según la respuesta (variable Y) que está ajustando. Si todos sus valores atípicos están en el conjunto de validación, es posible que desee reconsiderar cómo generó los dos conjuntos.
Otro punto que podría considerar es dividir por completo, en otra tabla de datos, un conjunto de datos de prueba que no se utiliza para ajustar los datos. Si ejecuta varios modelos en el conjunto de entrenamiento/validación, puede usar el conjunto de datos de prueba para ver qué modelo es realmente el mejor en predicción; puede hacerlo usando la plataforma de comparación de modelos. Presumiblemente, su objetivo es tener la mejor capacidad predictiva y necesita probarla de alguna manera. Parece que tienes un conjunto lo suficientemente grande como para poder hacer algo así. Por ejemplo, cree una columna de validación con, por ejemplo, 60 % de entrenamiento, 20 % de validación y 20 % de prueba. Subconjunto del conjunto de datos de prueba en una tabla completamente diferente y luego use el subconjunto restante de entrenamiento/validación para construir modelos.
Para sus otras preguntas sobre R ^ 2 y si es negativo o no coincide del todo, me referiría a lo que dijo Mark.
Si sus datos tienen una distribución log-normal, querrá seleccionar esa opción en la especificación del modelo, ya que eso cambia algunos de los procesos subyacentes detrás de cómo realiza el ajuste.
Cuando haya creado un modelo en SLS, GenReg o PLS, puede iniciar las Estimaciones haciendo clic derecho en la columna Estimación y seleccionando iniciar. Querrá ejecutar varios miles y luego observar las distribuciones para ver si la Estimación original para el coeficiente de ese término está cerca de una media global de muchas estimaciones. JMP ejecutará algunos cálculos con puntos de partida ligeramente diferentes y, por lo tanto, generará varias estimaciones diferentes; luego podrá ver esa distribución y determinar si en general 1) la estimación del primer intento fue precisa y 2) si el coeficiente del efecto realmente está contribuyendo. mucho o no. Por ejemplo, en la plataforma SLS, a los efectos se les asigna un valor FDR LogWorth para estimar la tasa de descubrimiento falso para ese efecto. Si el valor es >2 (la línea azul), entonces hay evidencia significativa de que el efecto realmente contribuye al modelo. Por otro lado, podría ser menor o cercano al valor 2. Si inicia esos valores de FDR, puede encontrar la media y el rango para determinar si el efecto es significativo o no. He tenido momentos en los que un efecto parecía que podría estar en el límite y, después de iniciar el FDR, la mayoría de las veces en realidad no cruzaba por encima de 2 y, por lo tanto, no era realmente un factor globalmente importante en el modelo.
Como última nota, recomiendo encarecidamente ejecutar varios tipos diferentes de plataformas de modelado: árbol impulsado, bosque de arranque, NN, etc. para ver si otra plataforma podría funcionar mejor para sus datos/situación.
¡Espero que esto ayude!,
DS
Re: Diferencia en resultados entre RSquare generalizado y RSquareNoté en su gráfico residual original que todos los valores atípicos parecen estar en el conjunto de reservas de validación.
La regresión generalizada utiliza una parametrización diferente a la de Ajustar mínimos cuadrados. Ver esta página de detalles estadísticos . También utiliza un método de estimación diferente (MLE vs OLS).
Re: Diferencia en resultados entre RSquare generalizado y RSquareHola @SDF1
Muchas gracias por tu respuesta y tus ideas. Son muy útiles y se alinean con algunas cosas que estaba pensando.
Proporcionaré información adicional aquí en caso de que tenga más ideas que brindar (realmente lo agradecería).
1. La respuesta estratificada basada en las columnas de validación tiene distribuciones (muy) similares. Como le expliqué a Mark, la respuesta se calculó en base a experimentos por computadora generados usando diferentes semillas (y usé las semillas para estratificar en conjuntos de entrenamiento y validación).
2. Supongamos que estoy sobreadaptado, mi pregunta principal es:
Por qué mi RSquare para el conjunto de entrenamiento es 0.9995 usando LeastSquares directamente desde FitModel o mediante Regresión Generalizada, mientras que mi RSquare para el conjunto de validación es 0.9791 usando LeastSquares directamente desde FitModel y -1.24e+12 usando mínimos cuadrados mediante regresión generalizada .
No entiendo las diferencias en los valores de RSquare para el conjunto de validación. ¿No deberían los valores ser los mismos (incluso si hay un sobreajuste)?
3. Creo que tengo motivos para incluir los términos en mi modelo. Primero, mi respuesta se calculó con diferentes datos basados en el diferente número de replicaciones (un IV categórico) y diferentes "fórmulas/datos" basados en el diferente número de grupos (segundo IV categórico). La fórmula teórica conocida para calcular la respuesta toma en consideración la tasa de llegada (IV continua), porque ese valor afecta los datos generados.
No estoy seguro de cómo haría el arranque en JMP. Pero probé diferentes modelos manualmente (con y sin los términos) y también intenté usar Forward Stepwise. En ambos casos, los resultados terminaron mostrando que los dos IV categóricos + su interacción + el IV continuo era el mejor modelo.
4. Su último punto es en realidad algo que esperaba que alguien trajera a esta discusión.
Mi respuesta no es realmente Normal (de hecho, es LogNormal).
Entonces, voy a ajustar eso cuando pruebe Ridge o ElasticNet.
Pero incluso si mi respuesta no es Normal, ¿no deberían coincidir los valores de RSquare para los conjuntos de Validación en ambas imágenes que subí?
¡Muchas gracias por tus ideas!
Re: Diferencia en resultados entre RSquare generalizado y RSquareLo siento @Mark_Bailey , Creo que no fui muy claro en mi pregunta.
Como dijiste, no usé Ridge (ese sería mi siguiente paso). Pero primero, usé nuevamente el método de Mínimos Cuadrados (a través del modelo de Regresión Generalizada), para verificar si los resultados coincidirían con los resultados usando Mínimos Cuadrados directamente desde la ventana FitModel. Como mis resultados no coincidían, ni siquiera terminé probando Ridge (que sería mi siguiente paso).
pero tengo curiosidad por qué los resultados de LeastSquares a través de Regresión generalizada no coinciden con los resultados de LeastSquares directamente desde FitModel . ¿Tienes alguna idea?
Contestando tus preguntas:
1. El predictor continuo no participa en el término de interacción.
2. Utilicé las estimaciones por pasos y también utilicé las estimaciones para determinar si el efecto de interacción debería eliminarse.
3. Probé Log, Logistic, Logit y Reciprocal. Con recíproco, el modelo se deteriora mucho. Con Logistic, hay una ligera mejora en las estadísticas (R-cuadrado, RASE), pero no en las gráficas residuales. Así que, en mi opinión, nada justifica el uso de la transformación.
4. El entrenamiento y la validación se definieron en base a los grupos que tengo (estos son experimentos por computadora con diferentes semillas aleatorias). Usé las semillas para separar los datos en grupos y usé esa columna como mi columna de validación de reservas.
5. Mi pregunta relacionada con lo negativo fue para R-cuadrado generalizado , porque cuando leí por primera vez la ayuda de JMP, pensé que solo podía ir entre 0 y 1. Pero sí, encontré la fórmula para ese y como podemos ver también puede ir por debajo de 0:
| Nagelkerke / Cragg & Uhler's (RSquare generalizado) | 
|
¡Gracias!
Re: Diferencia en resultados entre RSquare generalizado y RSquareHola @AnnaPaula ,
Si entiendo correctamente, tiene un conjunto de datos que ha dividido según una columna de validación de algún tipo. Una cosa a considerar es si estratificó o no la columna de validación en su respuesta para asegurarse de que tanto la columna de capacitación como la de validación tengan distribuciones similares.
Dado que R^2 es negativo, para mí eso indicaría que estás sobreajustando tus datos. ¿Ha realizado algunos arranques en las estimaciones para ver si los términos que tiene en su modelo son realmente importantes? ¿Tiene una base teórica para incluir términos mixtos?
Además, es posible que desees probar Elastic Net, ya que es una combinación de Ridge y Lasso. Otra cosa a considerar es si la distribución de su respuesta es realmente normal o si una distribución diferente se adapta mejor a sus datos.
DS
Re: Diferencia en resultados entre RSquare generalizado y RSquare¿El predictor continuo está involucrado en el término de interacción? ¿Utilizó la estimación de la interacción omitida para determinar que debería eliminarse o la omitió para empezar?
¿Qué transformaciones de la respuesta intentaste?
La regresión penalizada y la regresión de mínimos cuadrados generalmente no conducen a las mismas estimaciones de los parámetros del modelo, por lo que el R cuadrado no sería el mismo. Su imagen muestra el resultado de OLS, no la regresión de Ridge.
Los resultados del entrenamiento y la validación deberían ser similares con el mejor modelo imparcial, pero no iguales. ¿Cómo determinó el conjunto de reservas para la validación?
El R cuadrado negativo es posible.
