Evaluación de modelos en GenRegHola,
Cuando construyo un modelo usando Regresión generalizada, si uso Mínimos cuadrados estándar, con o sin una columna de validación, JMP genera una serie de métricas útiles bajo el esquema Resumen del modelo. Sin embargo, si utilizo un método diferente (Selección directa o Lazo o cualquier otro) para poder acceder a otros métodos de validación además de la columna de validación, no hay métricas únicas que pueda comparar. Entonces, si tengo una columna de validación, puedo obtener algo así como un R^2 del conjunto de entrenamiento y del conjunto de validación. Pero si uso dejar uno fuera, o AICc, o un conjunto de retención, o cualquier otra cosa, no puedo obtener buenas estadísticas generales de resumen del modelo. Supongo que los gráficos de ruta de solución son lo mejor que puedo obtener.
Sin embargo, los gráficos de la ruta de la solución no son especialmente útiles si intento comparar varios enfoques. Si vuelvo al paso a paso tradicional, puedo ejecutar el mismo conjunto de términos candidatos a través de la selección AICc y la selección BIC, ver si obtengo diferentes modelos y comparar el R^2 o el RMSE o el AICc o el BIC o algún otro modelo resumen estadístico para ver qué modelo es "mejor". Si en el paso a paso tradicional elijo una validación cruzada K-Fold, puedo obtener una estadística "RSquare K-Fold".
¿Cuáles son los análogos de estas herramientas en la regresión generalizada? Estoy muy emocionado de aprovechar la flexibilidad que GenReg puede ofrecer, pero no sé cómo elegir entre varias opciones. Estoy seguro de que hay algo simple, pero siendo relativamente nuevo en GenReg, no estoy seguro de qué es.
Gracias,
Miguel
Re: Evaluación de modelos en GenRegGracias por trabajar con nosotros en esto y asegúrese de agregar lo que le gustaría ver a la lista de deseos.
Mejor,
Factura
Re: Evaluación de modelos en GenRegSí... Estoy trabajando con algunos conjuntos de datos más pequeños, por lo que me inclino por Leave-one-out, pero eso me devuelve a mi frustración de intentar evaluar el modelo. Me encantaría algo un poco más cuantitativo que explique por qué JMP llega a un modelo en particular, en lugar de simplemente presionar el botón Ir y esperar lo mejor.
Re: Evaluación de modelos en GenRegMiguel,
Creo que puede lograr lo que quiere con una columna de validación de 3 niveles.Entrenamiento, Validación y Prueba.Los datos de prueba no se utilizan en el ajuste del modelo y el RSquare del conjunto de prueba se compara con el RSquare de sus conjuntos de entrenamiento y validación.Cuanto más cerca, mejor.Esto es un poco más difícil de lograr con un conjunto de datos más pequeño (< 100 filas), pero he descubierto que es una muy buena manera de determinar qué tan bien su "todo en el modelo" predecirá los datos futuros.
En cuanto a su último punto, creo que Leave-one-out K-fold es una de las mejores técnicas de validación cruzada que puede elegir para conjuntos de datos más pequeños.
Re: Evaluación de modelos en GenRegBien Bill,
Gracias. Todavía estoy aprendiendo, pero creo que ahora entiendo un poco más.
Creo que lo que quiero decir es que un R ^ 2 completo (en todas las filas de los datos) es útil, pero estoy buscando algo más como esto:
La diferencia entre las estadísticas de ajuste del modelo para el conjunto de entrenamiento y el conjunto de validación brinda una perspectiva de qué tan robusto es el modelo para las observaciones que se retienen del proceso de ajuste. Una de las cosas que me gusta buscar cuando construyo modelos es alguna estadística que me diga que si obtuviera más observaciones, mi modelo seguiría siendo apropiado.
Quizás la única forma de hacer esto es crear una columna de validación e identificar aleatoriamente un conjunto de observaciones para retener, en lugar de intentar realizar una validación múltiple (identificar múltiples conjuntos de observaciones para retener). Mi opinión es que la validación múltiple conduciría a un modelo más sólido, pero ¿quizás eso no sea cierto?
Miguel
Re: Evaluación de modelos en GenRegMiguel,
Tuve más correspondencia con el desarrollador en base a su respuesta y a continuación se muestra lo que envió;
"...lo que está comparando es el R^2 en la comparación de modelos (para un modelo de selección hacia adelante integrado en el género) con el R^2 de un modelo de selección hacia adelante integrado en la plataforma paso a paso. El R ^ 2 en su comparación de modelos (.8704) se calcula sobre los datos completos. La salida de Stepwise en realidad también incluye esa información, la he marcado con un círculo rojo a continuación. El valor que marcó con un círculo (.8514) en el informe Stepwise es el k-fold R^2. Entonces, el problema es que está comparando un R ^ 2 en todos los datos con un R ^ 2 para k-fold". 
El desarrollador continúa hablando sobre las diferencias en las dos plataformas;
"....(cuando) se compara la selección hacia adelante en género con la selección hacia adelante en Stepwise. Existen algunas diferencias sutiles en la forma en que las dos plataformas realizan la selección hacia adelante. Genreg analiza las pruebas de puntuación para decidir qué efecto introducir a continuación, Stepwise analiza las pruebas de Wald".
Y finalmente, el cálculo de K-fold RSquare en Stepwise de Fang Chen en el grupo de desarrollo:
"El K-Fold RSquare en Stepwise se calcula siguiendo la definición general de RSquare = 1 – SSE/SST, donde SSE se calcula en función de los residuos de cada una de las K muestras reservadas.
K-Fold RSquare = 1 - ResV`*ResV / ((Y-YMean)`*(Y-YMean)"
Este último bit puede ser el quid de lo que estaba buscando sobre por qué los valores de RSquare son diferentes.Agregué los otros bits con la esperanza de proporcionar una respuesta más completa.
HTH
Re: Evaluación de modelos en GenRegFactura,
Todavía estoy confundido. El desarrollador de GenReg dice que GenReg está haciendo una comparación del modelo (¿R^2? ¿algo más?) pero no sé dónde encontrarlo, vea mi publicación original que dice que no pude encontrar ninguna métrica. También es interesante que diga paso a paso y la comparación de modelos calcule R ^ 2 de la misma manera. Eso es extraño ya que claramente obtuve dos valores diferentes para R^2.
Gracias,
Miguel
Re: Evaluación de modelos en GenRegMiguel,
Consulte la explicación a continuación de uno de los desarrolladores de la plataforma GenReg.
"Cuando calculamos R^2, estamos comparando qué tan bien se ajusta nuestro modelo en comparación con un modelo nulo (solo de intercepción). En el conjunto de entrenamiento, es obvio cómo debemos hacer esto: comparamos nuestro ajuste con el modelo de solo intercepción estimado en el conjunto de entrenamiento. En el conjunto de validación, hay cierta ambigüedad. En el género, comparamos el modelo que ajustamos con el modelo de solo intercepto construido en el conjunto de entrenamiento . En la comparación paso a paso y de modelos, el R^2 se calcula comparando el modelo ajustado con el modelo de solo intercepción construido en el conjunto de validación ."
El desarrollador continuó diciendo que siente que "una respuesta no es necesariamente correcta o incorrecta".Sin embargo, dicho esto, prefiere encarecidamente la forma en que se hace en GenReg. 
Re: Evaluación de modelos en GenReg@Bill_Worley ¡Gracias! En la superficie, este es un enfoque útil. No está de acuerdo con lo que obtengo en Stepwise. ¿Qué plataforma debo creer? (GenReg con selección hacia adelante, dejar uno fuera, 38 filas de datos en la tabla, frente a Stepwise, k-Fold del triángulo rojo con 38 pliegues especificados). Ver capturas de pantalla. Diferencias bastante notables en R^2 y diferencias menores en la estimación del coeficiente.
Re: Evaluación de modelos en GenReghola miguel,
Mi primera reacción a su pregunta es sugerir el uso de Comparación de modelos.Publique las fórmulas de predicción que desea comparar en Formula Depot y vaya desde allí o vaya directamente desde el informe Gen Reg a Analizar > Modelado predictivo > Comparación de modelos.Sin embargo, primero tendrá que guardar sus fórmulas de predicción en la tabla de datos para usar esta opción.
HTH
Mejor,
Factura
