El mes pasado, exploramos cómo utilizar variables latentes en nuestros diagramas de ruta, así como cómo grados de libertad puede ayudar a guiarnos hacia un modelo de ecuación estructural funcional. Pero, ¿cómo podemos determinar que un modelo de ecuaciones estructurales no sólo funciona sino que también es un buen modelo?
Cuando creamos un diagrama de ruta, depende de nosotros determinar qué variables se afectan entre sí, y esta no es una tarea trivial. Cuando construimos un diagrama de ruta utilizando nuestro conocimiento del dominio, es posible que obtengamos un modelo que funcione. Pero eso no significa necesariamente que el modelo que hemos creado sea un buen modelo. Afortunadamente, existen algunas métricas que podemos utilizar para determinar cuantitativamente qué tan bueno es nuestro modelo. Estos se reportan en el JMPPro Plataforma SEM para cada modelo.
Métricas de calidad de ajuste
En SEM se utilizan algunas métricas para determinar qué tan bueno es el ajuste del modelo. No entraré en detalles sobre todas las pruebas utilizadas, por lo que si desea un resumen más profundo, le recomiendo el JMP. guía de ayuda .
En lugar de ello, me gustaría repasar un par de índices de ajuste que utilizo y que considero más útiles a la hora de determinar el “mejor” modelo. El primero de ellos es el AICc. Un valor AICc más bajo significa un modelo que se ajusta mejor. Prefiero esta métrica porque tiene en cuenta el tamaño del modelo pero no le pone demasiado énfasis. En mi experiencia, BIC se centra demasiado en modelos más pequeños y, por tanto, los favorece demasiado. El otro beneficio de usar AICc es que JMP Pro proporciona un AICc ponderado, que muestra la probabilidad de que el modelo que se está estudiando sea el correcto en comparación con los otros modelos.
Si bien normalmente uso el AICc, siempre es importante respaldar los resultados de una medición de ajuste con las demás. Por tanto, es importante comprobar métricas como ChiSquare, CFI y RMSEA. Normalmente, queremos el valor de ChiSquare y RMSEA más bajos posibles y el CFI más alto posible. Es poco probable que estas métricas no se alineen, pero si no lo hacen, podría valer la pena investigar los modelos más de cerca.
Comparación de modelos
La plataforma SEM de JMP Pro contiene una sección de comparación de modelos, que nos permite comparar una variedad de diagramas SEM para las mismas variables. La comparación es clave cuando se utiliza SEM y todas las métricas proporcionadas en esta sección deben usarse principalmente para comparar. Esto se debe a que no existe una forma definitiva de decir que "este modelo es el mejor". En cambio, utilizamos diferentes pruebas estadísticas para determinar qué tan bien se ajustan los modelos a los datos reales. Por tanto, debemos tener cuidado al utilizar estas estadísticas para validar nuestro modelo; Las estadísticas podrían decir que el modelo se ajusta bien con solo mirar un modelo, pero en comparación con otros modelos, el modelo inicial podría ser dolorosamente incorrecto. La mejor manera de demostrar esta idea es mediante un ejemplo.
Ejemplo de pista y campo
Para brindar un ejemplo accesible, decidí alejarme del tema de ingeniería para esta serie y usar un conjunto de datos sobre el tiempo para completar carreras de diferentes distancias. ¡Con suerte, esto también servirá como demostración de por qué el conocimiento del dominio es tan importante!
Antes de realizar este análisis, se estandarizaron todas las variables para garantizar que el SEM convergiera.
En el primer modelo que creé, utilicé dos variables latentes: "capacidad de carrera" y "resistencia", siendo el tiempo necesario para completar cada carrera un indicador de estas habilidades.
Como puede ver en la comparación de modelos anterior, JMP Pro se ha ajustado automáticamente a un modelo independiente y sin restricciones, con el que se ha comparado mi modelo. El peso AICc es 1 para mi modelo, lo que significa que de los tres modelos, hay un 100% de posibilidades de que mi modelo sea el correcto. Entonces, trabajo hecho, ¿verdad? Un 100% de posibilidades de ser correcto suena bastante bien, pero la parte clave es que solo es correcto en comparación con los otros dos modelos.
Aquí es donde nuestro conocimiento del dominio es fundamental. ¿Es probable que la capacidad de una persona para correr y correr largas distancias sean independientes? Por supuesto que no. De hecho, es muy probable que entrenar para cualquier tipo de carrera mejore los niveles generales de condición física de una persona, por lo que es probable que nuestras dos variables latentes estén conectadas de alguna manera. Con esto en mente, creemos un modelo que tenga en cuenta esta conexión.
El nuevo modelo muestra que existe una correlación significativa entre las dos variables latentes como se esperaba. Ahora, mirando el peso del AICc, podemos ver que de los cuatro modelos, nuestro nuevo modelo ahora tiene 100% de probabilidad de ser el modelo verdadero. Claramente, esto nos lleva a algunas conclusiones:
- En primer lugar, como se mencionó anteriormente, no podemos usar estas estadísticas simplemente para decir que nuestro modelo es correcto, solo que es probable Correcto en comparación con nuestros otros modelos.
- En segundo lugar, no podemos utilizar una sola prueba estadística para determinar qué tan bueno es nuestro modelo.
- Finalmente, sólo porque nuestras métricas nos digan que nuestro modelo es bueno no significa que sea correcto; Necesitamos conocimiento del dominio para determinar si el modelo tiene sentido práctico.
Para este ejemplo, luego modifiqué el modelo utilizando algunos supuestos diferentes para probar diferentes modelos. He subido el ejemplo si desea explorarlo más a fondo, pero los resultados finales de la comparación del modelo se informan a continuación. Tenga cuidado de utilizar las columnas correctas si utiliza mi conjunto de datos, ya que tuve que transformar los valores iniciales de segundos a minutos.
Espero que esta publicación le haya dado una idea de cómo determinamos qué tan bien se ajustan nuestros modelos a nuestros datos. Espero saber cómo ha aplicado estos índices de ajuste para determinar la calidad de sus propios modelos. ¡Te veo el mes que viene!
Puedes ver todas las publicaciones en mi serie SEM. aquí .
@jordanwalters El Prob > ChiSq es menor que 0,0001. ¿No es eso una señal de que el modelo no se ajusta a los datos? Usted insinúa que es necesario examinar otras estadísticas además del AIC, pero decir que el modelo es "probablemente correcto" es incorrecto.
@Phil_Kay Sí, eso es correcto. SEM no es un tema sencillo, pero con la forma visual e interactiva en la que construyes los modelos en JMP Pro, el proceso se hace lo más sencillo posible. ¡Sin mencionar la ventana de estado súper útil!
Gracias, @jordanwalters . ¿Es justo decir que SEM no es fácil? Pero esto muestra cómo JMP Pro realmente ayuda. Ojalá tuviera esto cuando estaba haciendo el módulo SEM de mi Maestría en Estadísticas. ¡Me habría ahorrado mucho tiempo y frustración!
