El mes pasado, exploramos cómo usar variables latentes en nuestros diagramas de ruta y cómo los grados de libertad pueden ayudarnos a guiarnos hacia un modelo de ecuación estructural que funcione. Pero, ¿cómo podemos determinar que un modelo de ecuación estructural no solo funciona sino que también es un buen modelo?
Cuando creamos un diagrama de ruta, depende de nosotros determinar qué variables se afectan entre sí, y esto no es una tarea trivial. Cuando construimos un diagrama de ruta utilizando nuestro conocimiento del dominio, es posible que obtengamos un modelo que funcione. Pero eso no significa necesariamente que el modelo que hemos creado sea un buen modelo. Afortunadamente, hay algunas métricas que podemos usar para determinar cuantitativamente qué tan bueno es nuestro modelo. Estos se informan en el Pro JMP Plataforma SEM para cada modelo.
Métricas de calidad de ajuste
Algunas métricas se utilizan en SEM para determinar qué tan bueno es el ajuste del modelo. No entraré en detalles sobre todas las pruebas utilizadas, por lo que si desea un resumen más detallado, le recomiendo el JMP. guía de ayuda .
En su lugar, me gustaría repasar un par de índices de ajuste que utilizo y que he encontrado que son los más útiles para determinar el "mejor" modelo. El primero de ellos es el AICc. Un valor AICc más bajo significa un modelo de mejor ajuste. Prefiero esta métrica porque tiene en cuenta el tamaño del modelo pero no le pone demasiado énfasis. En mi experiencia, BIC se enfoca demasiado en modelos más pequeños y los favorece demasiado. El otro beneficio de usar el AICc es que JMP Pro brinda un AICc ponderado, que muestra la probabilidad de que el modelo que se está estudiando sea el modelo correcto en comparación con los otros modelos.
Si bien normalmente uso el AICc, siempre es importante respaldar los resultados de una medida de ajuste con las demás. Por lo tanto, es importante verificar métricas como ChiSquare, CFI y RMSEA. Por lo general, queremos el valor ChiSquare y RMSEA más bajos posibles y el CFI más alto posible. Es poco probable que estas métricas no se alineen, pero si no es así, podría valer la pena investigar los modelos más de cerca.
Comparación de modelos
La plataforma SEM de JMP Pro contiene una sección para la comparación de modelos, que nos permite comparar una variedad de diagramas SEM para las mismas variables. La comparación es clave cuando se usa SEM, y todas las métricas proporcionadas en esta sección deben usarse principalmente para la comparación. Esto se debe a que no hay una forma definitiva de decir que "este modelo es el mejor". En su lugar, utilizamos diferentes pruebas estadísticas para determinar qué tan bien se ajustan los modelos a los datos reales. Por lo tanto, debemos tener cuidado al usar estas estadísticas para validar nuestro modelo; las estadísticas podrían decir que el modelo se ajusta bien cuando se observa solo un modelo, pero cuando se compara con otros modelos, el modelo inicial puede ser dolorosamente incorrecto. La mejor manera de demostrar esta idea es a través de un ejemplo.
Ejemplo de atletismo
Para brindar un ejemplo accesible, decidí alejarme del tema de la ingeniería para esta serie y usar un conjunto de datos sobre el tiempo para completar carreras de diferentes distancias. Con suerte, esto también servirá como una demostración de por qué el conocimiento del dominio es tan importante.
Antes de realizar este análisis, se estandarizaron todas las variables para asegurar que el SEM convergería.
En el primer modelo que creé, utilicé dos variables latentes de "capacidad de carrera" y "resistencia", siendo el tiempo necesario para completar cada carrera un indicador de estas habilidades.
Como puede ver en la Comparación de modelos anterior, JMP Pro se ha ajustado automáticamente a un modelo independiente y sin restricciones, con el que se ha comparado mi modelo. El peso AICc es 1 para mi modelo, lo que significa que, de los tres modelos, hay un 100 % de posibilidades de que mi modelo sea el modelo correcto. Entonces, trabajo hecho, ¿verdad? Un 100 % de posibilidades de acertar suena bastante bien, pero la parte clave de eso es que solo es correcto en comparación con los otros dos modelos.
Aquí es donde nuestro conocimiento del dominio es crítico. ¿Es probable que la capacidad de una persona para correr y su capacidad para correr largas distancias sean independientes? Por supuesto no. De hecho, es muy probable que el entrenamiento para cualquier tipo de carrera mejore los niveles generales de condición física de alguien, por lo que es probable que ambas variables latentes estén conectadas de alguna manera. Con esto en mente, creemos un modelo que tenga en cuenta esta conexión.
El nuevo modelo muestra que existe una correlación significativa entre las dos variables latentes como se esperaba. Ahora, al observar el peso de AICc, podemos ver que, de los cuatro modelos, es 100 % probable que nuestro nuevo modelo sea el verdadero modelo. Claramente, esto nos lleva a algunas conclusiones:
- En primer lugar, como se mencionó anteriormente, no podemos usar estas estadísticas simplemente para decir que nuestro modelo es correcto, solo que es probable correcto en comparación con nuestros otros modelos.
- En segundo lugar, no podemos usar solo una prueba estadística para determinar qué tan bueno es nuestro modelo.
- Finalmente, el hecho de que nuestras métricas nos digan que nuestro modelo es bueno no significa que el modelo sea correcto; necesitamos conocimiento del dominio para determinar si el modelo tiene sentido práctico.
Para este ejemplo, luego modifiqué el modelo utilizando algunas suposiciones diferentes para probar diferentes modelos. He subido el ejemplo si desea explorarlo más a fondo, pero los resultados finales de la comparación del modelo se informan a continuación.
Espero que esta publicación le haya dado una idea de cómo determinamos qué tan bien nuestros modelos se ajustan a nuestros datos. Espero escuchar cómo ha aplicado estos índices de ajuste para determinar la calidad de sus propios modelos. ¡Te veo el siguiente mes!
Gracias, @jordanwalters . ¿Es justo decir que SEM no es fácil? Pero esto muestra cómo JMP Pro realmente ayuda. Ojalá hubiera tenido esto cuando estaba haciendo el módulo SEM de mi Maestría en Estadísticas. ¡Me habría ahorrado mucho tiempo y frustración!
