Letzten Monat haben wir untersucht, wie wir latente Variablen in unseren Pfaddiagrammen verwenden können und wie Freiheitsgrade uns helfen können, uns zu einem funktionierenden Strukturgleichungsmodell zu führen. Aber wie können wir feststellen, dass ein Strukturgleichungsmodell nicht nur funktioniert, sondern auch ein gutes Modell ist?
Wenn wir ein Pfaddiagramm erstellen, müssen wir bestimmen, welche Variablen sich gegenseitig beeinflussen, und das ist keine triviale Aufgabe. Wenn wir mit unserem Domänenwissen ein Pfaddiagramm erstellen, ist es möglich, dass wir ein funktionierendes Modell erhalten. Aber das bedeutet nicht unbedingt, dass das von uns erstellte Modell ein gutes Modell ist. Glücklicherweise gibt es ein paar Metriken, mit denen wir quantitativ bestimmen können, wie gut unser Modell ist. Diese werden in der berichtet JMP Pro SEM-Plattform für jedes Modell.
Qualität der Anpassungsmetriken
In SEM werden einige Metriken verwendet, um zu bestimmen, wie gut das Modell passt. Ich werde nicht auf alle verwendeten Tests im Detail eingehen. Wenn Sie also einen ausführlicheren Überblick wünschen, empfehle ich den JMP Hilfestellung .
Stattdessen möchte ich einige der Fit-Indizes durchgehen, die ich verwende und die sich als die nützlichsten erwiesen haben, um das „beste“ Modell zu bestimmen. Die erste davon ist die AICc. Ein niedrigerer AICc-Wert bedeutet ein besser passendes Modell. Ich bevorzuge diese Metrik, weil sie die Größe des Modells berücksichtigt, aber nicht zu viel Wert darauf legt. Meiner Erfahrung nach konzentriert sich BIC zu sehr auf kleinere Modelle und bevorzugt diese daher zu sehr. Der andere Vorteil der Verwendung des AICc besteht darin, dass JMP Pro einen gewichteten AICc ausgibt, der die Wahrscheinlichkeit zeigt, dass das untersuchte Modell im Vergleich zu den anderen Modellen das richtige Modell ist.
Während ich normalerweise das AICc verwende, ist es immer wichtig, die Ergebnisse einer Anpassungsmessung mit den anderen zu sichern. Daher ist es wichtig, Metriken wie ChiSquare, CFI und RMSEA zu überprüfen. Typischerweise wollen wir den niedrigsten ChiSquare-Wert und RMSEA und den höchstmöglichen CFI. Es ist unwahrscheinlich, dass diese Metriken nicht übereinstimmen, aber wenn dies nicht der Fall ist, könnte es sich lohnen, die Modelle genauer zu untersuchen.
Modellvergleich
Die SEM-Plattform von JMP Pro enthält einen Abschnitt für den Modellvergleich, der es uns ermöglicht, eine Reihe von SEM-Diagrammen für dieselben Variablen zu vergleichen. Der Vergleich ist der Schlüssel bei der Verwendung von SEM, und alle in diesem Abschnitt bereitgestellten Metriken sollten in erster Linie zu Vergleichszwecken verwendet werden. Dies liegt daran, dass es keine definitive Möglichkeit gibt zu sagen, dass „dieses Modell das Beste ist“. Stattdessen verwenden wir verschiedene statistische Tests, um festzustellen, wie gut die Modelle zu den tatsächlichen Daten passen. Daher müssen wir vorsichtig sein, wenn wir diese Statistiken verwenden, um unser Modell zu validieren; Die Statistiken könnten sagen, dass das Modell gut passt, wenn man nur ein Modell betrachtet, aber im Vergleich zu anderen Modellen könnte das ursprüngliche Modell schmerzlich falsch sein. Der beste Weg, diese Idee zu demonstrieren, ist durch ein Beispiel.
Leichtathletik-Beispiel
Um ein zugängliches Beispiel zu geben, habe ich mich entschieden, mich für diese Serie vom technischen Thema zu entfernen und einen Datensatz mit der Zeit zu verwenden, um Rennen mit unterschiedlichen Distanzen zu absolvieren. Hoffentlich wird dies auch als Demonstration dafür dienen, warum Domänenwissen so wichtig ist!
Bevor ich diese Analyse durchführte, wurden alle Variablen standardisiert, um sicherzustellen, dass das SEM konvergiert.
In dem ersten Modell, das ich erstellt habe, habe ich zwei latente Variablen „Sprintfähigkeit“ und „Ausdauer“ verwendet, wobei die Zeit, die benötigt wird, um jedes Rennen zu absolvieren, ein Indikator für diese Fähigkeiten ist.
Wie Sie dem obigen Modellvergleich entnehmen können, hat JMP Pro automatisch ein uneingeschränktes und unabhängiges Modell angepasst, mit dem mein Modell verglichen wurde. Das AICc-Gewicht für mein Modell ist 1, was bedeutet, dass es bei den drei Modellen eine 100-prozentige Chance gibt, dass mein Modell das richtige Modell ist. Also, Arbeit erledigt, oder? Eine 100-prozentige Wahrscheinlichkeit, richtig zu liegen, klingt ziemlich gut, aber der entscheidende Teil davon ist, dass sie nur im Vergleich zu den anderen beiden Modellen richtig ist.
Hier ist unser Domänenwissen entscheidend. Ist es wahrscheinlich, dass die Fähigkeit einer Person zu sprinten und ihre Fähigkeit, lange Strecken zu laufen, unabhängig voneinander sind? Natürlich nicht. Tatsächlich verbessert das Training für jede Art von Rennen mit hoher Wahrscheinlichkeit das Fitnessniveau einer Person insgesamt, und daher sind unsere beiden latenten Variablen wahrscheinlich in irgendeiner Weise miteinander verbunden. Lassen Sie uns in diesem Sinne ein Modell erstellen, das diese Verbindung berücksichtigt.
Das neue Modell zeigt, dass wie erwartet eine signifikante Korrelation zwischen den beiden latenten Variablen besteht. Wenn wir uns nun das AICc-Gewicht ansehen, können wir sehen, dass unser neues Modell von den vier Modellen jetzt mit 100-prozentiger Wahrscheinlichkeit das wahre Modell ist. Dies führt uns natürlich zu einigen Schlussfolgerungen:
- Erstens können wir, wie bereits erwähnt, diese Statistiken nicht einfach verwenden, um zu sagen, dass unser Modell korrekt ist, sondern nur, dass es stimmt wahrscheinlich korrekt im Vergleich zu unseren anderen Modellen.
- Zweitens können wir nicht nur einen statistischen Test verwenden, um festzustellen, wie gut unser Modell ist.
- Nur weil unsere Metriken uns sagen, dass unser Modell gut ist, heißt das noch lange nicht, dass das Modell korrekt ist; Wir benötigen Domänenwissen, um festzustellen, ob das Modell praktisch sinnvoll ist.
Für dieses Beispiel habe ich dann das Modell unter Verwendung einiger verschiedener Annahmen geändert, um verschiedene Modelle zu testen. Ich habe das Beispiel hochgeladen, wenn Sie es weiter untersuchen möchten, aber die endgültigen Ergebnisse des Modellvergleichs sind unten aufgeführt.
Ich hoffe, dieser Beitrag hat Ihnen einen Einblick gegeben, wie wir bestimmen, wie gut unsere Modelle zu unseren Daten passen. Ich freue mich darauf zu hören, wie Sie diese Fit-Indizes angewendet haben, um die Qualität Ihrer eigenen Modelle zu bestimmen. Ich sehe dich nächsten Monat!
