Letzten Monat haben wir untersucht, wie wir latente Variablen in unseren Pfaddiagrammen verwenden und wie Freiheitsgrade kann uns dabei helfen, ein funktionierendes Strukturgleichungsmodell zu entwickeln. Aber wie können wir feststellen, dass ein Strukturgleichungsmodell nicht nur funktioniert, sondern auch ein gutes Modell ist?
Wenn wir ein Pfaddiagramm erstellen, liegt es an uns zu bestimmen, welche Variablen sich gegenseitig beeinflussen, und das ist keine triviale Aufgabe. Wenn wir mithilfe unseres Domänenwissens ein Pfaddiagramm erstellen, ist es möglich, dass wir ein funktionierendes Modell erhalten. Das bedeutet aber nicht zwangsläufig, dass das von uns erstellte Modell ein gutes Modell ist. Glücklicherweise gibt es einige Kennzahlen, anhand derer wir quantitativ bestimmen können, wie gut unser Modell ist. Diese werden in der berichtet JMP Pro SEM-Plattform für jedes Modell.
Qualität der Anpassungsmetriken
Im SEM werden einige Metriken verwendet, um zu bestimmen, wie gut das Modell passt. Ich werde nicht auf alle verwendeten Tests im Detail eingehen. Wenn Sie also eine ausführlichere Übersicht wünschen, empfehle ich JMP Hilfestellung .
Stattdessen möchte ich einige der Anpassungsindizes durchgehen, die ich verwende und die sich bei der Bestimmung des „besten“ Modells als am nützlichsten erwiesen haben. Die erste davon ist die AICc. Ein niedrigerer AICc-Wert bedeutet ein besser passendes Modell. Ich bevorzuge diese Metrik, weil sie die Größe des Modells berücksichtigt, aber nicht zu viel Wert darauf legt. Meiner Erfahrung nach konzentriert sich BIC zu sehr auf kleinere Modelle und bevorzugt diese daher zu stark. Der andere Vorteil der Verwendung des AICc besteht darin, dass JMP Pro einen gewichteten AICc liefert, der die Wahrscheinlichkeit angibt, dass das untersuchte Modell im Vergleich zu den anderen Modellen das richtige Modell ist.
Obwohl ich normalerweise den AICc verwende, ist es immer wichtig, die Ergebnisse einer Anpassungsmessung mit den anderen zu untermauern. Daher ist es wichtig, Metriken wie ChiSquare, CFI und RMSEA zu überprüfen. Normalerweise wollen wir den niedrigstmöglichen ChiQuadrat-Wert und RMSEA sowie den höchstmöglichen CFI. Es ist unwahrscheinlich, dass diese Metriken nicht übereinstimmen. Sollte dies jedoch nicht der Fall sein, könnte es sich lohnen, die Modelle genauer zu untersuchen.
Modellvergleich
Die SEM-Plattform von JMP Pro enthält einen Abschnitt zum Modellvergleich, der es uns ermöglicht, eine Reihe von SEM-Diagrammen für dieselben Variablen zu vergleichen. Der Vergleich ist bei der Verwendung von SEM von entscheidender Bedeutung, und alle in diesem Abschnitt bereitgestellten Metriken sollten hauptsächlich zum Vergleich verwendet werden. Denn es gibt keine eindeutige Aussage: „Dieses Modell ist das Beste.“ Stattdessen verwenden wir verschiedene statistische Tests, um festzustellen, wie gut die Modelle zu den tatsächlichen Daten passen. Daher müssen wir vorsichtig sein, wenn wir diese Statistiken zur Validierung unseres Modells verwenden. Die Statistiken könnten sagen, dass das Modell gut passt, wenn man nur ein Modell betrachtet, aber wenn man es mit anderen Modellen vergleicht, könnte das ursprüngliche Modell schmerzlich falsch sein. Der beste Weg, diese Idee zu veranschaulichen, ist ein Beispiel.
Beispiel für Leichtathletik
Um ein verständliches Beispiel zu liefern, habe ich beschlossen, für diese Serie vom technischen Thema abzuweichen und einen Datensatz über die Zeit zu verwenden, die für das Absolvieren von Laufrennen über verschiedene Distanzen benötigt wird. Hoffentlich wird dies auch als Beweis dafür dienen, warum Domänenwissen so wichtig ist!
Bevor ich diese Analyse durchführte, wurden alle Variablen standardisiert, um sicherzustellen, dass das SEM konvergiert.
In dem ersten Modell, das ich erstellt habe, habe ich zwei latente Variablen verwendet: „Sprintfähigkeit“ und „Ausdauer“, wobei die Zeit, die zum Beenden jedes Rennens benötigt wurde, ein Indikator für diese Fähigkeiten war.
Wie Sie dem obigen Modellvergleich entnehmen können, hat JMP Pro automatisch ein uneingeschränktes und unabhängiges Modell angepasst, mit dem mein Modell verglichen wurde. Das AICc-Gewicht beträgt für mein Modell 1, was bedeutet, dass von den drei Modellen eine 100-prozentige Chance besteht, dass mein Modell das richtige Modell ist. Also, die Arbeit ist erledigt, oder? Eine 100-prozentige Wahrscheinlichkeit, richtig zu liegen, hört sich ziemlich gut an, aber das Entscheidende daran ist, dass es nur im Vergleich zu den anderen beiden Modellen richtig ist.
Hier ist unser Fachwissen von entscheidender Bedeutung. Ist es wahrscheinlich, dass die Fähigkeit einer Person zu sprinten und ihre Fähigkeit, Langstrecken zu laufen, unabhängig voneinander sind? Natürlich nicht. Tatsächlich ist es sehr wahrscheinlich, dass das Training für jede Art von Rennen die allgemeine Fitness einer Person verbessert, und daher besteht wahrscheinlich ein Zusammenhang zwischen unseren beiden latenten Variablen. Lassen Sie uns vor diesem Hintergrund ein Modell erstellen, das diesen Zusammenhang berücksichtigt.
Das neue Modell zeigt, dass erwartungsgemäß eine signifikante Korrelation zwischen den beiden latenten Variablen besteht. Wenn wir uns nun das AICc-Gewicht ansehen, können wir erkennen, dass von den vier Modellen unser neues Modell nun mit 100 %iger Wahrscheinlichkeit das wahre Modell ist. Dies führt uns eindeutig zu einigen Schlussfolgerungen:
- Erstens können wir, wie bereits erwähnt, diese Statistiken nicht einfach dazu verwenden, um zu sagen, dass unser Modell korrekt ist, sondern nur, dass es richtig ist wahrscheinlich korrekt im Vergleich zu unseren anderen Modellen.
- Zweitens können wir nicht nur einen statistischen Test verwenden, um zu bestimmen, wie gut unser Modell ist.
- Nur weil unsere Metriken uns sagen, dass unser Modell gut ist, heißt das nicht, dass das Modell korrekt ist. Wir benötigen Domänenwissen, um festzustellen, ob das Modell praktisch sinnvoll ist.
Für dieses Beispiel habe ich dann das Modell mithilfe einiger unterschiedlicher Annahmen geändert, um verschiedene Modelle zu testen. Ich habe das Beispiel hochgeladen, wenn Sie es weiter untersuchen möchten, aber die endgültigen Ergebnisse des Modellvergleichs werden unten aufgeführt. Achten Sie darauf, die richtigen Spalten zu verwenden, wenn Sie meinen Datensatz verwenden, da ich die Anfangswerte von Sekunden in Minuten umwandeln musste.
Ich hoffe, dieser Beitrag hat Ihnen einen Einblick gegeben, wie wir feststellen, wie gut unsere Modelle zu unseren Daten passen. Ich freue mich darauf zu hören, wie Sie diese Anpassungsindizes angewendet haben, um die Qualität Ihrer eigenen Modelle zu bestimmen. Ich sehe dich nächsten Monat!
Sie können alle Beiträge meiner SEM-Serie sehen Hier .
