지난달에는 경로 다이어그램에서 잠재 변수를 사용하는 방법과 자유도 작동하는 구조 방정식 모델로 안내하는 데 도움이 될 수 있습니다. 그러나 구조 방정식 모델이 작동할 뿐만 아니라 좋은 모델인지 어떻게 확인할 수 있습니까?
경로 다이어그램을 만들 때 어떤 변수가 서로 영향을 미치는지 결정하는 것은 우리에게 달려 있으며 이는 사소한 작업이 아닙니다. 도메인 지식을 사용하여 경로 다이어그램을 구성할 때 작동하는 모델을 얻을 수 있습니다. 그러나 그것이 반드시 우리가 만든 모델이 좋은 모델이라는 것을 의미하지는 않습니다. 다행스럽게도 모델이 얼마나 좋은지 정량적으로 결정하는 데 사용할 수 있는 몇 가지 메트릭이 있습니다. 이것들은 JMP 프로 모델별 SEM 플랫폼.
적합 메트릭의 품질
모델 적합도를 결정하기 위해 SEM에서 몇 가지 메트릭이 사용됩니다. 사용된 모든 테스트에 대해 자세히 설명하지는 않을 것이므로 보다 심층적인 설명을 원하시면 JMP를 권장합니다. 도움말 가이드 .
대신, 내가 사용하고 "최상의" 모델을 결정할 때 가장 유용한 것으로 밝혀진 몇 가지 적합 지수를 살펴보고자 합니다. 첫 번째는 AICc입니다. AICc 값이 낮을수록 더 적합한 모델을 의미합니다. 모델의 크기를 고려하지만 너무 강조하지 않기 때문에 이 메트릭을 선호합니다. 제 경험상 BIC는 더 작은 모델에 너무 집중하고 있으므로 이러한 모델을 너무 선호합니다. AICc 사용의 또 다른 이점은 JMP Pro가 가중 AICc를 제공한다는 것입니다. 이는 연구 중인 모델이 다른 모델과 비교하여 올바른 모델일 확률을 보여줍니다.
저는 일반적으로 AICc를 사용하지만 한 측정 결과를 다른 측정 결과와 백업하는 것이 항상 중요합니다. 따라서 ChiSquare, CFI, RMSEA 등의 지표를 확인하는 것이 중요합니다. 일반적으로 우리는 가장 낮은 ChiSquare 값과 가능한 RMSEA 및 가능한 가장 높은 CFI를 원합니다. 이러한 지표가 일치하지 않을 가능성은 있지만 그렇지 않은 경우 모델을 더 면밀히 조사할 가치가 있습니다.
모델 비교
JMP Pro의 SEM 플랫폼에는 동일한 변수에 대한 다양한 SEM 다이어그램을 비교할 수 있는 모델 비교 섹션이 포함되어 있습니다. SEM을 사용할 때는 비교가 핵심이며 이 섹션에서 제공하는 모든 측정항목은 주로 비교용으로 사용해야 합니다. "이 모델이 최고다"라고 단정적으로 말할 수 없기 때문입니다. 대신 다양한 통계 테스트를 사용하여 모델이 실제 데이터에 얼마나 잘 맞는지 확인합니다. 따라서 이러한 통계를 사용하여 모델을 검증할 때 주의해야 합니다. 통계는 모델이 하나의 모델만 볼 때 적합하다고 말할 수 있지만 다른 모델과 비교할 때 초기 모델은 고통스럽게 올바르지 않을 수 있습니다. 이 아이디어를 설명하는 가장 좋은 방법은 예를 사용하는 것입니다.
육상 예
이해하기 쉬운 예를 제공하기 위해 저는 이 시리즈의 엔지니어링 주제에서 벗어나 다양한 거리의 달리기 경주를 완료하기 위해 시간에 대한 데이터 세트를 사용하기로 결정했습니다. 바라건대, 이것은 도메인 지식이 왜 그렇게 중요한지에 대한 데모 역할을 할 것입니다!
이 분석을 수행하기 전에 SEM이 수렴되도록 모든 변수를 표준화했습니다.
내가 만든 첫 번째 모델에서 나는 "전력 질주 능력"과 "지구력"이라는 두 가지 잠재 변수를 사용했으며, 각 레이스를 완주하는 데 걸리는 시간은 이러한 능력의 지표가 되었습니다.
위의 모델 비교에서 볼 수 있듯이 JMP Pro는 제 모델과 비교한 무제한 독립 모델을 자동으로 적합시켰습니다. 내 모델의 AICc 가중치는 1입니다. 즉, 세 모델 중 내 모델이 올바른 모델일 확률이 100%입니다. 자, 작업 완료, 맞죠? 정확할 확률 100%는 꽤 좋게 들리지만, 핵심 부분은 다른 두 모델과 비교할 때만 정확하다는 것입니다.
여기서 도메인 지식이 중요합니다. 사람의 단거리 달리기 능력과 장거리 달리기 능력은 독립적일 가능성이 있습니까? 당연히 아니지. 실제로 어떤 종류의 레이스를 위한 훈련이든 누군가의 전반적인 체력 수준을 향상시킬 가능성이 높으므로 두 잠재 변수가 어떤 식으로든 연결될 가능성이 높습니다. 이를 염두에 두고 이 연결을 고려하는 모델을 만들어 봅시다.
새 모델은 예상대로 두 잠재 변수 간에 상당한 상관관계가 있음을 보여줍니다. 이제 AICc 가중치를 보면 4개의 모델 중 새 모델이 100% 실제 모델일 가능성이 있음을 알 수 있습니다. 분명히 이것은 다음과 같은 몇 가지 결론으로 이어집니다.
- 첫째, 앞에서 언급했듯이 이러한 통계를 사용하여 모델이 정확하다고 말할 수는 없습니다. ~할 것 같은 다른 모델에 비해 정확합니다.
- 둘째, 모델이 얼마나 좋은지 결정하기 위해 단 하나의 통계 테스트를 사용할 수 없습니다.
- 마지막으로 지표가 모델이 양호하다고 알려주는 것이 모델이 옳다는 것을 의미하지는 않습니다. 모델이 실용적인지 판단하려면 도메인 지식이 필요합니다.
이 예에서는 여러 모델을 테스트하기 위해 몇 가지 다른 가정을 사용하여 모델을 변경했습니다. 더 자세히 살펴보고 싶다면 예제를 업로드했지만 모델 비교의 최종 결과는 아래에 보고됩니다. 초기 값을 초에서 분으로 변환해야 하므로 내 데이터 세트를 사용하는 경우 올바른 열을 사용하도록 주의하십시오.
이 게시물이 모델이 데이터에 얼마나 잘 맞는지 결정하는 방법에 대한 통찰력을 얻었기를 바랍니다. 자신의 모델의 품질을 결정하기 위해 이러한 적합 지수를 어떻게 적용했는지 듣기를 기대합니다. 다음달에 보자!
내 SEM 시리즈의 모든 게시물을 볼 수 있습니다. 여기 .
@jordanwalters Prob > ChiSq는 0.0001 미만입니다. 모델이 데이터에 적합하지 않다는 신호가 아닙니까? 다른 통계는 AIC와 별도로 살펴봐야 하지만 모델이 "정확할 가능성이 높다"는 말은 올바르지 않습니다.
@Phil_Kay 네 맞습니다. SEM은 단순한 주제가 아니지만 JMP Pro에서 모델을 구성하는 시각적 및 대화형 방식을 사용하면 프로세스가 최대한 쉬워집니다. 매우 유용한 상태 창은 말할 것도 없습니다!
감사해요, @jordanwalters . SEM이 쉽지 않다고 말하는 것이 타당합니까? 그러나 이것은 JMP Pro가 실제로 어떻게 도움이 되는지를 보여줍니다. 내 Stats MSc의 SEM 모듈을 수행할 때 이 기능이 있었으면 좋겠습니다. 그것은 저에게 많은 시간과 좌절을 덜어 주었을 것입니다!
