지난 달에 우리는 경로 다이어그램에서 잠재 변수를 사용하는 방법과 자유도가 구조 방정식 모델이 작동하는 방향으로 안내하는 데 어떻게 도움이 되는지 살펴보았습니다. 그러나 구조 방정식 모델이 작동할 뿐만 아니라 좋은 모델임을 어떻게 결정할 수 있습니까?
경로 다이어그램을 생성할 때 어떤 변수가 서로 영향을 미치는지 결정하는 것은 우리에게 달려 있으며, 이는 간단한 작업이 아닙니다. 도메인 지식을 사용하여 경로 다이어그램을 구성할 때 작동하는 모델을 얻을 수 있습니다. 하지만 그렇다고 해서 우리가 만든 모델이 좋은 모델이라는 의미는 아닙니다. 다행스럽게도 우리 모델이 얼마나 좋은지 정량적으로 결정하는 데 사용할 수 있는 몇 가지 메트릭이 있습니다. 이들은 에 보고된다 JMP 프로 모델별 SEM 플랫폼
적합성 측정항목의 품질
모델의 적합도를 결정하기 위해 SEM에서 몇 가지 메트릭이 사용됩니다. 사용된 모든 테스트에 대해 자세히 설명하지 않을 것이므로 더 자세한 설명을 원하시면 JMP를 권장합니다. 도움말 안내 .
대신, 제가 사용하고 "최상의" 모델을 결정할 때 가장 유용한 것으로 밝혀진 몇 가지 적합 지수를 살펴보고자 합니다. 첫 번째는 AICc입니다. AICc 값이 낮을수록 모델이 더 적합함을 의미합니다. 모델의 크기를 고려하지만 너무 강조하지 않기 때문에 이 측정항목을 선호합니다. 내 경험에 따르면 BIC는 더 작은 모델에 너무 많은 초점을 맞추므로 이러한 모델을 너무 선호합니다. AICc 사용의 또 다른 이점은 JMP Pro가 가중 AICc를 제공한다는 것입니다. 이 AICc는 연구 중인 모델이 다른 모델과 비교하여 올바른 모델일 확률을 보여줍니다.
나는 일반적으로 AICc를 사용하지만 하나의 적합도 측정 결과를 다른 측정 결과와 함께 백업하는 것이 항상 중요합니다. 따라서 ChiSquare, CFI 및 RMSEA와 같은 메트릭을 확인하는 것이 중요합니다. 일반적으로 우리는 가능한 가장 낮은 ChiSquare 값과 RMSEA와 가능한 가장 높은 CFI를 원합니다. 이러한 측정항목이 일치하지 않을 가능성은 낮지만 일치하지 않는 경우 모델을 더 자세히 조사하는 것이 좋습니다.
모델 비교
JMP Pro의 SEM 플랫폼에는 동일한 변수에 대한 다양한 SEM 다이어그램을 비교할 수 있는 모델 비교 섹션이 포함되어 있습니다. SEM을 사용할 때는 비교가 핵심이며 이 섹션에 제공된 모든 측정항목은 주로 비교를 위해 사용해야 합니다. "이 모델이 최고다"라고 단정적으로 말할 수 있는 방법이 없기 때문입니다. 대신, 우리는 모델이 실제 데이터에 얼마나 잘 맞는지 결정하기 위해 다양한 통계적 테스트를 사용합니다. 따라서 이러한 통계를 사용하여 모델을 검증할 때 주의해야 합니다. 통계에 따르면 한 모델만 보면 모델이 잘 맞는다고 할 수 있지만 다른 모델과 비교하면 초기 모델이 심하게 틀릴 수 있습니다. 이 아이디어를 입증하는 가장 좋은 방법은 예시를 통해 보여주는 것입니다.
육상 예
접근 가능한 예를 제공하기 위해 이 시리즈의 엔지니어링 주제에서 벗어나 시간의 데이터 세트를 사용하여 다양한 거리의 달리기 경주를 완료하기로 결정했습니다. 바라건대, 이것은 또한 도메인 지식이 왜 그렇게 중요한지를 보여주는 증거가 될 것입니다!
이 분석을 수행하기 전에 SEM이 수렴하도록 모든 변수를 표준화했습니다.
내가 만든 첫 번째 모델에서는 "스프린트 능력"과 "지구력"의 두 가지 잠재 변수를 사용했으며 각 레이스를 완료하는 데 걸린 시간이 이러한 능력의 지표였습니다.
위의 모델 비교에서 알 수 있듯이 JMP Pro는 내 모델과 비교한 무제한 독립 모델에 자동으로 맞습니다. 내 모델의 AICc 가중치는 1입니다. 즉, 세 가지 모델 중 내 모델이 올바른 모델일 확률이 100%입니다. 자, 작업은 끝났습니다. 맞죠? 100% 맞을 확률은 꽤 좋은 것 같지만, 그것의 핵심은 다른 두 모델과 비교할 때만 정확하다는 것입니다.
이것이 우리의 도메인 지식이 중요한 부분입니다. 사람의 전력 질주 능력과 장거리 달리기 능력은 독립적입니까? 당연히 아니지. 사실 모든 종류의 인종에 대한 훈련은 누군가의 전반적인 체력 수준을 향상시킬 가능성이 매우 높기 때문에 두 잠재 변수가 어떤 식으로든 연결될 가능성이 높습니다. 이를 염두에 두고 이 연결을 고려한 모델을 만들어 보겠습니다.
새 모델은 예상대로 두 잠재 변수 사이에 상당한 상관 관계가 있음을 보여줍니다. 이제 AICc 가중치를 보면 네 가지 모델 중 새 모델이 이제 실제 모델일 가능성이 100%라는 것을 알 수 있습니다. 분명히 이것은 우리를 몇 가지 결론으로 이끕니다.
- 첫째, 앞서 언급했듯이 우리는 이 통계를 사용하여 우리의 모델이 정확하다고 말할 수 없습니다. ~할 것 같은 다른 모델에 비해 정확합니다.
- 둘째, 우리 모델이 얼마나 좋은지 결정하기 위해 단 하나의 통계적 테스트를 사용할 수 없습니다.
- 마지막으로, 우리의 메트릭이 우리의 모델이 좋다는 것을 말해준다고 해서 모델이 정확하다는 의미는 아닙니다. 모델이 실용적인지 여부를 결정하려면 도메인 지식이 필요합니다.
이 예에서는 몇 가지 다른 가정을 사용하여 모델을 변경하여 다른 모델을 테스트했습니다. 더 자세히 살펴보고 싶다면 예제를 업로드했지만 모델 비교의 최종 결과는 아래에 보고됩니다.
이 게시물을 통해 모델이 데이터에 얼마나 잘 맞는지 결정하는 방법에 대한 통찰력을 얻을 수 있기를 바랍니다. 나는 당신이 당신 자신의 모델의 품질을 결정하기 위해 이 적합 지수를 어떻게 적용했는지 듣기를 기대합니다. 다음달에 보자!
감사해요, @jordanwalters . SEM이 쉽지 않다는 말이 맞나요? 그러나 이것은 JMP Pro가 실제로 어떻게 도움이 되는지 보여줍니다. 통계 석사의 SEM 모듈을 수행할 때 이 기능이 있었으면 합니다. 그것은 나에게 많은 시간과 좌절을 절약했을 것입니다!
