완전히 다른 추론으로 이끌어 낸 두 가지 다른 적절한 모델을 사용하여 동일한 데이터를 분석 한 적이 있습니까? 그렇다면 당신은 마주 칠 수도 있습니다. 주님의 역설 (주님, 1967).
주님의 역설 (Lord, 1967)은 수십 년 동안 연구자들을 당황하게했습니다! 특히 설계된 실험이 불가능한 분야에서 일하는 사람들 (양육을 연구하고 좋은 부모와 나쁜 부모에게 아이들을 무작위로 배정 할 수없는 심리학자를 생각하십시오).
그러면 어떻게 될 수 있습니까? 예를 들어 설명하겠습니다.
설정
유망한 창업 회사의 신규 채용 데이터 분석가라고 상상해보십시오. 관리자는 최근에 수집 한 데이터 세트에서 통찰력을 발견하는 데 도움이되도록 기꺼이 안내해드립니다. 그녀는 회사의 첫 해에 고객 만족도가 어떻게 변했는지 조사해보기를 원합니다.
그녀는 회사가 처음 시작했을 때 100 명의 고객을 대상으로 설문 조사를 실시했으며 2 주 전 (1 년 후) 다시 조사했습니다. 그녀는 특히 주요 경쟁 제품에 대한 고객의 이전 경험과 이것이 비즈니스 첫 해에 고객 만족도가 어떻게 바뀌 었는지에 영향을 미치는지에 대해 염려합니다. 데이터를 전달한 후, 관리자는 가능한 빨리 만나서 자신의 발견에 대해 배우고 자하는 자신의 소망을 표현합니다. 너는 사용한다 JMP 파일을 열면 다음과 같이 보입니다.
그림 1. 고객 만족도를 시뮬레이션 한 데이터. 아래의 의견에서 귀하가 수행 할 분석을 알려주십시오.
고객이 귀하의 제품을 사용하기 전에 경쟁 제품을 사용했는지 (또는 사용하지 않았는지)에 관한 정보가 있습니다. 또한 회사가 처음 (시간 1 또는 T1에서) 시작한 지 1 년 후 (2 ~ 3 주 전 또는 T2)부터 고객 만족도를 얻었으며 고객 만족도가 "변경되었습니다"란 차이가 있습니다 T2 - T1 사이. 똑 바른 프로젝트처럼 보입니다!
이러한 데이터를 분석하는 몇 가지 방법을 생각해 볼 수 있지만 두 가지 옵션에주의를 기울 이도록하겠습니다.
1) 어때요? 공분산 분석 (일명 잔여 변화 모델)? 2 단계에서 JMP (Analyze -> Fit Model : Standard Least Squares personality) 모델에서 Fit Model 플랫폼을 사용하여 결과 2로 고객 만족도를 측정 할 수 있습니다. 공 동 변수로 그룹화 변수 인 Used Competitor 's Product를 예측 변수 및 고객 만족도로 포함 시키십시오 (둘 다 "Construct Model Effects"로 추가됩니다). 두 번째 시간에 고객 만족에 대한 그룹화 변수의 잠재적 효과에 주된 관심이 있지만이 변수의 초기 수준을 제어하려면 모델에 시간 1에 고객 만족도를 포함해야합니다. 이 모델의 추정치는 다음과 같습니다 ( JMP 팁 : 분석 보고서의 빨간색 삼각형 메뉴에서이 옵션을 선택하여 지표 매개 변수화를 얻을 수 있습니다.
그림 2. 공분산 분석 결과. 결과는 시간 2에 고객 만족입니다.
이러한 결과를 바탕으로 회사의 제품을 사용하기 전에 경쟁 업체의 제품을 사용했다는 결론을 내릴 수 있습니다! 경쟁사의 제품을 사용하기 전에 고객의 만족도가 현저하게 낮아졌습니다 (약 1.02 단위로 나타남) (관리자는이 사실을 알게되어 기쁩니다)! R 제곱은 또한 이것이 사소한 것이 아니라고 제안합니다. 결과의 분산의 80 %가 예측 변수로 설명됩니다.
2) 그러나 잠깐, 단순히 티- 테스트 변화 점수는? 결과로 고객 만족도 변경 열을 입력하고 그룹화 변수로 경쟁자 제품을 사용하여 이변 량 플랫폼 (분석 -> Y로 맞춤 -> 평균 / 평균 / 합산 수)을 사용할 수 있습니다 (단방향 ANOVA 또는 그룹화 변수를 예측 변수로 사용하는 단순 선형 회귀 분석을 사용하고 쌍 샘플과 동일합니다. 티 T1 및 T2 점수에 대한 테스트는 다른 블로그 게시물에 대한 주제입니다.) 결국 관리자는 고객 만족도 이해에 대한 관심을 강조했습니다. 변화들 . 이 모델의 추정치를 살펴 보겠습니다.
그림 3. 변화 점수에 대한 t- 검정 결과.
음 ... 무엇이 잘못 됐습니까? 이 모델에 따르면 (그리고 같은 데이터 표에 맞춰야한다고 약속합니다), 경쟁 제품을 사용한 사람들과 그렇지 않은 사람들 사이에서 전년도에 비해 고객 만족도가 어떻게 변했는지에 중요한 차이가 없습니다. 이 모델에서 R 제곱이 거의 제로입니다!
이것은 Lord 's Paradox입니다. 동일한 데이터를 기반으로 완전히 다른 추론에 도달 할 수있는 가능성, 그러나 서로 다른 모델 모두 적절한 것으로 보입니다. 이제 JMP에서 그래프 빌더를 사용하여 데이터를 플롯하여 시작하는이 퍼즐의 배경을 공개합니다.
퍼즐 공개
그림 4. 그룹 1 (고객이 경쟁사의 제품을 사용했는지 여부)에 따라 시간 1과 2에 고객 만족도가 산재 해 있습니다. 그룹별로 가장 잘 맞는 라인과 95 % 신뢰 구간도 표시됩니다. 첫 번째 조사 (x- 축)의 고객 만족도 점수는 경쟁 업체의 제품을 사용하는 사람들과 그렇지 않은 사람들간에 체계적으로 다릅니다. 사실 회사의 경쟁사 제품을 사용했던 고객은 고객 만족도가 낮았으며 (신제품에 적응하지 못했을 수도 있음), 경쟁사의 제품을 사용하지 않은 고객은 고객 만족도가 높았습니다 . 우리는 또한 1시에 만족도가 높았던 경쟁 제품을 사용하지 않은 고객을 관찰하지 않습니다.
그러면 첫 번째 모델은 두 번째 모델이 중요하지 않을 때 왜 중요한 영향을 미칩니 까? 공분산에 대한 분석은 당신의 표본이 어디서 왔는지를 암묵적으로 가정합니다. 하나 인구. 데이터가 실제로 한 인구 집단에서 온 것이라면, 우리는 인구 집단에서 무작위로 표본 추출했기 때문에 집단 평균 차이를 갖는 것이 특이하다고 생각할 것입니다. 두 번째 조사 방법이 기대됩니다. 경쟁자의 제품을 사용하여 웅대 한 평균에 가깝게하십시오 (이 통계적 유물은 평균을 향한 회귀 ). 그러나 여기에서 각 그룹 내의 평균은 거의 동일하며, 한 집단에서 샘플을 추출 할 때 그 수단이 서로 가깝지 않도록하는 힘 (즉 효과)이 있어야합니다. 이 "힘"은 공분산 분석이 확인하는 효과입니다. 반면에, 티 - 테스트는 그러한 가정을 포함하지 않으며 결과는 null 효과에서이를 반영합니다. 아마도 다른 방식으로 데이터를 플로팅하면 더 자세히 설명 할 수 있습니다.
그림 5. 평균 탄도가 웅대 한 평균쪽으로 퇴보하는 것을 유지하는 힘은 스파게티 음모에 겹쳐집니다. 우리는 개인이 시간이 지남에 따라 거의 변화가없는 것을 볼 수 있으며 전반적인 경향은 변함이 없습니다. 저 / 고등학교를 시작한 사람들은 고객 만족도가 낮거나 높게 유지되었습니다.
우리가 지금 알고있는 것을 생각해 보면, 당신은 당신의 매니저와 어떤 통찰력을 나눌 것입니까? 경쟁 제품을 고객 만족에 사용한 결과를보고 해 주시겠습니까? 음, 실제 상황에서 이와 같은 상황에 직면 해 있다면이 문제에 대해 더 자세히 읽어보십시오 (분명히 여기를 지나치게 간략화했습니다). 유용한 기사는 Breukelen (2013)입니다.
그러나 당분간은 이러한 데이터가 설계된 실험의 일부로 수집 된 경우 그러한 피클에 빠지지 않을 것임을 분명히합니다. 무작위 할당은 고객의 특이성으로 인한 가변성을 그룹 전체에 균등하게 분산시킬 수 있도록 설계된 실험의 핵심 기능입니다. 즉, 한 모집단에서 샘플링 한 근본 가정이 충족 될 것이고 여기서 설명한 두 모델은 동일한 결론으로 이어질 것입니다 (공분산 분석에 더 많은 힘이 있음).
키 포인트
이 주제가 돋보이는 혼란을 덜어주기 위해 다음 데이터 중심 질문에 대처할 때 도움이되는 몇 가지 정보를 남겨 두겠습니다.
- 공적 심상 도구. 모델에 맞추기 전에 데이터를 알아보십시오. 때때로 우리는 아웃 라이어와 데이터 입력 오류를 찾아야하지만 모델 가정을 찾아야한다는 것을 기억해야합니다.
- 이 예제의 데이터를 시뮬레이션 한 결과, 직접 연주하고 싶다면 여기에서 파일에 액세스 할 수 있습니다. 의심 할 여지없이 모델 간의 차이가 두드러지는 시나리오를 만들었습니다. 이렇게하면 문제에 대한 설명이 용이 해지지 만 실제 데이터를 사용하여 자신의 분석에서 주님의 역설을 만날 가능성이 있음을 의미하지는 않습니다.
- 관측 데이터는 까다 롭습니다. 그 말을 기억하십시오. 상관 관계는 인과 관계를 의미하지 않는다. ? 어느 모델이 귀하의 데이터에 적합하다고 생각하든간에 경쟁자의 제품이 고객 만족도에 책임이 있는지 여부는 알려주지 않습니다.
- 사용 실험 설계 (DOE) 도구 JMP. 여기서 간략히 설명한 문제는 관측 연구에서만 발생합니다. 위의 두 모델은 통제 된 실험을 수행 할 때 동일한 추론에 도달합니다. 고객을 다른 그룹에 무작위로 배정 할 수있는 한 항상 실험을 수행해야하며 DOE 플랫폼을 통해이를 수행 할 수 있습니다!
- 복제, 복제, 복제. 우리가 두 명의 다른 분석가에게이 데이터를 제공하면 공분산 분석에 적합하고 다른 분석가는 티 -테스트? 이 게시물은 새로운 분석이 이전 결과를 복제하지 못할 수있는 많은 이유 중 하나를 설명합니다. 우리는 복제 가능성의 중요성을 간과 할 수 없습니다. 이 점은 데이터가 관측 적이거나 실험적인지에 관계없이 필수적입니다. 독립 샘플로 결과를 검증 할 수 있다면 그렇게하십시오. 그리고 그렇게 할 때 분석 방법이 원래 연구와 일치하는지 확인하십시오.
나는이 주제에 대해 계속 읽기에 충분한 관심을 보였습니까? 그렇다면 곧 나오는 포스트 이 데이터에 선형 혼합 효과 모델을 적용했습니다.
참고 문헌
Lord, FM (1967). 그룹 비교의 해석에서 역설. 심리적 게시판, 68, 304-305.
van Breukelen, GJP (2013). 무작위 배정 된 연구에서베이스 라인으로부터의 ANCOVA 대 CHANGE : 차이점. 다 변수 행동 연구, 48, 895-922.
