에서
내 이전 게시물 우리는 ANOVA와 간단한 선형 회귀 분석의 관계를 보았습니다. Rhianna 노래의 Year와 Number of Distinct 단어 사이에 중요한 선형 관계가 없었음에도 불구하고 우리가 할 수있는 한 가지는 Rhianna 이전 노래와 2010 년 Rhianna 노래 사이에 차이점이 있는지 테스트하는 것입니다. 우리의 연속 변수 (연도)를 그룹화 (또는 "binning")함으로써 우리는 간단한 선형 회귀 분석을 ANOVA로 바꿀 수 있습니다. 이것은 수시로 일을 더 간단하게 보이게 할 수 있습니다, 우리는 이제 두 가지 깔끔한 카테고리가 있습니다. 그리고 ANOVA와 선형 회귀는 거의 똑같은 것이라고 말했습니까?
글쎄. ANOVA 또는 단순 선형 회귀를 계산하는 데 사용 된 선형 모델은 유사합니다. 실제로는 약간 다른 방식을 사용하고 있습니다. 연속 변수를 그룹으로 나누는 것은 흔한 일이지만 예약을 통해 수행해야합니다. 그 이유를 알려 드리겠습니다. 그러니 단단히 매달려 그룹 나누기를하십시오!
시작하기 전에이 모든 선형 모델이 전기 톱과 같다고 상기시켜 드리고자합니다. 그들은 데이터 포인트와 전체 평균 사이의 총 거리를 다른 카테고리로 나눕니다.
ANOVA와 단순 선형 회귀 분석에서 동일한 방법으로 총 Sum of Squares를 계산하면 각 데이터 점을 취하고 모든 데이터 점의 전체 평균과의 차이를 계산합니다. 따라서 Rhianna 노래를 연 단위로 또는 2010 년 이전과 이후에서 볼지라도 총 Sum of Squares (또는 SST)는 동일합니다. 차이점은 무엇입니까?
차이는 Sum of Squares "Model"에 있습니다 (회귀 분석에서이 Sum of Squares Regression이라고 부르며, ANOVA에서는 Sum of Squares Group이라고도 함). 두 경우 모두 "모델"은 방법 우리는 X가 관심 변수 Y에 영향을 미칠 것이라고 생각합니다. 회귀 경우에 우리는 해가 연속 선형 Y에 대한 효과 - X의 각 단위는 Y에 추가 효과를 줄 것입니다. 비닝 된 ANOVA의 경우, 2010 년 이전이나 이후에는 그룹 Y에 대한 효과.
우리의 Sum of Squares Model (SSM)은 회귀 연도를 기준으로 Y 값 (Rhianna 노래의 고유 단어 수)을 예측합니다. 우리가 관찰 한 데이터에서 우리는 일반적인 하향 추세를 보았습니다. 매년 거기를 지나면 리아나 (Rhianna) 노래에서 별개의 단어가 줄어들 기 때문입니다. 우리의 최선의 추측 리아나 노래의 뚜렷한 단어의 수는 회귀선이 예측하는 것입니다. 회귀 모형의 오류는 데이터 점과 회귀선 사이의 거리입니다.
우리의 SSM ANOVA 2010 년 이전의 쓰레기 수거함을 함께 사용하기 때문에, 2010 년 이전의 노래는 2010 년 이후의 노래와 비교하여 뚜렷한 단어 수가 더 많을 것으로 기대합니다. 이 ANOVA 모델에서 최선의 추측 어떤 2010 년 노래든지 그룹 평균 일 것입니다. 다른 모든 것은 오류로 간주됩니다.
우리가 Year와 별개의 단어 사이에 선형적인 관계가 있다면, 두 binned year 그룹에 대해 ANOVA를 실행하면 "오류"로 인한 Sum of Squares의 비율이 과대 추정됩니다. 이것은 각 그룹의 평균에서 더 많은 극단적 인 포인트가 회귀 라인에서 나온 것보다 그룹 평균에서 더 멀리 떨어져 경향이 있기 때문에 발생합니다.
우리의 Rhianna 예제에서, 연속 및 이분법 모델의 ANOVA 테이블에서 동일한 Sum of Squares Total을 볼 수 있지만 모델의 Sum of Squares (Year vs. Pre-2010)은 2010 년 이전의 이분법 모델에서 훨씬 적습니다. 진정한 선형 관계가 있다면, 모델의 힘은 이분법을 사용하거나 ANOVA를 사용하는 것보다 항상 연속 모델로서 강할 것이다.
안에
JMP 시뮬레이션
[1] , 나는 우리의 BadGirlRiri 데이터에서 근사 선형 관계를 사용하여 연속 변수 중 하나를 2 분법으로 구할 때 통계적으로 어떻게되는지 시뮬레이션합니다. 진정한 선형 관계 주위의 오류 양이 점점 작아지면 결국 어느 방법이든 거의 100 %의 전력을 갖게됩니다. 관계가 매우 강할 때, 이분법으로 인한 힘의 감소조차도 거의 완벽한 효과 탐지를 가능하게합니다.
반면, 선형 관계 주위에서 많은 양의 변동이있을 때, 이분법 화 된 모델과 연속 모델은 둘 다 관계 주위의 불균형 적으로 큰 오차로 인한 영향을 검출하는데 어려움을 갖는다. 이 시점에서 모델 주변의 오류는 거기에 숨어있을 수있는 선형 관계를 능가합니다 (통계 테스트는 모델로 인한 변동량을 측정하고이를 모델에 기인하지 않는 변동량과 비교 함을 기억하십시오)
[2] .
대부분의 실험자는 80 % 전력을 임계 값으로 목표로합니다.
[삼] . 즉, 실제로 그 크기의 효과가있는 경우 실험을 통해 통계 모델이 해당 시간의 80 %를 탐지 할 수 있습니다. 통계력에 대한 빠른 검토는 표본 크기, 효과 크기, 모집단 분산 및 알파 (중요도에 대한 차단 기준) 등 네 가지 주요 사항에 영향을 미칠 수 있음을 기억하는 데 도움이됩니다. 불행하게도, 효과 크기, 인구 변화 및 알파는 일반적으로 설정되지만 샘플 크기는 연구원의 장난감입니다. 그러나 세포 배양 물, 사람 피험자 및 방사성 동위 원소는 비용과 시간이 많이 소모됩니다. 따라서 가장 작은 샘플 크기로 얻을 수있는 가장 강력한 테스트를 원합니다.
빨간색과 파란색으로 강조 표시된 점 사이의 수직 거리는 이분법을 사용하고 변수를 연속으로 두는 경우 평균 전력 차이입니다. 연속 모델의 전력이 80 % 인 경우 (n = 20), 이분 된 모델의 전력은 약 65 % 밖에되지 않으므로 전력이 15 % 감소합니다! 당신의 이분법화된 모델로 80 %의 출력을 가지려면 더 많은 세포, 인간 또는 동위 원소가 필요하며 NSF는이를 지불하지 않을 것입니다!
예상 할 수 있듯이 통계적 관계가 전혀없는 경우 두 가지 모두 효과가 없을 때 효과의 존재를 잘못 알릴 가능성이 5 %입니다. 알파 차단 기준을 정의 할 때 모델이없는 경우에도 우리 모델이 효과를 발휘할 시간 비율을 선택합니다.
우리는 무엇을 배웠는가? 진정으로 선형적인 관계를 의심 할만한 이유가 있다면 연속적인 변수를 그룹으로 나누지 마십시오. 자신의 데이터와 X와 Y 사이의 관계에 대해 생각해보십시오. 연속 변수를 그룹으로 나누려면 이론적 인 이유가 있는지 확인하고 이분법 스플릿으로 제한하지 마십시오. - 보통 사람이 중간 값으로 나뉘지만 그 값이 귀하의 데이터에 적합하지 않을 수 있습니다. 귀하의 데이터를 들어보십시오.
[1] 각 시뮬레이션의 n은 20입니다. 각 레벨 또는 오류는 각각 1,000 번 시뮬레이션되었습니다. 연속 모델과 이분법 모델 모두 동일한 데이터에 대해 실행되었으며 긍정적 인 응답 수가 기록되었습니다. 자세한 내용은 첨부 된 스크립트를 참조하십시오. Python과 R 버전이 사용 가능합니다.
[2] 임의로 큰 표본 크기를 얻을 때 이러한 일은 빨리 일어나지 않을 것이라는 점에 유의해야합니다. 얼마나 많은 오류가 있더라도 n-1로 나눌 수 있기 때문입니다. n이 임의로 큰 숫자에 가까워지면 MSerror는 MS 모델과 비교하여 여전히 매우 작을 수 있습니다. TL; DR 샘플 크기가 클수록 두 모델 모두에 대해 0 %의 출력을 얻기 전에 더 많은 변형이 있어야합니다.
