빅데이터의 ANOVA이것은 매우 일반적인 경우에 대한 질문입니다.
해결책은 매우 간단할 수도 있고 그렇지 않을 수도 있습니다.
여러분의 의견과 경험을 듣고 싶습니다.
1) 이는 BIG 데이터(N이 매우 큰 데이터)에 ANOVA를 적용할 때 흔히 발생합니다.
2) (다른 조건이 동일할 때) N이 증가할수록 P값은 작아집니다.
현상
데이터가 많고 분산이 작은 경우 실제로는 유의하지 않지만 ANOVA를 통해 유의미한 것으로 판단됩니다.
--> 실제로는 ANOVA 결과만 보고 오류를 범하는 경우가 많습니다.
어떻게 설명해야 할까요?
방법 1: 통계적 유의성보다는 실제적인 차이(신뢰구간의 차이, 중복 등)
(그룹 내 변동이 매우 큼)이 더 중요하므로 통계적으로 유의하지 않습니다.
방법 2: Rsquare(Regression Variance / Total Variance)를 보면 값이 낮습니다.
방법 3: 이 경우 ANOVA는 적합하지 않습니다.
다른 아이디어가 있나요?
Re: 빅 데이터의 ANOVAANOVA의 p-값은 평균이 통계적으로 다른지 여부를 알려줍니다. 관측치가 많으면 언급한 것처럼, 주어진 평균 차이와 표준편차에 대해 낮은 p-값을 달성하는 것이 더 쉬워집니다.
Rsq를 보면 해당 평균 차이로 얼마나 많은 변동이 설명되는지 알 수 있습니다. 따라서 두 측정항목을 모두 살펴보는 것이 중요합니다. 귀하의 예에서는 평균 차이가 변동의 16.8%를 차지하며, 두 분포의 평균은 차이가 작더라도 통계적으로 다를 가능성이 매우 높습니다.
Re: 빅 데이터의 ANOVA이와 같은 경우 ANOVA 후에 동등성 테스트를 추가하려고 합니다. 이는 볼륨이 높은 상황에서 많이 발생할 수 있습니다. Mark가 말했듯이, 데이터가 많으면 아주 작은 차이도 감지할 수 있습니다. 여기서 질문은 이것에 대해 무엇이든 할 수 있습니까? 또는 어떤 수준에서 차이가 너무 작아서 더 이상 추적할 가치가 없게 됩니까?
중Re: 빅 데이터의 ANOVA안녕하세요 @IkjuShin
나는 다음과 같이 통계가 아닌 언어로 고객에게 설명하려고 시도했습니다.
이 분석에서는 p-값이 매우 작은 두 그룹 간에 통계적으로 유의미한 차이가 있음을 발견했습니다. 그러나 표본 크기가 크기 때문에 이러한 결과의 실질적인 중요성을 평가하는 것이 중요합니다. R-제곱 값은 매우 낮습니다. 이는 모델이 분산의 작은 부분만을 설명한다는 것을 나타냅니다. 또한 효과 크기가 작아서 그 차이가 통계적으로 유의하지만 실제로는 의미가 없을 수도 있음을 나타냅니다. 신뢰 구간을 조사하고 데이터 분포를 시각화함으로써 중첩 정도를 더 잘 이해하고 결과의 실질적인 중요성에 대해 더 많은 정보를 바탕으로 판단할 수 있습니다.
______________________________이 문제에 대한 더 넓은 이해________________________________
이 질문은 대규모 데이터 세트에 대해 ANOVA를 수행할 때 발생하는 일반적인 문제를 해결합니다. 이 현상을 설명할 때 고려할 수 있는 몇 가지 사항과 방법은 다음과 같습니다.
현상 설명:
표본 크기(N)가 매우 크면 그룹 간의 작은 차이라도 통계적으로 유의미해져서 잘못된 결론을 내릴 수 있습니다. 이는 표본 크기가 클수록 테스트의 검정력이 증가하여 사소한 차이도 더 쉽게 감지할 수 있기 때문에 발생합니다. 따라서 p-값은 매우 작아지며 실질적으로 의미가 없는 중요한 차이를 나타냅니다.
문제를 해결하고 설명하는 방법:
방법 1: 실질적인 차이점
설명: 통계적 유의성보다 실제적 유의성의 중요성을 강조합니다. 통계적 유의성이 반드시 의미가 있거나 실제로 유의미한 차이를 의미하는 것은 아닙니다. 신뢰 구간을 살펴보고 겹치는 부분을 확인하세요.
실제 적용: 그룹 내 변동이 큰 경우 통계적 유의성에도 불구하고 실제 차이가 크지 않을 수 있습니다.
방법 2: R-제곱 값
설명: 모델이 설명하는 분산의 비율을 평가하려면 R-제곱 값을 사용하십시오. 낮은 R-제곱 값은 모델이 분산의 작은 부분만을 설명한다는 것을 의미하며, 이는 차이가 실제로 중요하지 않을 수 있음을 나타냅니다.
실제 적용: R-제곱 값이 낮은 사례를 강조 표시합니다. 이는 모델이 데이터의 변동성을 많이 설명하지 않음을 나타냅니다.
방법 3: 분산분석의 적합성
설명: 표본 크기가 매우 크고 차이가 작은 경우에는 분산 분석이 가장 적합한 테스트가 아닐 수 있습니다.
실제 적용: 효과 크기 측정값이나 신뢰 구간과 같은 실질적인 중요성을 평가하기 위해 대체 방법이나 추가 분석을 고려합니다.
따라서 추가 아이디어는 다음과 같습니다.
방법 4: 효과 크기
설명: p-값과 함께 효과 크기(예: Cohen's d)를 보고합니다. 효과 크기는 차이의 크기에 대한 척도를 제공하며, 이는 p-값만 사용하는 것보다 더 많은 정보를 제공할 수 있습니다.
실제 적용: 효과 크기를 사용하여 결과의 실제적 중요성을 전달합니다. 효과 크기가 작다는 것은 그 차이가 통계적으로 유의하지만 실제로는 중요하지 않을 수 있음을 나타냅니다.
방법 5: 그래픽 표현
설명: 바이올린 플롯이나 밀도 플롯과 같은 그래픽 방법을 사용하여 데이터 분포와 그룹 간의 차이를 시각적으로 검사합니다.
실제 적용: 시각화는 그룹 간의 중복 정도를 전달하고 실제적 중요성을 보다 직관적으로 이해하는 데 도움이 될 수 있습니다.
Re: 빅 데이터의 ANOVA@mzwald가 중요한 방향을 가리키고 있다고 생각합니다. 나에게 "차이점"은 제기된 질문에 잘 정의되어 있지 않습니다.
Mark의 의견을 따르면 다음 질문은 아마도 다음과 같습니다. ANOVA가 실제로 우려하는 것과 동일한 문제를 해결하도록 설계된 "차이점"이 있습니까?
Re: 빅 데이터의 ANOVA이미 통찰력 있는 의견에 추가하여 고려해야 할 몇 가지 더 깊은 질문은 다음과 같습니다.
연구의 실제 목적은 무엇입니까?
설명할 것인가, 예측할 것인가? 설명에는 통계 방법/가설 테스트/ANOVA/t-테스트/신뢰 한계/동등성 테스트가 좋은 반면, 예측 모델링/교차 검증이 포함된 기계 학습은 예측에 좋습니다. 둘은 상호 배타적이지 않습니다.
사용 가능한 추가 데이터/공변량이 있습니까? 최신 측정 기술을 사용하면 단 한 번의 치료만으로 이와 같은 대규모 데이터를 측정하는 것이 점점 더 드물어지고 있습니다. 추가 변수/기능은 통계 및 예측 모델링을 훨씬 더 효과적으로 만들고 훨씬 더 많은 가변성을 설명할 수 있습니다.
측정값은 정말 독립적인가요? 예를 들어 차단 변수/배치 효과가 있는 경우 혼합 모델은 매우 관련성이 높습니다. 이것이 실제로 분할구 설계이고 처리가 전체구 수준에서 할당된 경우 검정력은 원래 생각했던 것만큼 높지 않을 수 있습니다.
Re: 빅 데이터의 ANOVA위대하고 실용적인 조언 !!!
-표본의 크기
-R스퀘어
-효과크기(제곱합)
-변동범위 내
-신뢰도/예측구간
-심상
이 모든 것은 실용적인 관점에서 고려되어야 할 것 같습니다.
어떤 사람들은 ANOVA를 평균의 차이에 대한 테스트가 아닌 원시 데이터의 차이에 대한 테스트로 '무의식적으로' 착각하는 것 같습니다.
