통계 학적으로 유의안녕하세요,
그래서 회귀모델을 장착했습니다. 예측 변수 중 하나는 전체 모델에 대해 P값이 0.0538입니다. 이 예측 변수를 완전히 활용하고 예측을 위해 축소 모델을 사용해야 합니까, 아니면 그대로 유지해도 됩니까?
그리고 약 0.05인 P값에 대한 용어는 무엇입니까? 일부 웹 소스에서 0.05~0.1은 미미한 수준이라고 할 수 있는 것으로 나타났습니다. 통계 모델을 설명할 때 이 용어가 의미가 있습니까? 당신의 통찰력을 공유해주세요.
미리 감사드립니다
실내 변기
기본 데이터 분석 및 모델링실험 설계답변: 통계적 유의성ap 값이 0.0538인 효과를 유지할지 여부에 대한 내 제안은 다음과 같습니다. 두 가지 방법을 모두 시도해 보세요. 그런 다음 '실제적인 문제를 해결하는 데 어떤 모델이 도움이 되나요?'라는 질문에 답해 보세요. 그리고 그 모델로 가세요. 모델에 용어를 남기거나 빼는 것에 관해 수많은 논문과 토론이 있었습니다. 궁극적으로 그것은 당신에게 달려 있습니다. 이 특정 질문에 대한 '모든 경우에 맞는' 솔루션은 없습니다. 유의성 임계값 0.05 근처에는 신성하거나 신성한 것이 없습니다. 이는 다른 이유라기보다는 많은 사람들이 기계적으로 사용하는 값일 뿐입니다. 0.01, 0.1 또는 기타 값을 쉽게 선택할 수 있습니다. 용어에 관해서는 저는 그것에 대해 걱정하지 않습니다. 제가 말하고 싶은 것은 '효과 x는 ap - 값 0.05에서 중요하지 않습니다.'와 같은 것입니다. 그대로 두세요. 의미는 절벽이 아닙니다. 그리고 p-가치는 사람들의 생각을 절벽 사고방식으로 밀어넣는 경향이 있습니다.
답변: 통계적 유의성P_Bartell의 건전한 조언을 추가하겠습니다. p=0.05에 대해 신성한 것은 아무것도 없을 뿐만 아니라 어떤 종류의 결정 분석을 수행하지 않고 임계값에 대해 조언하고 싶습니다. 임계값을 사용하고 아마도 아무것도 필요하지 않다는 것을 깨닫는 경우 일반적으로 p 값에 관계없이 모델을 구축하고 결과를 보고하는 것이 좋습니다)(예: 모델에 변수를 유지할지 여부와 같은) 이진 결정을 내립니다. , 어느 쪽이든 오류가 발생할 가능성이 있다는 점을 인식하세요. 사용할 기준을 결정하기 전에 오류의 상대적 비용을 생각해야 합니다.
그 외에도 컷오프는 일반적으로 나쁜 생각입니다. 나는 회귀 모델에서 "중요하지 않은" 변수를 삭제하는 것을 권장하지 않습니다. 변수는 아마도 이유가 있어서 존재했을 것입니다. 당신은 그것이 중요하다고 생각했습니다. 그들의 영향력을 드러내기에는 데이터가 충분하지 않다면 그렇게 하십시오. 변수를 결정하기 위해 변수 금액을 삭제하는 것은 아무런 영향을 미치지 않으며 이에 대한 증거가 없습니다. 또한 모델의 다른 모든 변수의 계수가 변경됩니다. 이제 이러한 변수가 이전보다 더 정확해질 것이라고 말할 준비가 되셨습니까?
p=.05의 광범위한 사용에도 불구하고 p 값에 대한 ASA 논란과 이에 대한 최근 진술을 확인해야 합니다. 일부 심리학 저널에서는 p 값을 추방하기까지 했습니다. 많은 저널에서는 여전히 p 값이 0.05 미만인 논문을 거부합니다. 이러한 혼란 속에서 내 의견은 다음과 같습니다. 나는 p 값을 알고 싶습니다. 나는 그것이 내가 가지고 있는 데이터에서 해당 변수에 대한 신호가 얼마나 강한지를 나타내는 것이라고 믿습니다(그 진술조차도 상당한 비판을 받을 수 있다는 점에 유의하십시오). 나는 이분법적인 선택을 하는 것을 보고 싶지 않습니다. 나는 변수 X가 결과 Y에 영향을 주거나 영향을 미치지 않는다고 결코 말하지 않으려고 합니다. 이는 항상 불확실성과 증거의 강도의 문제입니다. p 값은 그 증거의 일부이며, p 값이 높으면 뭔가를 말해줍니다. p 값으로 인해 변수를 생략하는 것은 증거 기반이 아닌 것을 결정하는 것입니다(변수 X가 중요하지 않다고 말하는 것과 같습니다). 잠재적 요인 수에 비해 관측치가 적은 경우 예측자 선별을 사용하여 사용할 요인을 선택하는 데 도움을 줄 수 있지만 데이터가 모델에 충분하지 않을 수 있다는 사실을 바꾸려면 할 수 있는 일이 없습니다. 당신은 구축하고 싶습니다.
답변: 통계적 유의성제 생각을 정확히 반영해주셔서 감사합니다. 저는 가설 검정을 가르칠 때 수업 시간에 약간의 연습을 통해 p-값과 통계적 유의성의 개념을 소개하곤 했습니다. 나는 동전을 꺼내서 학생들에게 '우리는 작은 테스트를 해볼 것입니다. 나는 내가 공정한 동전을 가지고 있다고 믿는다고 말하면서 테스트를 시작하겠습니다. 동전을 던져서 토스 결과를 알려드리겠습니다. 머리 또는 꼬리. 나는 당신이 공정한 동전에 대한 나의 믿음에 도전할 의향이 있는 던지기를 당신 앞에 적어 주기를 바랍니다.' 그런 다음 나는 동전을 던지기 시작했습니다. 앞면이 아니더라도 학생들에게 '앞면'이라고 말할 때마다. 내 요점은 그들에게만 '유의성 임계값'이 언제 초과되는지 결정하도록 하는 것이었습니다. 보통 여덟 번째 던지기쯤 되면 모두가 내 믿음을 '거부'합니다. 그런 다음 나는 다음과 같은 질문으로 시작합니다. '토스를 통해 손을 들어 그 동전이 실제로 공평하지 않다는 것을 마침내 확신하게 되었는지 말해주세요. 한 번 던지나요? (보통 아무도 손을 들지 않는다.) 토스 두 번? (드물게) 3번 던지기? (몇 개를 얻을 수도 있음) 4번 던지기요? (지금은 많이 있어요) 5번 던지기요? (대부분 모두) 6번 던지기 (몇몇 홀드아웃) 그런 다음 '의미'라는 개념이 실제로 의사 결정자의 눈에 달려 있는지에 대해 대화를 나눕니다. 마법의 확률적 숫자가 아닙니다. 이제 여러분이 통계적 유의성, p-값이라고 부르는 것들, 사람들이 실제로 의사 결정을 내리는 방식에 대해 알아야 할 모든 것을 배웠기를 바랍니다. 이는 믿음의 정도입니다. 그리고 내 친구들은 통계적인 값이 아니라는 걸요.
답변: 통계적 유의성안녕하세요 @Mathej01 님 ,
설계된 실험에 따라 모델에서 용어를 제거하는 매우 밀접하게 관련된 주제에 대해 이 커뮤니티의 다른 회원이 제공한 답변에 관심이 있을 수 있습니다.
도움이 될 만한 맥락이나 정보가 충분하지 않지만 다음은 모델 평가, 비교 및 선택에 대한 몇 가지 질문, 설명 및 고려 사항입니다.
- 데이터 소스는 무엇이며 데이터는 어떻게 수집되었나요? 설계된 실험, 과거 데이터 세트, ... ?
응답에 따라 발견된 p-값에 대해 어느 정도 신뢰도를 가질 수 있습니다. 과거 데이터 세트의 경우 평가 설계 플랫폼(DoE에 사용됨)을 실행하여 전체 가정 모델의 다양한 용어에 대해 사용 가능한 검정력을 평가합니다. 이는 발견된 p-값의 "신뢰성"에 대한 정보를 제공할 수 있으며 중요하지 않은 용어의 정보에 대한 정보도 제공할 수 있습니다(사용 가능한 검정력이 매우 낮기 때문입니다!).
- 이 모델의 목표는 무엇입니까? 인과관계 설명, 예측 및 최적화 모두(사용 가능한 데이터세트 및 수집 방법과도 연결됨) ?
모델을 비교할 때 통계적 유의성은 흥미로운 지표 중 하나일 수 있지만 유일한 지표는 아닙니다(항상 도메인 전문 지식을 추가하세요!). 로그 가능성, 정보 기준(AICc, BIC) 또는 모델 측정항목(R2 및 R2 조정을 통한 설명력, MSE/RMSE/RASE를 통한 예측력 등)과 같은 보완 모델의 추정 및 평가 측정항목은 다양한 관점을 제공하며 강조할 수 있습니다. 다른 모델.
그런 다음 도메인 전문 지식과 통계적 평가를 기반으로 주제에 가장 적합하고 관련성이 있는 것을 선택할 수 있으며, 다양한 모델을 사용하여 개별 예측을 추정하도록 선택할 수 있습니다(그들이 어떻게/어디에서 다른지 확인). 또는 결합된 모델을 사용하여 예측 오류를 평균화합니다.
일반적으로 다음과 같은 몇 가지 이유로 " 통계적 중요성 숭배 "를 피하십시오.
- 가장 관련성이 높은 모델을 비교하고 선택하는 데 도움이 되는 기타 사용 가능하고 보완적인 측정항목이 있으며, p-값이 왜곡될 수 있고 맹목적으로 신뢰해서는 안 되는 상황이 많이 있습니다(예: 혼합물 설계 및 다음 사용). 절편이 없는 모델).
- 특정 임계값으로 인해 용어를 제거하는 것은 위험한 관행일 수 있습니다. 귀하의 예에서 실제로 p-값이 0.0538인 예측 변수가 0.05에 도달하지 않았기 때문에 폐기되어야 합니까? 0.05보다 높더라도 거부하기에는 너무 가까운 소리입니다(여기서는 특정 임계값에 대해 의문을 제기하지도 않습니다...). 그리고 이 예측 분석에 대한 능력에 따라 유의성 임계값에 도달하지 못한 이유를 설명할 수 있습니다. 나는 가능한(그러나 아직 감지되지 않은) 중요한 효과를 폐기하는 것보다 내 모델에서 중요하지 않은 항을 유지하는 것을 선호합니다.
- " 모든 모델은 틀렸지만 일부는 유용합니다. "는 가능한 여러 모델을 다루고 질문에 대답하기 위해 일부 모델을 평가하고 선택하려고 할 때 적절한 인용문입니다. 귀하의 경우에는 똑같이 "통계적으로 좋은" 모델이 여러 개 있을 수 있으므로 항상 도메인 전문 지식을 활용하여 모델을 정렬하고 선택하는 데 도움을 주어야 합니다. 여러 모델을 선택하여 평균/결합할 수도 있습니다.
- 통계적 유의성 과 실제적 유의성을 혼동하지 말고 두 가지를 모두 사용하여 모델을 선택하십시오. 모델이 유용하기를 원하므로 이 예측 변수의 실제적 유의성도 살펴봐야 합니다. 즉, 반응 평균에 얼마나 영향을 미치는지 살펴보겠습니다. (효과 크기) ? 이 예측 변수가 강력한 효과 크기를 갖는 경우 이를 모델에 유지하는 것이 더 현명할 수 있습니다.
이 보완적인 답변이 도움이 되기를 바랍니다.
