의심스럽게 높은 R^2좋은 오후에요,
고정 효과로 균주, 농도, 상호작용, 실험 일수(무작위로 간주하기에는 일수가 부족함), 그리고 무작위 효과가 96웰 플레이트 내에 중첩되어 반복되고 플레이트가 일수 내에 중첩되는 LMM을 적용했습니다. 표준 최소제곱 플랫폼을 사용하여 LMM을 실행하고 무작위 효과에 '무작위' 속성을 부여했습니다. R^2 값이 0.99로 의심스러울 정도로 높게 나왔습니다. 모델 과적합이 아닐까 생각했지만, 관측치는 충분한 것 같습니다. 이게 정상인가요?
기본 데이터 분석 및 모델링Re: 의심스럽게 높은 R^2안녕하세요 @블립555555
몇 가지 생각해 볼 점이 있습니다. 첫째, 모델 보고서 상단의 LogWorth 플롯에서 Day 값이 유의미하지 않아 모델에 Day 값이 필요한지 확인하는 것입니다. 둘째, 검증 세트를 적용하여 모델의 정확도를 검증하여 효과를 확인하는 것입니다. 또한, 스튜던트화 잔차를 분석하여 이상치 값이 있는지 확인해 보셨나요?
감사해요,
벤
Re: 의심스럽게 높은 R^2친애하는 벤,
감사합니다. 스튜던트화된 잔차를 살펴봤는데, 이상치가 정상으로 보입니다. 여러 반복 실험에서 다양한 항생제 농도가 형광 수준에 미치는 영향을 검정하고 있기 때문입니다. 따라서 모든 반복 실험이 특정 농도에서 동일한 결과를 보이는 것은 생물학적으로 타당합니다. 모델에서 day를 제거했지만 높은 R^2는 그대로 유지되었습니다. 관측치가 약 900개이므로 모델 과적합을 배제할 수 있을까요?
감사해요!
Re: 의심스럽게 높은 R^2먼저, 저는 귀하께서 겪고 계신 특정 상황에 대한 전문가가 아닙니다. 어떤 답변을 모델링하고 계신지 모르겠습니다. 보고된 분석 결과에 대한 맥락을 알 수 없습니다. 매개변수 추정값이 타당해 보입니까? 보고되는 모든 통계는 귀하가 입력한 모델과 데이터 수집 방식에 따라 달라집니다. 이러한 사항 중 하나라도 변경되면 통계도 변경될 수 있습니다.
모델의 적합성을 평가할 때는 고려해야 할 여러 통계량이 있습니다(R-제곱은 그중 하나일 뿐입니다). 예를 들어 다음을 평가할 수 있습니다.
1. R-제곱 - 과적합을 평가하기 위해 조정된 R-제곱. 델타가 작을수록 모형에서 유의하지 않은 항이 나타날 가능성이 줄어듭니다.
2. R-제곱 조정은 R-제곱보다 더 좋으며, 클수록 더 좋습니다.
3. RMSE(모형의 표준편차). 작을수록 좋습니다. 반응 변수 단위이므로 33이 적정할까요?
4. p-값(MSE를 구성하는 요소를 이해할 때 가장 유용함). 유의수준은 조건부 명제입니다.
5. 잔차(모든 종류의 플롯). 이상치, 다중공선성, 가정 위반(독립성, 무작위성, 평균 0, 일정 분산)을 평가할 수 있습니다.
" 96-well 플레이트 내에 중첩된 복제와 day 내에 중첩된 플레이트"를 언급하신 것을 봤습니다. 모델에 중첩된 용어(예: plate[Day], Replicate[Plate])가 보이지 않나요?
