DoE에서 2개의 동일한 이상치를 제외하도록 선택안녕,
데이터 세트에서 어떤 이상치가 진짜 이상치일 가능성이 더 높은지 확인하는 데 도움이 되는 다른 지표가 있습니까?
저는 DoE를 수행했고, 모델링하는 동안 두 개의 동일한 이상치가 있다는 것을 알아챘습니다(외부적으로 학생화된 잔차: 48 & -48). 둘 중 하나를 제외하면 모델의 adj R2가 0.65에서 0.99로 즉시 크게 개선되고 다른 이상치는 이제 추세 내에 있는 것으로 나타났습니다.
내가 제외하기로 선택한 이상치에 따라 내 모델에 영향을 미칩니다. 어떤 경우에는 선형 및 상호 작용 효과만 얻고, 다른 경우에는 2차 효과도 얻습니다(2차 효과를 기대하지만 확신할 수는 없습니다).
데이터 세트에서 어떤 이상치가 진짜 이상치일 가능성이 더 높은지 확인하는 데 도움이 되는 다른 지표가 있습니까? I want to avoid any scientific bias if at all possible. In looking at the experiment, I cannot identify anything incorrect in the execution of the conditions which would sway my decision.
실험 설계윈도우Re: DoE에서 2개의 동일한 이상치를 제외하도록 선택안녕하세요 @메타리자드62080 ,
학생화된 잔차는 이상치를 식별하는 좋은 방법이 될 수 있습니다. 가정된 모델을 기반으로 합니다 . 학생화된 잔차가 계산되는 방법에 대한 자세한 내용은 여기에서 확인하세요: Row Diagnostics(jmp.com)
" 빨간색 한계 밖에 있는 점은 가능한 이상치로 처리해야 합니다. 녹색 한계 밖에 있지만 빨간색 한계 안에 있는 점은 가능한 이상치로 처리해야 하지만 확실성은 떨어집니다. "정의에서 볼 수 있듯이, 이상치의 본질에 대해서는 확실한 답이 없습니다. 왜냐하면 적합하게 사용하는 가정 모델에 따라 달라질 수 있기 때문입니다.
어쩌면 귀하가 적용하고 있는 모델이 너무 단순하거나 수집된 모든 지점과 측정값과 관련이 없는 것일 수도 있습니다(이러한 2차 효과가 관련이 있는 것으로 보입니다)?
당신이 할 수 있는 일은 모델에 독립적인 이상치 방법으로 데이터 세트를 분석하여 이 두 지점이 "이상해" 보이는지, 아니면 적절한 모델 적합의 문제일 뿐인지 확인하는 것입니다. 마할라노비스 또는 Jackknife 거리와 같은 모델에 독립적인 이상치 감지 방법은 지정된 모델에 의존하지 않고 변수/요인/특징을 기반으로 지점 간의 거리를 비교합니다. 따라서 이러한 유형의 방법으로 식별된 이상치는 이 지점이 "이상해" 보이고 다른 지점의 요인 분포의 일부가 아닌 것처럼 보인다는 것을 나타냅니다.
이상치 에피소드 3: 마할라노비스 거리(및 T2)를 사용하여 이상치 감지
이상치 에피소드 4: 잭나이프 거리를 사용하여 이상치 감지
제공된 정보가 제한적이고 특정 모델 피팅과 관련하여 진단만 수행되었으므로 통계적 속성(이상치 등) 및 도메인 전문 지식(잘못된 값, 측정 기록의 오타, 측정 시스템의 버그/문제 등)을 기반으로 "할 수 있다"는 것을 입증하지 못했다면 어떤 포인트도 제거해서는 안 됩니다. 귀하의 예에서 모든 포인트가 있는 한 모델과 두 개의 "이상한" 포인트를 "숨기고 제외"(또는 단순히 이 두 이상치 포인트를 다른 포인트보다 적게 가중치를 두는 열을 추가)하여 다른 모델의 결과를 비교하고 결과가 매우 다른지 여부를 확인할 수 있습니다. 하지만 누르다 RMSE/R2, Cook의 거리 , 다중 선형 회귀 가정 확인과 같은 다른 옵션을 먼저 확인하여 모델이 허용되는지 확인할 수 있습니다. 데이터에 Box-Cox Y 변환을 사용할 수 있을까요 ?
이 답변이 도움이 되기를 바랍니다.
Re: DoE에서 2개의 동일한 이상치를 제외하도록 선택제 생각은 다음과 같습니다. 저는 Victor의 의견에 동의합니다. 해당 치료에 대한 결과를 알지 못한 채 데이터를 그냥 제거하지 마세요(해당 데이터 포인트가 연구에서 가장 유익한 정보를 제공할 수 있음).
1. 데밍 용어를 사용하면, 아이러니하게도 실험에서 특수 원인 데이터 포인트는 그렇게 이례적이지 않습니다. 이는 실험에서 매우 이례적인 일을 하고 있기 때문일 가능성이 큽니다(예: 굵은 수준 설정에서 요인 조작). 이러한 특정 데이터 포인트에 대한 질문은 다음과 같습니다. 실험의 요인 때문인가요, 아니면 노이즈에 할당할 수 있나요?
2. 실험에서 데이터의 품질을 진단하는 방법은 여러 가지가 있는데, 잔차 분석은 그 중 하나이며, 잔차 분석은 모델이 정의되고 모델에서 설명하는 변동이 알려진 후에 수행되므로 매우 유용할 수 있습니다. 예를 들어, 데이터의 품질을 진단하는 다른 방법은 다음과 같습니다.
- Y를 가장 좋은 것부터 가장 나쁜 것까지 순서대로 정렬합니다(각 Y에 대해 아래로). MR 차트를 얻습니다. MR 차트의 양쪽 끝에 있는 OOC인 점은 치료 효과 때문이 아니라 노이즈 때문일 가능성이 큽니다. (이 방법을 ANOG, 즉 좋은 분석이라고 합니다)
- 각 처리에 대한 실제 데이터를 예측된 값과 비교합니다(이렇게 하려면 데이터를 사전에 예측해야 합니다). 엔지니어링을 끄지 마세요! 각 처리에 대해 무슨 일이 일어났는지에 대한 가설은 무엇입니까? 잔차의 경우 실제 데이터는 그렇게 특이하지 않을 수 있음을 기억하세요. 관심 있는 것은 모델이 특정 처리의 결과를 예측하는 데 있어 제대로 작동하지 않는다는 사실입니다. 왜 모델이 해당 처리에 대해 제대로 작동하지 않을까요?
- 순위 분석을 수행합니다. ANOG 방식으로 정렬된 데이터 표에서 새 열을 추가하고 순위라는 레이블을 붙입니다. 해당 열에 순차적인 숫자를 입력합니다(예: 16회 실행 실험의 경우 1~16이 여러 개 있습니다). 실제 Y와 함께 순위를 분석하고 결과를 비교합니다. 순위는 실제 데이터에서 큰 점프를 제거하므로 특수 원인 데이터 포인트의 레버리지 효과가 최소화됩니다.
특수한 원인이 있을 가능성을 예상했다면 반복 실험을 실행할 수 있으며, 반복된 데이터 포인트 중 하나가 특이하다면 해당 치료에 대한 다른 반복 실험이 남아 있어 분석에 사용할 수 있습니다.
DOE 데이터에 대한 진단을 수행하는 것은 항상 좋은 일입니다. 제가 가장 좋아하는 DOE 저자 중 한 명(Cuthbert Daniel)의 말을 인용하자면:
DOE에서 가장 흔한 결함은 다음과 같습니다.
- 과포화: 치료 횟수에 비해 효과가 너무 많음
- 지나치게 보수적: 원하는 추정치에 대한 관찰이 너무 많음
- 잘못된 값에 대한 데이터 연구 실패
- 모든 앨리어싱을 고려하지 못함
- 오차 분산을 오해하여 부정확성이 발생합니다.
참고로, 모델 개선을 위해서는 R 제곱과 R 제곱 조정 간의 차이에 더 관심을 가져야 하며, R 제곱 조정을 사용하여 모델 적절성을 평가해야 합니다.
