나는 스튜던트화 잔차가 올리에를 식별하는 좋은 방법이라고 가정합니다.(내가 틀렸다면 정정해 주십시오). 제 질문은 JMP 예측 모델에서 이러한 이상값의 효과를 어떻게 필터링할 수 있느냐는 것입니다. 모델이 이러한 이상값을 자동으로 방지합니까, 아니면 보다 정확한 예측을 위해 이를 삭제해야 합니까?
안녕하세요 @Victor_G
자세한 설명 정말 감사드립니다. 정말 도움이 되었습니다.
친애하는 바텔,
답변해 주셔서 감사합니다. 내 생각엔 여기서 설명을 해야 할 것 같아. 질문과 함께 보낸 사진은 제가 장착한 모델의 예시일 뿐입니다. 그리고 당신 말이 절대적으로 옳습니다. 마지막 몇 개의 데이터 포인트는 단순한 오울리어나 잘못된 데이터 포인트가 아닙니다. 이는 서로 다른 온도에서 서로 다른 코팅을 수행한 DOE였습니다. 그리고 고온에서 caotingf와 관련된 몇 가지 문제로 인해 발생했습니다.
안녕하세요 @Mathej01 님 ,
스튜던트화 잔차는 가정된 모델을 기반으로 이상값을 식별하는 좋은 방법일 수 있습니다. 스튜던트화 잔차 계산 방법에 대한 자세한 내용은 여기에서 확인하세요. 행 진단(jmp.com)
" 빨간색 한계를 벗어나는 점은 가능한 이상값으로 처리되어야 합니다. 녹색 한계를 벗어나지만 빨간색 한계 내에 있는 점은 가능한 이상값으로 처리되어야 하지만 확실성은 떨어집니다. "정의에서 볼 수 있듯이 이상값의 특성에 대한 확실한 확실성은 없으며 이는 암시하는 가정된 모델에 따라 달라질 수 있습니다.
나는 @P_Bartell 의 의견을 전적으로 지지하고 동의합니다. 가능한 이상치(숨겨진 변수, 노이즈, 다른 연산자 등)의 존재에 대한 몇 가지 설명이 있을 수 있습니다.
이상값에 대해 조치를 취하기 전에 이상값에 대해 주어야 할 가장 큰 조언은 이상값을 파악하는 것입니다. 그것들이 어디서 왔는지, 어떤 유형(전역적, 지역적/맥락적 또는 집단적 이상치)인지, 그리고 그것을 발견하는 기술에 따라, 그것들은 다르고, 다르게 감지될 수 있으며, 생성된 모델에 다른 영향을 미칠 수 있습니다.
- 전역 이상값 : 단변량 데이터에서 상자 그림을 사용하면 이를 쉽게 감지할 수 있습니다. 다변량 데이터에서는 밀도 기반 클러스터링(DBSCAN, Optics, ...) 또는 이상 탐지 알고리즘(Isolation Forest)이 도움이 될 수 있습니다. 이는 기록/측정 오류 또는 이상 샘플로 인해 발생할 수 있습니다.
- 상황별(조건부) 이상값 : 이상값은 데이터의 모든 차원에서 이상값이 아닐 수 있으므로 K-Nearest Neighbors, Mahalanobis 거리, 주성분 분석, Jackknife 거리를 살펴보는 것이 흥미로울 수 있습니다. 이러한 이상값은 비정상적인 값이 특정 상황에서 발생하기 때문에 모델에서 고려하는 것이 흥미롭습니다.
- 집단 이상치 : 클러스터링 기술은 이러한 맥락에서 도움이 될 수 있습니다. K-평균, 가우스 혼합, 계층적 클러스터링 및 기타 알고리즘을 고려할 수 있습니다. 그들은 하나의 그룹으로 간주될 수 있습니다.
모든 이상치가 (높은) 레버리지 지점이 아니기 때문에 가능한 이상치가 모델에 영향을 미치는지 여부를 아는 것도 좋은 조언입니다. 이 지점이 있거나 없는 동일한 모델을 병렬로 맞춰서 이 이상값이 (역시) 높은 레버리지 지점인지 확인할 수 있습니다. 실제 대 예측 플롯, 잔차 플롯, RMSE PRESS 및 R² PRESS 와 같은 측정항목을 살펴보고 이상값이 모델에 영향을 미치는지 더 잘 평가하세요.
마지막 4~5개 지점(높은 노이즈를 유발하는 특정 요인 수준, 작업자/측정 장치 변경 등)에 대해 더 높은 변동성을 유발한 원인을 분석해 보십시오.
이 보완적인 답변이 도움이 되기를 바랍니다.
잔차를 조사하는 것은 '이상치'를 식별하는 데 유용한 방법이 될 수 있습니다. 마지막 질문인 "모델이 자동으로 이러한 이상값을 피할 수 있습니까?"의 전반부에 대답하려면 아니요.
이제 조금 백업해 보겠습니다. 더 나은 피팅 모델을 얻기 위해 분석에서 포인트를 제외하기 전에 아기를 목욕물에 버리는 것과 비슷할 수 있습니다. 이러한 이상한 점의 근본 원인을 조사하는 데 시간과 에너지를 소비하셨습니까? 그 조사를 통해 알 만한 가치가 있는 사실을 알 수 있습니까? 그리고 플롯에 표시된 데이터가 '실제'인 경우 시스템에서 마지막 4~5개 행에 대해 이전의 모든 행과 다른 일이 발생한 것으로 보입니다. 행 번호가 생산 순서이거나 설계된 실험의 실행 순서인 경우처럼 숨어 있는 방해 요인이 시스템에 유입되어 이러한 교란을 일으키고 있습니다. 이것에 대해 생각해 보셨나요?
