이상치 제거안녕하세요 Jmp 팀,
저는 약 5,000개의 행으로 구성된 5개의 열을 분석해야 하는 프로덕션 데이터 세트가 있습니다.
그 중 약 80%가 이상치였으며, 규격 한도 내에 있었습니다.
이제 이 5개 열 간의 상자 그림을 비교하여 일별 추세를 알아보고 싶습니다.
이 경우 존재하는 모든 이상치를 제거해야 합니까? 아니면 비교를 위해 그대로 두어야 합니까?
기본 데이터 분석 및 모델링데이터 블렌딩 및 정리데이터 탐색 및 시각화Re: 이상치 제거두 가지를 모두 시도하여 옵션을 테스트해 보는 건 어떨까요? 행을 이상치로 표시한 새 열을 만들어 시각화에 사용할 수 있습니다. 어떤 경우에는 데이터를 쌓아서 모든 측정 대신 단일 측정에서 이상치를 제외할 수 있습니다(넓은 데이터 대 긴 데이터).
Re: 이상치 제거안녕하세요 @Statexplorer : 질문을 읽었을 때 제가 가장 먼저 생각한 것은 "어떻게 데이터의 80%가 이상치일 수 있을까?"였습니다.
이것에 대해 좀 설명해 줄 수 있나요? 정규성에 기반한 어떤 종류의 "이상치" 테스트를 사용하고 80%가 꼬리에 있다면, 데이터는 정규 분포되지 않고 이상치 테스트는 적절하지 않습니다.
죄송합니다. "내 데이터의 80%가 이상치"라는 개념을 이해할 수 없습니다. 즉, 이상치는 "비정상적인" 관찰치인데, 그 중 80%가 어떻게 "비정상적"일 수 있습니까?
Re: 이상치 제거제안해 주셔서 감사합니다. 저는 이상치 테스트를 위해 IQR 방법을 사용했고, 상자를 보았을 때 데이터의 80%가 이상치라고 말했습니다. 대부분의 포인트가 이상치였습니다.Re: 이상치 제거안녕하세요 @Statexplorer : IQR 방법은 데이터의 정규성에 기반합니다. 데이터의 80%가 극단에 있다면, 데이터는 정규 분포되지 않으며 그 80%는 "이상치"가 아닙니다. 개념적으로, 대부분의 데이터는 "비정상적"일 수 없습니다(비정상적이라는 정의에 따라).
그렇다면 비정규/두꺼운 꼬리/왜곡된 분포에서 이상치를 어떻게 식별합니까? 이것은 쉬운 답이 없는 매우 복잡한 질문입니다.
귀하의 데이터 등에 관한 세부 정보를 공유하면 적합한 솔루션을 찾을 수 있을 것입니다.
Re: 이상치 제거안녕하세요 @Statexplorer : 그리고 질문으로 돌아가겠습니다. 저는 어떤 데이터도 제거하지 않을 것입니다... 하지만 상자 그림을 사용해서 "이상치"를 식별하지 마세요. 그렇긴 하지만, 상자 그림은 데이터에 대한 좋은 시각적 도구가 될 수 있습니다. 중간값, IQR, 그리고 최소값과 최대값이 표시됩니다. 따라서 추세 측면에서는 여전히 중간값과 분포가 시간에 따라 어떻게 변하는지 시각화할 수 있습니다.
Re: 이상치 제거안녕하세요 @MRB3855 , 데이터가 정규 분포를 따르지 않고 매우 비대칭적인 분포인 경우 이상치를 제거하기 위해 어떤 방법을 사용해야 합니까? (이 경우 대부분의 이상치는 USL 및 LSL 범위 내에 있습니다)
Re: 이상치 제거안녕하세요 @Stateexplorer 님 : 질문의 맥락을 이해하는 것이 도움이 될 수도 있습니다. 왜 이상치를 식별하려고 하시나요?
