적합 모델로 이상치를 예측하는 방법안녕하세요 여러분,
현재 Fit Model을 사용하여 모델을 생성하고 있습니다. 입력 변수의 출력을 예측하고 예측 결과가 이상치인지 여부를 판단할 수 있도록 하기 위해서입니다. 하지만 모델을 생성한 후, 이상치를 명확하게 식별하지 못하는 문제가 있습니다. 이상치는 빨간색으로 강조되어 있습니다.
데이터 소스에서 이상치를 제외하는 등 데이터 소스를 사전 처리하고 모델을 학습하려고 시도했지만 이상치는 실제로 걸러지지 않았습니다.
이상치를 구별할 수 있도록 모델을 훈련할 수 있는 방법이 있습니까?
감사해요
기본 데이터 분석 및 모델링Re: 적합 모델로 이상치를 예측하는 방법안녕하세요 @PhamBao ,
이상치 탐지 및 분류는 다양한 접근 방식을 통해 깊이 파고들 수 있는 매우 깊은 웅덩이가 될 수 있습니다. 한 가지 고려해야 할 점은 이상치를 어떻게 정의하느냐입니다(게시글에는 명확하게 설명되어 있지 않지만). 모델에 맞지 않는 이상치를 찾고 있는 건가요, 아니면 빨간색 영역으로 표시된 점들이 이상치로 정의되어 있는 건가요?
잠깐 생각해 보면, 시도해 볼 만한 몇 가지 분야가 있습니다.
- Cooks D 이상치 - 이는 점을 제거하면 모델 계수가 얼마나 변하는지 정의합니다. 일반적으로 4/n(n=행 수) 이상의 임계값이 좋은 시작점입니다. 이 링크에는 Cooks D에 대한 많은 가이드가 있습니다.
- 학생화된 잔차 플롯 - 이 플롯은 행의 잔차를 잘 시각화하여 특정 영역에 들어온 지점 중 이상치일 가능성이 있는 지점을 정의하는 데 도움이 됩니다.
자세한 내용은 여기 와 여기 의 두 링크를 확인하세요.
감사해요,
벤
Re: 적합 모델로 이상치를 예측하는 방법안녕하세요 @PhamBao ,
저는 @벤_바잉흐 의 의견에 동의합니다. 이상치라는 주제를 다룰 때 많은 가능성이 있습니다.
가장 먼저 고려해야 할 점은 이상치의 특성입니다. 모델 기반(특정 모델 적합성에 연결)인지, 아니면 모델에 구애받지 않는가?
이상치를 식별하는 방법은 이상치의 특성에 따라 달라집니다.
- 마할라노비스 거리와 같은 모델 독립적인 이상치 탐지 방법은 특정 모델에 의존하지 않고 변수/요인/특성을 기반으로 점 간의 거리만 비교합니다. 따라서 이러한 방법으로 식별된 이상치는 해당 점이 "이상해" 보이고 다른 점들의 요인 분포에 속하지 않는 것으로 보입니다. 다변량 플랫폼의 이상치 분석 옵션을 참조하세요 .
- 모델 기반 이상치 탐지 방법은 잔차(스튜던트화 잔차 또는 PRESS RMSE/R²과 같은 다른 지표)를 기반으로 하며, 모델에 잘 적합되거나 예측되지 않은 이상치를 식별할 수 있습니다. 이는 모델에 상호작용이나 비선형 효과와 같은 중요한 항이 누락되었거나 데이터에 적합하지 않을 수 있음을 나타냅니다. 다른 진단 패널/도구를 사용하여 모델의 통계적 유의성이나 정보 기준/RMSE/R²과 같은 목표에 따른 다양한 지표를 기반으로 모델이 데이터에 잘 적합한지 확인할 수 있습니다. 또한, 쿡 거리를 계산하여 탐지된 모델 기반 이상치가 모델에 큰 영향을 미치는지 확인할 수 있습니다. https://www.jmp.com/en_us/statistics-knowledge-portal/what-is-multiple-regression/mlr-residual-analy... 이러한 점들의 값이 높거나 비정상적이라면, 해당 점들이 영향을 미칠 수 있으며 모델에 편향을 줄 수 있음을 나타냅니다. 따라서 이러한 점들이 무엇인지, 그리고 측정값이 유효한지 조사한 후, 모델에 미치는 영향을 줄이거나 제거하기로 결정해야 합니다. 모델이 적합되면 플랫폼의 '모델 적합' 또는 '모델 적합 옵션' 에서 '행 진단' 옵션을 참조하세요.
이상치의 원인/출처와 적절한 처리에 각별히 유의하시기 바랍니다. 이상치를 제거하면 분석이 더 쉬워질 수 있지만, 문제가 해결되지는 않으며 이상치의 재발을 방지할 수도 없습니다.
이 답변이 도움이 되기를 바랍니다.
Re: 적합 모델로 이상치를 예측하는 방법안녕하세요 @빅터_G 와 @벤_바잉흐 ,
여러분의 의견에 진심으로 감사드립니다. 저는 적합 모델과 통계에 대한 지식이 부족해서 몇 가지 조언을 구하고 싶습니다. 제가 원하는 바를 명확히 설명하겠습니다. 아래 이미지에서 빨간색 데이터 포인트는 제조 기준에 따라 잘못된 데이터 포인트입니다. 제가 원하는 것은 적합선에서 멀리 떨어진 잘못된 데이터 포인트를 분리하는 것입니다. 처음에는 모델 1을 사용했지만, 잘못된 데이터 포인트가 적합선에서 그리 멀리 떨어져 있지 않다는 것을 확인했습니다. 두 번째로는 모델 1의 동일한 입력값을 사용하려고 시도했지만, 이번에는 매개변수 하나에 2차 다항식을 적용했습니다. 그러면 잘못된 데이터 포인트가 모델 1과 비교했을 때 적합선에서 멀리 떨어져 있음을 알 수 있습니다.
1. 모델 1과 모델 2의 적합도 표 요약은 비슷하지만, 모델 2가 제가 원하는 것 같습니다. 질문 - 실제로 적합선에서 멀리 떨어진 불량 데이터 포인트를 분리할 수 있는 방법이 있을까요?
2. 모델 1의 경우, 왜 잘못된 데이터 포인트가 적합선 근처에 있는지 잘 이해가 안 됩니다. 이를 분리할 방법이 있을까요?
귀하의 답변을 기대하고 있습니다
Re: 적합 모델로 이상치를 예측하는 방법JMP에서는 회귀 또는 분류 모델과 같은 모델을 적합시킨 후 잔차 또는 예측 오차를 분석하여 이상치를 예측할 수 있습니다. 모델을 적합시킨 후, 비정상적으로 큰 잔차, 레버리지 또는 영향력을 가진 데이터 포인트를 찾습니다(예: 쿡 거리 또는 스튜던트화 잔차 사용). JMP는 레버리지 대 잔차 플롯과 같은 시각적 도구를 제공하여 잠재적 이상치를 식별하는 데 도움을 줍니다. 이상치가 발견되면 이러한 포인트를 더 자세히 조사하여 실제 이상치인지 또는 데이터 입력 문제인지 확인할 수 있습니다.
Re: 적합 모델로 이상치를 예측하는 방법안녕하세요 @PhamBao ,
귀하의 질문에는 여러 가지 주제가 있는데, 하나는 모델 적합(및 모델 비교 + 검증)과 관련이 있고, 다른 하나는 이상치 감지와 관련이 있습니다.
- 모델 적합과 관련하여, 모델의 지표를 비교하고 잔차를 분석하는 것을 추천합니다. 마지막 스크린샷에서 모델 2에 이차 효과가 추가된 것을 제외하고는 모델이 매우 유사함을 알 수 있습니다. 이 이차 효과 추가는 R²/R² 조정 및 RMSE를 살펴볼 때 미미한 이점만 있습니다. 또한 잔차에 비무작위적인 곡률 패턴이 적용되므로 모델 평가 및 비교에 매우 신중해야 합니다. 검증 포인트를 사용하거나 데이터셋을 훈련 세트와 검증 세트로 분할하면 데이터에 가장 적합한 모델을 구분하는 데 도움이 될 수 있습니다.
- 이상치 감지와 관련하여, 첫 번째 답변에서 이미 언급했듯이, 사용 가능한 옵션이 많습니다. 이러한 점들이 이상하거나 비정상적이라는 것을 이미 알고 있다면, 이상치 또는 비정상으로 분류하고 어떤 요인(및 범위 값)이 이러한 점들을 유발하는지 파악해 보는 것은 어떨까요? 로지스틱 회귀와 같은 분류 모델을 만들면, 반응은 2가지 클래스(예: "정상"과 "이상치")이고 요인은 입력 변수(표시된 모델과 같이)가 됩니다.
이 분류 모델의 결과/성능(혼란 행렬, 오분류율 등)에 따라 어떤 요인이 그러한 상황을 유발하는지 조사하고, 예측 확률 공식을 사용하여 측정된 값을 기준으로 새로운 지점이 이상하거나 이상치일 확률을 예측할 수 있습니다.
이 몇 가지 제안이 도움이 되기를 바랍니다.
Re: 적합 모델로 이상치를 예측하는 방법Victor_G님의 두 번째 지적이 정확하다고 생각합니다. "나쁨"으로 분류하신 점들은 전통적인 용어에서 이상치라고 할 수 없습니다. 회귀선에서 그렇게 멀리 떨어져 있지도 않거든요. 진짜 문제는 (주제에 대한 지식을 통해) 해당 데이터 포인트에 문제가 있다는 것을 알고 있다는 것입니다. 따라서 원하는 것은 이러한 데이터 포인트를 예측하는 모델인데, 제시하신 회귀 모델은 그렇지 않습니다. 다른 회귀 모델을 찾으려 하지 마세요. 문제가 있다고 알고 있는 점들을 예측하는 분류 모델을 원하실 겁니다. 분류 모델은 다른 종류의 모델이며, JMP에서도 대부분의 동일한 방법을 사용할 수 있지만, 제시하신 연속형 반응 변수가 아닌 명목형 반응 변수를 사용해야 합니다.
Re: 적합 모델로 이상치를 예측하는 방법Victor와 다른 회원분들께 감사드립니다. 제안해 주신 내용을 꼭 시도해 보겠습니다.
