누락된 명목 데이터안녕. 저는 주택 데이터 세트에 대한 다양한 예측 변수를 기반으로 가격을 예측해야 하는 수업 프로젝트를 진행하고 있습니다. 모든 숫자 행을 정리하고 이상값을 제거했습니다. 이제 내 질문에는 parking_options 및 washing_options라는 두 개의 열이 포함됩니다. 이 두 열에는 약 218,000개의 행 누락 값이 있습니다. 제 질문은 누락된 명목 데이터를 어떻게 처리해야 하는가입니다. 이는 데이터 세트(384,000개 중)의 상당 부분이므로 이 행을 완전히 제거하고 싶지는 않습니다. 일부러 데이터를 비워 두는 경우도 있지만 제 경우는 아닌 것 같습니다. washing_options 및 parking_options에 null 값이 있는 일부 대형 주택이 있으므로 이러한 null 값이 주차 금지 및 세탁 금지를 의미한다고 가정해서는 안 된다고 생각합니다.
데이터 탐색 및 시각화윈도우답: 명목 데이터가 누락되었습니다.나는 두 가지 기본 옵션이 있다고 생각합니다. 첫 번째는 JMP에서 '정보 누락' 기능을 채택/호출하는 것입니다. 다음은 JMP 문서의 기능 설명에 대한 링크입니다. JMP에서 정보가 누락됨 . 그러나 이는 관측치가 누락되었다는 사실에 일부 '정보'가 있다고 생각하거나 최소한 가정할 의향이 있음을 의미합니다. 예를 들어, 사람들은 개인정보 보호 문제나 누락된 관찰에서 흔히 발생하는 다른 이유로 인해 응답을 제공하기를 꺼립니다. 기본적으로 JMP는 '결측'을 명목형 예측 변수에 대한 추가 수준으로 처리합니다. 두 번째 옵션은 총알을 물고 예측 변수의 모든 값을 갖는 관측값만 사용하는 것입니다. 아직 작업할 수 있는 관측치가 약 166,000개 있습니다. 마지막으로 두 경로를 모두 시도하고 각 경로에서 도달한 실제 결론을 비교하겠습니다. 다른 점이 있다는 실질적인 결론이 거의 없다면 '누락'이 최종 결정에 영향을 미치지 않았습니다.
답: 명목 데이터가 누락되었습니다.사용할 때 유익한 누락 , 이는 다음이 포함된 모든 행이 없어진 데이터는 동일한 "그룹"에 속합니다. 정보 : 정보가 누락된 이유는 항상 동일한 "이유"입니까?
즉, 그렇지 않습니다:
- 그들 중 절반은 세탁실도 주차장도 없고 말하고 싶지 않고 절반은 초부자이고 5개의 주차장과 3개의 세탁실이 있는데 말하고 싶지 않기 때문에 누락되었습니다.
답: 명목 데이터가 누락되었습니다.거의. 두 번째 시나리오에도 어떤 이유로든 응답하지 않으려는 공통점이 있습니다. 그렇기 때문에 정보 누락을 사용하는 것은 일종의 믿음의 도약입니다. 그리고 각 분석마다 실제 결론이 다른지 확인하기 위해 정보 누락이 있는 모델과 없는 모델을 피팅할 것을 제안한 이유는 무엇입니까?
답: 명목 데이터가 누락되었습니다.이 내용을 가르치는 사람으로서 저는 P_Bartell의 건전한 조언 외에도 몇 가지 의견을 제시합니다.유익한 정보가 누락되거나 누락되지 않은 상태에서 모두 시도해야 합니다.같은 맥락에서, 누락된 데이터가 있는 주택이 예측하려는 종속 변수(아마도 가격?)에 대한 완전한 데이터가 있는 주택과 어떻게 비교되는지 그래픽으로 조사해야 합니다.즉, 세탁 옵션이 누락된 주택 가격이 해당 옵션이 있는 주택과 유사하게 행동한다면(행동은 평방 피트와 같은 것과의 관계를 의미함) 아마도 해당 옵션은 그다지 중요하지 않으며 P_Bartell처럼 "총알을 깨물 수 있습니다". 넣습니다.그러나 총탄을 무는 것은 데이터가 누락된 관측치를 무시하는 것이 아니라 해당 변수를 무시하는 것을 의미할 수 있습니다.세탁 옵션은 그다지 중요하지 않을 수 있으며 이 변수가 누락된 이유는 무작위일 수 있습니다(이것은 "정보 누락"이 조사할 내용이지만 추가 그래픽 조사로 보완하겠습니다.)
내가 알아차린 또 다른 점은 "이상값 제거"라는 귀하의 의견입니다.나는 어떤 사람들이 사람들에게 그렇게 하도록 가르치고 심지어 어떤 본문에서는 사람들에게 그렇게 하도록 지시한다는 것을 알고 있습니다.나는 그렇지 않습니다.데이터를 없애는 것은 나쁜 습관이라고 생각합니다.이상값이 실수로 나타나지 않는 한 이는 데이터의 일부이므로 추가 정당화 없이 이를 제거해서는 안 된다고 생각합니다.이상치를 제거하는 것보다 이상치에 대해 불변 측정값(예: 분위수 회귀를 사용하여 조사할 수 있는 평균이 아닌 중앙값)을 사용하는 것이 훨씬 낫습니다.
답: 명목 데이터가 누락되었습니다.역사적으로 모든 위대한 발견은 이상치에서 시작되었습니다. 결과는 예상되지 않았습니다. 버리면 새로운 것을 발견할 수 없다는 뜻이다. 모델은 이러한 외부 결과를 설명할 수 있습니다.
답: 명목 데이터가 누락되었습니다.우수 포인트 추가 @dale_lehman 이상값에 대해.
그리고 댓글에 덧붙이자면 @마크_베일리 , 이상값이 있는 경우 트리 기반 방법(부스팅 트리, 의사결정 트리, 랜덤 포레스트 등)과 같이 이상값의 영향을 덜 받는 모델을 선택하거나 선형 모델에 정규화를 추가할 수 있습니다(예: LASSO 회귀).
모델에 대한 이상치의 영향을 줄이기 위해 가중치 부여와 같은 다른 매개변수나 대체 솔루션을 사용할 수도 있습니다.
