때로는 공허가 의미가 있습니다. 대출 신청자가 빚과 연봉을 비워두면 공허함이 의미 있다고 생각하지 않습니까? 구직 신청자가이 이전 직업 분야를 비워두면 공허가 의미 있다고 생각하지 않습니까? 정치 후보자가 최후의 유죄 판결을받은 공석에 대한 빈 필드가있는 양식을 채우면 그 공허함은 분명히 긍정적 인 정보가됩니다. 누락 된 값은 값이기도합니다. 통계 방법에서는 수용하기가 더 어렵습니다. 당신은 수단을 찾기 위해 산술 연산을 할 수 없습니다. 그러나 실용적인 방법으로 사용할 수 있습니다.
일부 데이터 세트는 누락 된 값으로 가득 차 있습니다. 표준 방법은 X가 누락 된 경우 전체 관찰을 중단해야합니다. 많은 변수로 모델링하고 하나 또는 다른 변수가 누락 된 경우에는 추정 할 데이터가 없을 수 있습니다. 또한 충분한 데이터로 끝내더라도 누락 된 값을 만드는 메커니즘이 응답과 관련이있을 때마다 데이터의 일부가 편향된 데이터 샘플이 될 수 있습니다. 결과는 편향되어 있습니다.
문제를 해결하기위한 한 가지 방법은 돌리기 - 누락 된 값을 추정하거나 누락 된 값의 분포를 제공하여 응답 분포를 생성하는 경우도 있습니다. 대체는 많은 문헌이있는 풍부한 통계 영역입니다. 일부 종류의 대체는 누락되지 않은 모든 X 변수에서 누락 된 값을 예측하여 누락 된 값을 예측하는 것처럼 쉽습니다. 다른 종류는 어렵고 가치가없는 이유에 대한 메커니즘을 익히는 것을 포함합니다.
그러나 우리가 단지 데이터 마이너라고 가정 해 봅시다. 단순히 우리가 버려야 할 모든 관측치를 복구하기 위해 큰 예측 모델에 던져 넣기 만하면됩니다.
또한 누락 된 값이 유익하다고 가정합니다. 대출을 잘못하면 대출 신청자가 자신의 소득이나 현재 채무를 잃어 버렸을 때를 예측하기 위해 데이터를 연구 할 때, 신청자가 어떤 이유로 여기에서 회피 적이라고 가정하는 것이 좋습니다. 필드를 놓치는 행위는 신청자에게 대출하는 위험에 대한 단서입니다.
누락 된 필드를 예측하는 대신,이를 코딩합니다. 입력란이 카테고리 일 경우 누락 된 항목을 다른 카테고리로 취급합니다. 필드가 연속적이면 다른 것을해야합니다. 그 변수에 대해 우리는 각각의 연속 회귀 변수 X에 대한 디자인 행렬에 두 개의 열을 만듭니다.
X 연속 = if (IsMissing (x), x, xbar)X 누락 = IsMissing (x)
첫 번째 열은 X가 누락 된 경우를 제외하고는 단지 X이며,이 경우 X의 평균을 대입합니다. 두 번째 열은 누락 된 지표입니다.
이 디자인 열은 각각 그것에 대해 추정 된 매개 변수를가집니다. 첫 번째 열은 누락되지 않은 모든 X에 대한 예상치입니다. 두 번째는 X가 누락 된 경우 예측 된 Y가 변경해야하는 양이며 평균 X가 Y에 대해 예측 한 것에서 변경이 측정됩니다.
이 누락 값 코딩은 오랫동안 실용적인 방법으로 사용되어 왔습니다. 에서 JMP , JMP 10에 새로운 신경 플랫폼이 도입되었습니다. 지금 JMP 11 우리는 다른 Fit Model 플랫폼 대부분을 위해이 플랫폼을 소개합니다.
과거에는 가치 처리가 누락 된 신경 및 파티션 플랫폼을 중심으로 데이터 마이닝을 지원했습니다. 데이터에 누락 된 값이 많은 경우 정규 모델링 플랫폼이 어려움을 겪습니다. 이제 연속 공변량에 누락 값이있을 때마다 누락 값 코딩 시스템을 사용하도록 지정하고 범주 적 누락 값에 누락 값을 사용하는 "정보 유실"옵션이 있습니다.
샘플 디렉토리에는 누락 된 값이 많은 표준 예측 모델링 예제 인 주식 (Equity)이라는 데이터 세트가 있습니다. 예를 들어, DEBTINC 열에는 값의 22 %가 누락되어 있습니다.
정보 누락이 없다면, 물류 적합은 5,960 건의 관찰 중 3,364 건만 사용합니다. 그러나 정보 누락과 함께 모든 데이터가 적합합니다. 정보 누락없이 Rsquare는 .23 이었지만 Informative Missing으로 Rsquare는 .45였습니다. 우리는 더 많은 관측에 적합하며 훨씬 더 잘 맞습니다.
보고서에서 많은 연속 회귀 변수는 두 개의 매개 변수를 가지고 있음을 주목하십시오. 예를 들어, MORTDUE 또는 MFA가 누락 된 경우, MORTDUE가 누락 된 경우. 지표 "Is Missing"에 대한 매개 변수 추정치가 중요하지 않다면, 평균에 의한 대체를 사용했을 것입니다. 그러나 값이 중요하다면 누락 된 값은 평균값과 다른 값을 나타내고 있습니다.
퇴행 할 수식 열을 만들기 위해 많은 노력을 기울이기 전에이 기법을 사용할 수 있습니다. JMP 11에서는 "정보 누락"이라는 메뉴 항목을 클릭하기 만하면됩니다.
이제 Fit Model 플랫폼은 기존의 예측 플랫폼에 가입하여 예측 모델을 만들 준비가되었습니다. 그런데 Informative Missing은 Fit Model 플랫폼에 있습니다. JMP 11 가장 적합한 인물들.
노트 : 이것은 큰 통계 John Sall의 블로그 게시물 시리즈. 그의 모든 것을 읽으십시오. 큰 통계 게시물 .
친애하는 마틴,
Bands Data.jmp 파일을 다시 살펴보고 두 개의 열 수식을 사용하여 누락 된 연속 변수를 열에 기록 된 데이터의 평균으로 만들고 0/1의 표시기 열을 추가하여 Missing / Non Igresss Missing data를 지정하고, 2 개의 새로운 항목으로 회귀 분석을 수행하고 누락 된 값이있는 원래 데이터의 회귀와 비교했습니다.
그것은 JMP Pro와 비교해도 여전히 길지만, 적어도 저에게는 효과적입니다.
친애하는,
데이비드
안녕 데이비드,
언급 한 샘플 파일이 첨부되지 않았습니다. 그러나 수식이 작동해야하고 이제는 원래 열 대신에 두 열을 모두 회귀에 추가해야합니다. 누락이 유익한 것으로 밝혀지면 표시기 열이 중요해진다. 최신 JMP 버전의 유익한 누락 옵션에서 출력은 중요한 변수가 John의 스크린 샷이나 최종본에서 볼 수있는 것처럼 "Col 1 또는 누락 된 경우의 의미"또는 Col 1 누락 된 것으로 표시되는 방식으로 생성됩니다 보고서.
희망은 도움이된다.
남자 이름
안녕 마틴,
JMP7에서는 ColMean (x)을 사용하여 열 평균 (x) 값을 갖는 연속 X를 만듭니다.
IfMissing (x) => ColMean (x);
=> x
그리고 X 누락 = IsMissing (x)
힘든 일이지만, 누락 된 데이터 값이 밴드에 미치는 영향을 밝히기 위해 노력하고 있습니까? (와이)
데이비드
안녕 데이비드,
John이 중간 부분에서 설명했듯이 각 변수마다 누락 된 새 수식 열을 만들 수 있습니다. 연속 변수에 두 개의 새 수식 열을 추가하기 만하면됩니다 (새 열을 마우스 오른쪽 단추로 클릭하고 수식 선택).
X 연속 = if (IsMissing (x), xbar, x)
그리고 두 번째 열만 표시기 :
X 누락 = IsMissing (x)
John 's blog의 수식은 x가 누락과 xbar의 결과로 인해 버그가 있다고 생각합니다. 나는 누락 된 변수가있는 경우를 위해 열의 평균을 추가하고자하므로 위의 수식에서와 같이 변경해야한다고 생각합니다. Btw. 항상 평균이 가장 좋은 대체물이 될 수있는 것은 아니지만 적절한 대체 위젯 수식으로 열 평균을 변경할 수 있습니다 (단,이 자체는 별개의 주제입니다).
이제 두 개의 열이 있으며 회귀에 지저분한 원래 열 대신이 두 값을 요소로 추가 할 수 있습니다.
JMP 11에 대한 많은 예측 변수가있는 경우이 작업이 포함될 수 있으므로이 옵션이 포함되었습니다.
라이센스를 최신 JMP 버전 (현재 JMP 13.1)으로 업데이트 할 수없는 특별한 이유가 있습니까? 더 많은 정보가 추가되어 지저분한 데이터를 모델링하는 데 도움이 될 수 있습니다.
문안 인사,
남자 이름
매우 도움이됩니다.
유익한 누락 된 저작물을 이해하는 방법을 알고 싶지만 JMP7 / 8을 라이센스가있는 소프트웨어로 사용하는 데 제약이 있습니다.
나는 Bands_Data.jmp의 로버트 앤더슨 (Robert Anderson) 파티션 모델을 JMP7 만 사용하여 접근법을 복제하려고합니다.
이것은 Stepwise 회귀를 방해하는 많은 누락 된 데이터 값이있는 보험 데이터 및 제조 변수의 회귀를 처리 할 때 매우 유용했을 것입니다.
데이비드 애쉴 링
0783 400 6111
