John Sall (SAS의 공동 창립자 겸 부사장)
아주 간단한 기능을 추가함으로써 이전보다 더 많은 모델을보다 정확하게 맞출 수 있다고 말하면 어떨까요? 동시에, 나는 당신의 이전 답변이 매우 편견적 이었음을 보여줄 수 있었지만, 새로운 답변은 훨씬 덜 편향되었다. 또한 해독 할 수없는 데이터를 피팅하는 것보다 모든 데이터를 사용할 수 있으므로 회귀 변수가없는 경우에도 예측이 가능합니다.
이러한 큰 기회는 데이터의 누락이 예측적일 때입니다. JMP 샘플 데이터 테이블 인 Equity.jmp를 고려해보십시오.이 테이블에는 주택 담보 대출 기본 데이터가 포함되어 있습니다. 응답은 고객이 대출을 불이행했는지 여부입니다. 회귀 변수 중 하나가 DEBTINC , 이는 부채와 소득의 비율입니다. DEBTINC 데이터의 대부분이 누락되었습니다. 누락 된 값은 고객이 채무 불이행 여부를 예측할 수 있습니까?
회귀 변수로 12 개의 다른 변수가있는 일반적인 모델에 적합하면 RSquare는 .23이지만 5,960 개의 행 중 3,364 개에만 있습니다. 회귀 변수 중 하나가 누락 된 경우 응답을 예측할 수 없습니다.
모델의 누락을 사용하여 모델에 맞다고 가정합니다. DEBTINC 지표 변수로 사용합니다. 이 1 회 회귀 모델의 RS 정사각형이 더 좋습니다 (.25). 데이터 누락 여부와 관계없이 5,960 개의 행을 모두 예측합니다. 그래서 실종은 예측 적이며, 유익하며, 심지어는 회귀하는 사람들을 능가 할 수도 있습니다.
새로운 아이디어는 누락 된 값 지시자 변수를 만들뿐만 아니라 누락 된 데이터의 행을 버리지 않고 원래의 회귀 변수를 유용하게 만드는 것입니다.
JMP Pro 11에서 Fit Model 실행 창에는 "Informative Missing"이라는 새로운 빨간색 삼각형 메뉴 항목이 포함되어 있습니다.이 기능은 JMP Pro에만 있지만 데이터에 수식 열을 추가하여 동일한 목표를 달성 할 수는 있습니다 표를 참조하십시오.
이를 수행하는 전통적인 방법은 대체 (imputation)입니다. 누락 된 값을 추정합니다. 하나의 표준 대체 방법은 모호하지 않은 모델의 다른 모든 변수를 사용하여 누락 된 변수의 값을 예측하는 것입니다. 데이터에 누락 된 값이있는 경우 다 변수 플랫폼은 "누락 데이터 누락"옵션으로 대체를 지원합니다. 그리고 다른 대체 접근법이 있습니다.
유익한 누락 회귀 코딩은 대체보다 훨씬 간단하고 강력합니다. 모델에서 누락 된 값이있는 모든 연속 변수에 대해 두 변수를 대체합니다. 첫 번째 변수는 열의 누락 된 데이터를 평균값으로 대체합니다. 다른 변수는 누락 값 표시기입니다. 원래 열이 누락 된 경우 1, 그렇지 않으면 0입니다.
예를 들어, Equity.jmp에서 연속 회귀 변수에 대한 수식이있는 두 개의 새 변수를 만듭니다. DEBTINC . 다음은 수식이있는 두 개의 새 변수를 만드는 스크립트입니다.
새 열 ( "빗나간다면 사탄이나 비열함" , 숫자, 연속,
공식( 만약 ( 누락 (: DEBTINC), 33.78 , : DEBTINC))
);
새 열 ( "DEBTINC가 누락되었습니다" , 숫자, 연속,
공식( 만약 ( 누락 (: DEBTINC), 1, 0))
);
" 33.78 "공식은 DEBTINC , 그것은 당신이 좋아하는 어떤 가치가 될 수 있지만.
이제 대신에 DEBTINC 모델에서 두 개의 새 수식 변수를 사용합니다. DEBTINC 또는 Missing If Mean 과 DEBTINC가 누락되었습니다. . 표시기 변수 인 추가 예측 변수는 응답을 강력하게 예측할 수 있습니다. 이 예에서 필드를 빠뜨리는 행위는 신청자에 대한 대출 위험에 대한 강력한 단서입니다.
이 두 가지 새로운 예측 변수를 사용하면 절대 두 가지 변수가 없어 모든 데이터에 사용할 수 있습니다. 누락 된 값 표시기 변수는 적합성에서 중요 할 수 있으므로 적합성을 향상시킬 수있는 기회를 제공합니다.
다른 새로운 퇴행 자에 대해서는 어떨까요? DEBTINC 또는 Missing If Mean ? 그것은 비난하는 원시적 인 방법 인 것처럼 보입니다. DEBTINC 그냥 평균을 사용해서. 누락 된 값을 평균값으로 바꾸는 것은 해당 변수의 추정에 영향을 미치지 않습니다. 오히려 누락 된 가치 지표의 매개 변수는 예측과 그 회귀 변수의 평균값 간의 차이를 추정합니다.
누락 된 부분을 의미 대신 0으로 대체 할 수 있습니다. DEBTINC . 그런 다음 매개 변수는 예측과 해당 공변량에 대해 0을 갖는 차이를 추정합니다. 누락에 대한 플러그인 값은 표시기 매개 변수 추정의 해석에만 영향을줍니다.
이 기술은 전가되지 않습니다. 누락 된 값에 대해 예측 된 값을 대체하지 않습니다. 대신, 회귀 변수가없는 경우 정보를 복구하기위한 코딩 시스템을 구성합니다. 또한 예측값에 누락 값을 사용합니다. 누락 된 값을 갖는 것은 임의의 이벤트가 아니라 예측 가치가있는 일부 원인에 대한 것입니다. 이것이 우리가 코딩 기술을 "정보 누락"회귀 코딩이라고 부르는 이유입니다.
표 1은 Equity.jmp 데이터에 대해 대체론과 정보 누락을 사용하는 경우의 극적인 차이점을 보여줍니다.
1 번 테이블. 양도와 정보 누락 비교
방법 | 사용 된 관측 수 | 정사각형 |
행 현명한 누락 제외가있는 이전 전체 모델 | 3,364 | 23.2 % |
| DEBTINC가있는 단일 변수 모델이 누락되었습니다. | 5,960 | 25.6 % |
| 유익한 누락 된 새로운 전체 모델 | 5,960 | 45.6 % |
그림 1은 누락 된 값 표시기 변수가 매우 중요 함을 보여줍니다. DEBTINC가 누락되었습니다. 모델의 다른 회귀 변수보다 더 중요합니다.
[누락 된 이미지]
그림 1. 중요도별로 정렬 된 매개 변수 추정
여기에 설명 된 것처럼 수식 열 (또는 변형)을 만들어 회귀 할 수 있습니다. JMP Pro 11을 사용하면 Fit Model에서 "Informative Missing"적색 삼각형 메뉴 옵션을 선택하기 만하면됩니다. 또 다른 옵션은 "Informative Missing Coding"추가 기능을 다운로드하는 것입니다. JMP 파일 교환 .
소중한 존재로 취급한다면 실종 될 수 있습니다.
