최근에 한 JMP 사용자가 저에게 전화를 걸어 다음과 같은 질문을 했습니다. 그리고 플랫폼이 실행되지 않습니다. 그러나 내 예측 변수의 하위 집합이 있는 모델을 선택하면 모델이 실행됩니다. 무슨 일이야? 다 없어졌어?”
모두 잃어버렸나요? 아마 아닐거야.
Figure 1. A JMP Alert message.Figure 1. A JMP Alert message.Figure 1. A JMP Alert message.Figure 1. A JMP Alert message.그림 1. JMP 경고 메시지.
위의 JMP 경고 메시지가 표시되는 이유는 데이터 세트에서 누락된 데이터가 너무 많기 때문입니다. JMP의 기본 작동 특성은 누락된 데이터가 포함된 행을 분석에서 제외하는 것입니다. 누락 정도가 심각하면 플랫폼이 실행되지 않습니다. 때로는 누락된 데이터에도 실제 문제를 해결하는 데 사용할 수 있는 정보가 있습니다. JMP가 기본적으로 누락된 데이터가 있는 데이터 행을 제외하는 경우 이 가능성을 어떻게 탐색할 수 있습니까? 답은 JMP의 누락 데이터 감지, 대치 및 유익한 누락 모델링 기능을 사용하는 것입니다.
통계적 모델링 모범 사례는 이상값, 무의미한 값, 누락된 값 및 분석에 문제를 일으키는 기타 특성과 같은 문제를 주시하면서 데이터 세트의 품질을 평가하는 데 약간의 시간과 에너지를 투자해야 한다고 제안합니다. 이 문서에서는 데이터 '누락'에 대한 JMP의 기능을 사용하여 올바른 결정을 내리고 적절한 조치를 취하는 방법에 대한 예를 제공합니다.
모든 모델링 문제는 시간을 들여 해결할 가치가 있는 비즈니스 문제에서 시작해야 합니다. 가상이지만 예시적인 문제를 통해 작업하겠습니다. 스포츠 낚시 토너먼트 조직 위원회는 반복 참가를 시도하고 유도하기 위해 토너먼트와 관련하여 참가자 만족도의 주요 동인을 이해하고자 합니다. 그들은 내년에 동일한 토너먼트에 참가할 가능성에 대해 지난 해 참가자들에게 정보, 데이터 및 피드백을 요청합니다. 위원회는 설문 조사를 통해 참가자로부터 정보를 수집합니다. 그러나 낚시하러 가는 사람들의 한 가지 특징은...음...그들이 항상 가장 진실하거나 솔직하지 않을 수 있다는 것입니다. BIG ONE을 착륙시키기 위해 가장 좋아하고 가장 생산적인 낚시터를 전혀 모르는 사람에게 양보할 사람이 얼마나 될까요? 아니면 그들이 사용한 미끼의 종류는?
위원회는 참가자들에게 내년에 돌아올 가능성이 있는지, 참가자의 나이, 미끼 유형(인공 또는 살아있는)을 묻습니다. 나이와 미끼 유형은 모델링에 사용되는 예측 변수입니다. 전체 데이터 세트는 다음과 같습니다.
Figure 2: The Original DataFigure 2: The Original DataFigure 2: The Original DataFigure 2: The Original Data그림 2: 원본 데이터
참가자 연령 및 미끼 유형 모두에 몇 가지 누락된 값이 있다는 점에 유의하십시오. 열. JMP는 누락된 데이터가 포함된 행을 제외하기 때문에 데이터를 '있는 그대로' 모델링하려고 하면 그림 1과 같은 JMP 경고 메시지가 표시됩니다. 실제로 누락된 값이 없는 행이 두 개뿐입니다(그림 2에 강조 표시됨)! JMP가 경고를 보내는 것도 당연합니다!
어떻게 진행해야 합니까? 응답자를 찾아 '다시' 묻는다? 데이터 조작? 포기하다?
잠시만 백업해 봅시다. 그림 2에 표시된 데이터 테이블을 빠르게 육안으로 검사하면 누락된 데이터를 쉽게 찾을 수 있습니다. 훨씬 더 큰 데이터 세트가 있다면 어떨까요? 수백만 행? 수백 개의 열? '누락'에 대한 육안 검사는 지지할 수 없는 해결책입니다. JMP의 누락 데이터 패턴 및 누락 값 탐색 플랫폼이 도움이 됩니다. 누락된 값 행을 찾으면 누락된 사실에 대해 어떻게 해야 합니까? 여기에서 JMP의 누락 값 탐색 및 유익한 누락 기능이 도움이 됩니다.
Missing Data Pattern 플랫폼을 사용하여 누락된 값을 찾아봅시다. 플랫폼은 그림 3(오른쪽 아래)에 표시된 누락 데이터 패턴 테이블을 생성합니다. 패턴 열이 핵심입니다. 0이 아닌 값은 원래 데이터 테이블 내의 누락 패턴을 나타냅니다. 패턴 열 행 항목에서 패턴의 각 숫자는 원래 데이터 테이블에 있는 열의 이진 표시기입니다. 모두 0인 패턴(첫 번째 행)은 누락된 값이 없음을 나타냅니다. 개수 열 항목은 누락된 값이 없는 2개의 행이 있음을 나타냅니다. 두 번째 행은 행에 Bait Type?에서만 누락된 값이 있는 누락 패턴을 나타냅니다. 열. 세 번째 행, 참가자 연령 열의 값이 누락되었습니다. JMP의 서명 동적 연결 기능을 사용하여 누락 데이터 패턴 데이터 테이블에서 행 2와 3을 선택하면 원본 데이터에서 해당 행이 선택됩니다.
Figure 3. Missing Data Pattern Data Table and Original DataFigure 3. Missing Data Pattern Data Table and Original DataFigure 3. Missing Data Pattern Data Table and Original DataFigure 3. Missing Data Pattern Data Table and Original Data그림 3. 누락된 데이터 패턴 데이터 테이블 및 원본 데이터
이제 누락된 값을 찾았으므로 근본적인 질문에 어떻게 답할 수 있습니까? 참가자의 재방문 가능성에 영향을 미치는 요소는 무엇입니까? 여기에서 JMP의 누락된 값 탐색 플랫폼을 사용하여 참가자 연령 열의 값을 대치해 보겠습니다. 데이터 조작 아닌가요? 이것은 부정직하지 않습니까? 음...정확하지는 않지만...특히 모델링 관점에서 목욕물과 함께 아기를 버릴 필요가 없도록 대리 값을 생성하는 것을 공개하는 경우에는 더욱 그렇습니다. 약간의 모델링 마법을 사용하여...대리 값을 현명하게 선택하면 효과에 대한 매개변수 추정치가 여전히 의미가 있습니다. 누락된 값 탐색 플랫폼에는 두 가지 대치 알고리즘이 있습니다. 이 예에서는 아래 그림 4에 표시된 다변량 정규 대치 옵션을 선택했습니다. 이제 참가자의 평균 연령과 동일한 대리 값이 원래 데이터 테이블의 누락된 값이 있는 행에 채워집니다.
Figure 4. Multivariate Normal ImputationFigure 4. Multivariate Normal ImputationFigure 4. Multivariate Normal ImputationFigure 4. Multivariate Normal Imputation그림 4. 다변량 정규 대치
이제 미끼 유형에서 누락된 값을 어떻게 처리합니까? 열. 범주형 예측 변수의 누락된 값을 처리하는 한 가지 방법은 JMP의 정보 누락 기능을 호출하는 것입니다. 유익한 누락 구문을 사용하는 기본 기본 원칙은 값이 누락되었다는 사실 뒤에 숨겨진 일부 주제, 공통성 또는 잠복 변수가 있다고 추정하는 것입니다. 토너먼트 참가자가 공개되지 않은 이유로 사용한 미끼의 종류를 공개하기를 꺼리는 것과 같은 것일까요?
Fit Model 사양 창에서 아래 그림 5에 표시된 모델 사양 빨간색 삼각형 드롭다운 메뉴에서 Informative Missing을 선택하여 Informative Missing을 호출합니다.
Figure 5. Model Specification and Informative MissingFigure 5. Model Specification and Informative MissingFigure 5. Model Specification and Informative MissingFigure 5. Model Specification and Informative Missing 그림 5. 모델 사양 및 정보 누락
Informative Missing을 선택하면 JMP가 Bait Type?에 새 수준을 할당합니다. 'Missing'의 범주형 예측 변수를 선택하고 모든 예측 변수 열의 모든 값을 사용하여 모델 피팅 프로세스를 진행합니다. 아래 그림 6은 명목 로지스틱 회귀 모델 보고서의 효과 요약 부분을 보여줍니다. 참고 미끼 유형? 실제로 응답에 영향을 미치는 것 같습니다.
Figure 6. Effect Summary TableFigure 6. Effect Summary TableFigure 6. Effect Summary TableFigure 6. Effect Summary Table 그림 6. 효과 요약표
그림 7과 같이 JMP 예측 프로파일러를 자세히 살펴보면 Bait Type? 예 응답을 실제로 주도하고 있습니다!
Figure 7. Prediction ProfilerFigure 7. Prediction ProfilerFigure 7. Prediction ProfilerFigure 7. Prediction Profiler그림 7. 예측 프로파일러
이제 도메인 전문 지식이 작용하는 곳입니다. 물고기를 잡는 데 많은 성공을 거둔 토너먼트 참가자가 사용한 미끼 유형을 공개하지 않으려는 경향이 있다는 것은 분명합니다. 영업 비밀? 그러나 그들은 성공적인 토너먼트로 돌아가고 싶어할 것입니다.
분석 후 토너먼트 기록에 대한 심층 분석을 통해 비밀 참가자의 개념과 확실히 일치하는 추가 데이터가 드러났습니다. 아래 그림 8의 Fit Y by X logistic regression plot은 내년에 컴백할 확률? 는 잡힌 물고기의 총 무게의 함수입니다. 그리고 확실히 잡은 참가자는 그들의 비밀에 대해 많이 말하지 않습니다. 
Figure 8. Logistic Regression PlotFigure 8. Logistic Regression PlotFigure 8. Logistic Regression PlotFigure 8. Logistic Regression Plot그림 8. 로지스틱 회귀 플롯
따라서 다음에 데이터 세트에서 값이 누락되었을 때 JMP를 사용하면 실제로 데이터가 누락된 경우에도 시스템에 대해 배울 수 있다는 점을 기억하십시오! 실제로 모든 것이 손실되지 않았습니다.
