자동화된 데이터 대치: 누락된 값을 처리하기 위한 JMP® Pro 14의 다목적 도구( US 2018 130 )레벨: 중급
Milo Page, JMP Research 통계학자 개발자, SAS
JMP Pro 14에는 새로운 ADI(Automated Data Imputation) 유틸리티, 실증적으로 조정된 다목적 스트리밍, 누락 데이터 대체 방법이 포함되어 있습니다. 예측 모델 피팅에 대한 전처리 단계로 누락된 데이터를 처리하는 데 권장됩니다. 누락된 데이터가 있는 경우에도 기본 구조를 추출하기 위해 데이터 세트를 경험적으로 조정합니다. 또한 교육 및 검증 파티션을 존중하고 예측 모델과 원활하게 인터페이스합니다. 견고성과 유연성을 위해 몇 가지 확장이 추가된 강력한 매트릭스 완성 방법을 사용하여 개발되었습니다. 이 강연에서는 ADI가 적절한 경우와 JMP Pro 14에서 ADI를 사용하는 방법에 초점을 맞춥니다. 또한 누락된 값이 있는 데이터를 처리하기 위한 권장 워크플로우를 설명하고 몇 가지 예에서 ADI의 성능을 시연합니다.
예측 모델링탈주Re: 자동화된 데이터 대치: 누락된 값을 처리하기 위한 JMP® Pro 14의 다목적 도구( US 2018 130 )안녕 펠리스,
귀하의 질문에 도움을 드릴 수 있습니다. 저는 Milo의 박사였습니다. JMP Pro에서 ADI를 만든 연구 고문.
내가 잘 이해했다면 누락된 값을 대치하기 전에 훈련 세트와 테스트 세트에서 데이터를 분할하라는 것입니다. 데이터를 나눈 후 훈련 데이터에만 ADI 방식을 적용하나요?
작업 흐름은 Make Validation Column 플랫폼으로 이동하여 행을 교육/검증 세트로 분할하는 데이터 테이블 열을 설정하는 것입니다. 누락된 값 탐색을 시작할 때 유효성 검사 역할에서 해당 열을 설정합니다. ADI 알고리즘은 PCA 유형 모델을 교육 세트에 맞추고 유효성 검사 세트를 사용하여 차원 감소의 최상의 순위를 식별하는 것과 같은 항목을 위해 모델을 조정합니다.
그럼 Validation과 Test set은 어떻게 할까요?
모델링 프로세스의 다음 단계에서 신경망 또는 부트스트랩 포레스트 모델과 같은 지도 학습 알고리즘을 피팅할 때 데이터의 동일한 교육/검증 또는 교육/검증/테스트 분할을 사용하는 것이 좋습니다. 전가는 예측 모델링 구성 요소와 마찬가지로 모델링 프로세스의 일부입니다. 지도 학습 단계에 대해 행을 동일한 수준의 교육/검증/테스트 세트로 분할하는 것은 전체 모델링 연습에 대해 동일한 정도의 적합도를 독립적으로 평가할 수 있도록 하는 방법입니다.
Streaming 전가 검증/테스트 세트는 무엇을 의미합니까?
여기서 우리 언어가 명확하지 않을 수 있습니다. ADI는 기존 열의 대치된 버전을 생성하는 수식 열을 저장합니다. 즉, Tables<
이 프로세스는 데이터 ADI의 교육/검증/테스트 부분에서 즉시 발생합니다. 따라서 누락된 셀에 대해 크게 걱정하지 않고 열의 대치된 버전을 사용하여 바로 모델링으로 이동할 수 있습니다. ADI는 꽤 똑똑합니다. 유효성 검사 행을 사용하여 사용된 차원 축소 순위를 결정합니다. 열이 독립적이거나 선형 순위 감소에 너무 지저분한 경우 이를 파악하고 열의 훈련 평균을 귀속합니다.
Re: 자동화된 데이터 대치: 누락된 값을 처리하기 위한 JMP® Pro 14의 다목적 도구( US 2018 130 )@마일로 SAS를 떠났습니다. 아마도 @chris_gotwalt1 여기에 답할 수 있습니다.
Re: 자동화된 데이터 대치: 누락된 값을 처리하기 위한 JMP® Pro 14의 다목적 도구( US 2018 130 )차오 밀로
귀하의 pdf 파일이 매우 흥미로웠습니다.
아래 슬라이드에 보고된 프로세스에 대해 자세히 설명해 주시겠습니까?
내가 잘 이해했다면 누락된 값을 대치하기 전에 훈련 세트와 테스트 세트에서 데이터를 분할하라는 것입니다. 데이터를 나눈 후 학습 데이터에만 ADI 방식을 적용하나요? 옳은?
그럼 Validation과 Test set은 어떻게 할까요?
Streaming 전가 검증/테스트 세트는 무엇을 의미합니까?
당신의 도움을 주셔서 감사합니다.펠리체
