자동화된 데이터 대치: 결측값 처리를 위한 JMP® Pro 14의 다목적 도구(US 2018 130)레벨: 중급
Milo Page, JMP Research Statistician 개발자, SAS
JMP Pro 14에는 새로운 ADI(Automated Data Imputation) 유틸리티가 포함되어 있습니다. 이 유틸리티는 다재다능하고 경험적으로 조정된 스트리밍 누락 데이터 대치 방법입니다. 예측 모델 피팅을 위한 전처리 단계로 누락된 데이터를 처리하는 데 권장합니다. 데이터 세트를 경험적으로 조정하여 누락된 데이터가 있는 경우에도 기본 구조를 추출합니다. 또한 학습 및 검증 파티션을 존중하고 예측 모델과 원활하게 인터페이스합니다. 이는 견고성과 유연성을 위해 몇 가지 추가된 확장과 함께 강력한 매트릭스 완성 방법을 사용하여 개발되었습니다. 이 강연에서는 ADI가 적절한 경우와 JMP Pro 14에서 이를 사용하는 방법에 중점을 둘 것입니다. 또한 결측값이 있는 데이터를 처리하기 위한 권장 워크플로를 간략하게 설명하고 몇 가지 예에서 ADI의 성능을 시연할 것입니다.
브레이크아웃예측 모델링Re: 자동 데이터 대치: 결측값 처리를 위한 JMP® Pro 14의 다목적 도구( US 2018 130 )안녕하세요 펠리체입니다.
귀하의 질문에 도움을 드릴 수 있습니다. 저는 Milo의 박사였습니다. JMP Pro에서 ADI를 만든 연구의 고문.
내가 잘 이해했다면, 누락된 값을 대치하기 전에 훈련 세트와 테스트 세트의 데이터를 분할하라는 것입니다. 데이터를 나눈 후에는 훈련 데이터에만 ADI 방법을 적용합니까?
워크플로는 Make Validation Column 플랫폼으로 이동하여 행을 훈련/검증 세트로 분할하는 데이터 테이블 열을 설정하는 것입니다. 결측값 탐색을 시작할 때 유효성 검사 역할에서 해당 열을 설정합니다. ADI 알고리즘은 PCA 유형 모델을 학습 세트에 맞추고 검증 세트를 사용하여 차원 축소의 최고 순위 식별과 같은 작업을 위해 모델을 조정합니다.
그런 다음 유효성 검사 및 테스트 세트에서 무엇을 합니까?
모델링 프로세스의 다음 단계에서 신경망 또는 부트스트랩 포리스트 모델과 같은 지도 학습 알고리즘을 피팅할 때 데이터의 동일한 훈련/검증 또는 훈련/검증/테스트 분할을 사용하는 것이 좋습니다. 전가는 예측 모델링 구성 요소와 마찬가지로 모델링 프로세스의 일부입니다. 지도 학습 단계에 대해 행을 훈련/검증/테스트 세트로 동일한 분할을 사용하는 것은 전체 모델링 연습에 대해 적합도에 대한 동일한 수준의 독립적인 평가를 보장하는 방법입니다.
스트리밍 귀속 검증/테스트 세트는 무엇을 의미합니까?
아마도 우리 언어는 여기에서 명확하지 않습니다. ADI가 기존 열의 대치 버전을 생성하는 수식 열을 저장하게 됩니다. 즉, Tables<
이 프로세스는 데이터 ADI의 훈련/검증/테스트 부분에 즉시 발생합니다. 따라서 누락된 셀에 대해 너무 걱정하지 않고 대치된 버전의 열을 사용하여 모델링으로 바로 이동할 수 있습니다. ADI는 꽤 똑똑합니다. 유효성 검사 행을 사용하여 사용된 차원 축소의 순위를 결정합니다. 열이 독립적이거나 선형 순위 감소에 너무 지저분한 경우 이를 파악하고 열의 훈련 평균을 간단히 대치합니다.
Re: 자동 데이터 대치: 결측값 처리를 위한 JMP® Pro 14의 다목적 도구( US 2018 130 )@밀로 SAS를 떠났습니다. 아마도 @chris_gotwalt1 여기에 대답할 수 있습니다.
Re: 자동 데이터 대치: 결측값 처리를 위한 JMP® Pro 14의 다목적 도구( US 2018 130 )챠오 마일로
나는 당신의 pdf 파일이 매우 흥미롭다는 것을 알았습니다.
아래 슬라이드에 보고된 프로세스에 대해 자세히 알려주시겠습니까?
내가 잘 이해했다면, 누락된 값을 대치하기 전에 훈련 세트와 테스트 세트의 데이터를 분할하라는 것입니다. 데이터를 나눈 후에는 훈련 데이터에만 ADI 방법을 적용합니까? 옳은?
그런 다음 유효성 검사 및 테스트 세트에서 무엇을 합니까?
스트리밍 귀속 검증/테스트 세트는 무엇을 의미합니까?
당신의 도움을 주셔서 감사합니다.펠리체
