Virtual, sparse, missing or pretend data -- it's ghost data. Don't be spooked by it, says John Sall. Learn how to deal with it.Virtual, sparse, missing or pretend data -- it's ghost data. Don't be spooked by it, says John Sall. Learn how to deal with it.Virtual, sparse, missing or pretend data -- it's ghost data. Don't be spooked by it, says John Sall. Learn how to deal with it.Virtual, sparse, missing or pretend data -- it's ghost data. Don't be spooked by it, says John Sall. Learn how to deal with it.가상, 희소, 누락 또는 가상 데이터 -- 고스트 데이터입니다. 겁먹지 말라고 John Sall은 말합니다. 그것을 다루는 방법을 배우십시오.
데이터는 어디에나 있으며 속도, 볼륨 및 다양성은 통계적 발견을 시도하는 과학자 또는 엔지니어에게 점점 더 많은 문제를 제시합니다.
하지만 완전히 다른 유형의 데이터가 있습니다. 존 살 SAS의 수석 부사장 겸 공동 설립자인 은 데이터 탐색자가 다음 사항을 알고 있어야 한다고 생각합니다. 고스트 데이터 – 존재하지 않는 데이터.
Ghost 데이터는 John의 기조 연설 주제였습니다. 디스커버리 서밋 2017 세인트 루이스, 미주리. John은 JMP 개발 팀을 이끌고 있으며 여전히 데스크톱 통계 검색 소프트웨어 .
그는 과학자와 엔지니어가 종종 네 가지 유형의 고스트 데이터를 다룬다고 말합니다. 여기에 그들이 무엇이며 그들과 함께 무엇을 할 수 있습니다.
1. 가상 데이터
가상 데이터는 사용자가 찾거나 필요할 때까지 존재하지 않는 데이터입니다. 이러한 유형의 고스트 데이터는 데이터 테이블을 어지럽히지 않기 때문에 유용합니다. 두 가지 예는 변환 열과 가상 조인입니다. JMP . 변환 열을 사용하면 실제로 새 열을 생성할 필요 없이 적시에 변환된 열 버전을 구체화(예: 로그 변환 또는 두 열의 비율 사용)하여 그래프를 생성할 수 있습니다. 이렇게 하면 데이터 테이블이 깨끗하게 유지되고 메모리도 절약됩니다.
가상 조인을 사용하면 키로 테이블을 연결할 수 있으므로 실제로 조인하지 않고도 기본 테이블에서 보조 테이블의 열에 액세스할 수 있습니다. 이는 특히 물리적 조인에 가로 세로 또는 세로 세로 데이터 테이블 사례가 포함될 때 테이블 유지 관리 및 메모리 사용에 도움이 됩니다.
2. 희소 데이터
희소 데이터는 데이터 포인트의 존재 부족이 0을 의미하는 상황입니다. 또한 효율적으로 활용하면 계산 속도를 크게 높이기 위해 알고리즘에 의해 건너뛸 수 있는 일종의 고스트 데이터입니다. 희소 데이터의 한 예는 텍스트 분석의 문서 용어 행렬(DTM)입니다. DTM은 개별 단어가 문서 코퍼스에서 매우 드물게 사용되기 때문에 희박합니다. (고스트 데이터 모음에 대한 농담이 있는 것 같습니다.)
PCA(Principal Components Analysis)와 같은 다변량 방법은 이러한 희소성을 활용할 수 있으며 JMP의 PCA 플랫폼 내에서 희소 방법을 선택하면 2,000단어의 DTM에서 분석을 실행하는 데 10분에서 약 1초가 걸립니다. 희소 방법은 PCA, 판별 분석, 텍스트 탐색기 및 혼합 모델을 포함하여 JMP 전반에 걸쳐 있습니다.
3. 누락된 데이터
많은 과학자와 엔지니어가 누락된 데이터를 정기적으로 처리한다고 보고합니다. 이러한 유형의 고스트 데이터는 우리가 알지 못하거나 존재하지 않는 데이터입니다. 데이터가 누락되는 데에는 여러 가지 이유가 있습니다. 센서가 작동하지 않거나 네트워크가 다운되거나 설문 조사 질문에 응답하지 않는 피험자가 있습니다. 그러나 데이터가 누락되었다고 해서 데이터가 유용하지 않다는 의미는 아닙니다. JMP의 많은 모델링 플랫폼은 이러한 "결측성"을 활용하여 단순히 관찰을 무시하는 대신 더 나은 모델을 구축할 수 있습니다. 예를 들어 Partition 플랫폼, Fit Model 및 Neural은 정보 누락으로 알려진 것을 활용하여 누락을 예측 변수로 사용할 수 있습니다. 모델링에서 유익한 누락을 사용하는 것 외에도 두 가지 모델링 유틸리티인 이상값 탐색 및 누락 값을 활용할 수도 있습니다. 이를 통해 데이터에 있지만 누락된 것으로 간주되어야 하는 값(예: 기계 오류 코드)을 누락으로 변경할 수 있으므로 모델 예측에 영향을 미치지 않습니다. 또는 누락된 값을 대치하여 값이 무엇인지 추정할 수도 있습니다. 누락된 값을 적절하게 분류하고 처리하면 핵심 통찰력을 놓치는 일이 없습니다.
4. 데이터 척
마지막 유형의 고스트 데이터는 우리가 구성하는 데이터입니다. 가상 데이터 또는 시뮬레이션 데이터를 사용하여 가설을 테스트하고, 실험 설계가 반응을 감지할 수 있는 충분한 검정력을 가지고 있는지 확인하거나 요인 변동에 대한 공정을 견고하게 만드는 데 도움을 줄 수 있습니다. 주요 질문에 답하기 위한 데이터를 생성하는 시뮬레이션 도구는 JMP의 다양한 위치에서 찾을 수 있습니다. Profiler에는 Monte Carlo 시뮬레이션이 내장되어 있습니다. DOE 플랫폼에서 응답 시뮬레이션 옵션을 사용할 수 있습니다. JMP 예상 효과 크기 및 오류 추정치와 함께 실험에서 효과를 탐지하기에 충분한 런이 있는지 확인합니다. 에서 오른쪽 클릭 시뮬레이션 기능을 사용할 수 있습니다. JMP 프로 이 전력 분석 또는 Hierarchical Bayes의 MCMC를 더 깊이 파고들어 각 개별 주제와 선호도 구조에 따라 다른 개인과 어떻게 다른지 살펴봅니다.
데이터를 탐색하는 과학자와 엔지니어를 위해 John은 다음과 같은 지침을 제공합니다. “우리는 데이터 세계의 탐정입니다. 존재하지 않는 고스트 데이터와 잘 작동하는 방법을 배워야 합니다. 그렇지 않으면 비효율적이거나 잘못된 결론에 도달하거나 발견을 놓칠 수 있습니다.”
당신은 볼 수 있습니다 요한의 연설 녹음 여기 JMP 사용자 커뮤니티에서.
