대규모 데이터 세트에서 상관 관계 탐색<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />저는 JMP pro를 사용하고 있으며 공장의 생산 또는 일부 다른 성능 매개변수에 어떤 영향을 미칠 수 있는지 알아보고자 하는 공장 공정 변수의 대규모 데이터 세트로 작업하고 있습니다. 이 작업을 시작하는 방법에 대한 가이드나 리소스가 있습니까? YouTube에서 JMP 동영상을 살펴보았지만 분석에 대해 깊이 들어가지는 않습니다. 에스 오 멀리 나는 내가 보고 있는 요인의 수를 줄이기 위해 "예측 변수를 선별"해야 한다는 것을 알아냈습니다. 다음이 회귀 모델에 적합하거나 PCA, 쌍별 상관 관계 등으로 데이터를 추가로 탐색하거나 필요한 경우 확실하지 않습니다. 주의 깊은 내 데이터가 정상적인 데이터가 아니거나 0이 많은 경우 올바른 분석을 선택하기 전에
또한 CCA(표준 대응 분석)를 사용하여 R에서 내 것과 같은 데이터와의 상관 관계를 탐색하는 멋진 플롯을 보았습니다. JMP에 유사하거나 더 나은 것이 있습니까?
나는 이런 종류의 분석에 익숙하지 않으므로 어떤 아이디어도 당신은 가지고 시작하는 방법이 도움이 될 것입니다. 감사해요.
Re: 대규모 데이터 세트에서 상관 관계 탐색https://community.jmp.com/docs/DOC-9923
위의 추가 기능은 x x y 상관 관계를 보기 위한 또 다른 옵션입니다. 최근에 프로세스 데이터 프로젝트에서 사용했습니다.
Re: 대규모 데이터 세트에서 상관 관계 탐색Scagnostics라는 멋진 JMP 추가 기능을 사용할 수 있습니다.대규모 데이터 세트 내의 상관 관계 구조를 확인하는 데 자주 사용합니다.
Re: 대규모 데이터 세트에서 상관 관계 탐색나는 당신이 일종의 데이터 웨어하우스/기록 시스템에서 이 데이터를 물려받았고 많은 열과 행이 있다고 가정합니다. 다음과 같은 관점에서 데이터 품질을 살펴보는 데 얼마나 많은 시간을 보냈습니까?
1. 특이점? 이 문제를 살펴보기 좋은 곳은 Cols -> Modeling Utilities -> Explore Outliers 경로입니다.
2. 누락된 값? 이 문제를 살펴보기에 좋은 곳은 Cols -> Modeling Utilities -> Explore Missing Values 경로입니다.
3. '9999' 코드와 같은 의미 없는 값이 있는 경우 JMP의 Cols -> 유틸리티 -> 경로 재지정을 사용하여 이를 수정/복구하는 방법을 생각해 보십시오.
4. 마지막 데이터 품질 작업으로 예측 모델 구축을 진행할 예정이라면 JMP Pro의 Cols -> Modeling Utilities -> Make Validation Column 플랫폼을 사용하여 해당하는 경우 다음을 포함하는 Validation 열을 생성해야 합니다. 교육, 검증 및 테스트 구조.
데이터 품질/정리가 완료되면 도움이 될 수 있는 여러 JMP Pro 플랫폼이 있습니다. 각각은 태양 아래에서 자신의 위치를 가집니다. 군집화, 모델 적합 -> 부분 최소 제곱, 모델 적합 -> 일반화 회귀(그런 다음 각 상황의 세부 사항을 기반으로 하위 특성 선택)를 사용한 주성분 분석, 모델을 구축하고 평가하는 경우 결측값 대치(만약 필요하고 적절함) 생성한 유효성 검사 열을 활용합니다. 다른 JMP 모델링 플랫폼도 유용할 수 있습니다...저는 이 게시물에서 JMP Pro 아이디어에 초점을 맞추고 있습니다.
Re: 대규모 데이터 세트에서 상관 관계 탐색1. 데이터 변환은 열 단위로 처리되어야 합니다.변환된 데이터에 대해 분석을 수행할 때 통계가 매개변수를 올바르게 계산할 수 있도록 하기 위한 것입니다.변환된 값을 사용하여 데이터를 보고하지 않습니다.
2. 올바른 변환을 결정하는 가장 좋은 방법은 JMP에서 배포 플랫폼을 사용하고 빨간색 삼각형 아래에서 요청하는 것입니다.
연속 맞춤==>모두
데이터 분포가 무엇인지에 대한 결과를 제공하고 거기에서 변환된 상태로 데이터를 저장할 수 있습니다.데이터를 가장 잘 설명하는 것으로 발견된 분포에 사용 가능한 변환이 없는 경우 GLog(일반화된 로그) 변환이 도움이 되는지 확인할 수 있습니다.
3. 대상 응답 변수가 있는 경우 Bootstrap Forrest 및 Boosted Tree를 사용하여 데이터 쌍을 이루는 데 사용할 열을 찾았습니다. 일반 분산 데이터가 필요하지 않습니다.
Re: 대규모 데이터 세트에서 상관 관계 탐색귀중한 정보를 주신 모든 분들께 감사드립니다. 데이터 변환에 관한 몇 가지 후속 질문이 있습니다.
1. 내가 이해한 바에 따르면 일부 열은 변환하지만 다른 열은 변환하지 않습니까? 다운스트림 분석을 위해 모든 데이터를 동일한 방식으로 변환해야 하지 않습니까?
2. 0이 많은 열이 있습니다. 로그 변환은 일부를 정규화하지만 0을 누락된 데이터로 변환하는 것처럼 보입니다. 이 작업을 수행하는 쉬운 방법이 있는지 또는 JMP에서 이를 처리하는 방법에 대한 가이드가 있는지 확실하지 않습니다.
3. 데이터 정규화가 불가능하거나 필수적이지 않은 경우 이러한 데이터를 추가로 분석하기 위해 선호하는 방법이나 피해야 할 방법(PCA?)이 있습니까?
변환 및 스크리닝 다음 단계는 "적합 모델" 플랫폼에서 가장 강력한 기여자를 사용하고 모델을 비교하는 것이라고 추측합니다.
Re: 대규모 데이터 세트에서 상관 관계 탐색안녕 karen@boulderstats .
Domain(프로세스 전문가) + Method(분석 전문가)는 훌륭한 파트너십입니다.
나는 당신의 많은 것을 즐기고 배웠습니다 분석적으로 말하기 에피소드 지난주 !
또한 훌륭한 지침을 제공하는 JMP 커뮤니티 전문가로부터 많은 것을 배우고 있습니다.
매우 감사.
- Randy, JMP 초보자
Re: 대규모 데이터 세트에서 상관 관계 탐색Jim은 귀하가 고려해야 할 여러 가지 좋은 단계를 제공했습니다. 컨트롤 차트 빌더를 사용할 수도 있습니다(이러한 데이터와 함께 열 전환기를 사용하여 변수를 단계별로 실행할 수 있음). 컨트롤 차트를 보는 이유는 프로세스 데이터에 시간 요소가 있기 때문입니다.프로세스 데이터는 매우 재미있지만 항상 쉬운 것은 아닙니다(시간 지연, 누락된 데이터 등을 고려할 때 데이터 자체가 복잡함). 이러한 데이터에서 최소한 분석 전문가(예: 통계적 배경을 가진 사람)와 프로세스 전문가(프로세스를 실제로 아는 사람)를 포함하는 팀으로 작업할 때 가치가 생성된다는 것을 알았습니다.
Re: 대규모 데이터 세트에서 상관 관계 탐색나는 일반적으로 큰 데이터를 선별하기 위해 다음과 같은 접근 방식을 취합니다.
1. 내 데이터 중 얼마나 많이 왜곡되었는지 확인하기 위해 모든 데이터에 대해 배포 플랫폼을 실행합니다.행 수가 많으면 데이터를 정규화하기 위해 이상값을 삭제하는 경향이 있습니다.다른 때나 추가로 귀찮은 칼럼을 변신시켜드립니다.나는 이것의 수고를 덜어주기 위해 스크립트를 사용합니다.
2. 다음 단계는 중복 열을 걸러내는 것입니다.저는 일반적으로 이를 위해 3가지 다른 플랫폼을 사용합니다.
ㅏ. PCA는 데이터가 매우 대략적인 정규 형식으로 변환되었거나 변환된 경우 유용합니다.
비. Response Screening은 데이터에 대한 느낌을 실제로 얻을 수 있는 훌륭한 출력 데이터 테이블을 제공합니다.
씨. 부트스트랩 포레스트 파티셔닝은 내가 수행할 세부 분석에 대해 어떤 열이 가장 잠재적으로 기여하는지 보여줍니다.
