빅데이터에 오랜 시간이 걸렸다안녕,
저는 더 큰 데이터 세트, 1000개의 변수, 500개의 주제에 대해 JMP를 사용하고 있습니다. 단순 적합 모델을 실행하는 데 몇 분 정도의 오랜 시간이 걸립니다. 나는 64G RAM, 4g GPU 등을 갖춘 좋은 노트북을 가지고 있습니다. JMP를 실행할 때 사용량이 30%에 가까워도 JMP가 어떤 작업을 수행하는 데는 시간이 오래 걸립니다. 저는 JMP Realtime에 우선순위를 두었습니다.
어떤 제안이 있으십니까?
최상의
카밀
고급 통계 모델링데이터 탐색 및 시각화Re: 빅데이터에 오랜 시간이 걸렸습니다.안녕하세요 카밀님,
병목 현상은 Fit Model>Standard Least Squares 구현입니다. 개별적으로 맞춰도 1000개의 모델 결과를 하나의 보고서에 담으려고 합니다. 그리고 그것은 시작에 불과합니다. 내 생각에는 이 작업이 선형 시간(한 번에 하나씩)으로 수행되므로 하나의 프로세서/스레드가 보고서 생성에 사용됩니다. 하지만 나는 단지 추측일 뿐입니다.
JMP로 컴퓨터 리소스를 사용하는 방법을 지정할 수 있는지 잘 모르겠습니다(일부 플랫폼 대화 상자에서 플랫폼별로 멀티스레딩을 끄는 경우 제외). 많은 플랫폼이 이미 멀티스레드를 사용하고 있습니다(Response Screening도 그 중 하나일 것 같습니다). Fit Model> Standard Least Squares에 대해 잘 모르겠습니다. 나는 또한 보고서 생성이 단일 스레드라고 추측하고 있습니다. 하지만 이 상황이 이면에서 어떻게 작동하는지 알려줄 개발자가 필요합니다. 일부 기능은 멀티스레드가 불가능하므로 최대 CPU 용량 활용이 불가능할 수 있습니다. 기억도 비슷하다. 대규모 데이터 세트(양방향 계층적 클러스터에서 1000x1000)를 클러스터링하는 것만으로도 모든 메모리를 소비할 수 있습니다. 이는 주로 그래픽 출력을 생성하기 위한 정보를 저장하는 것입니다.
이 내용을 통해 JMP가 백그라운드에서 수행하는 작업에 대해 어느 정도 알 수 있기를 바랍니다. 가능하다면 해당 기능/능력/플랫폼에 사용 가능한 모든 리소스를 사용하려고 시도합니다.
그런데 우리는 귀하와 같은 광범위한 데이터 세트를 수용할 수 있도록 JMP Pro를 계속해서 개선하고 있습니다. 모형 적합>혼합 모형은 보고서를 배치하고 테이블만 표시하는 빨간색 삼각형 옵션이 있는 한 가지 예입니다. 이를 통해 수천 개의 응답에 대해 혼합 모델을 빠르게 맞출 수 있지만 그래픽 기반 보고서는 제공되지 않습니다.
Re: 빅데이터에 오랜 시간이 걸렸습니다.안녕하세요 크리스,
저는 JMP 17 Pro를 사용하고 있습니다. 팁 고마워. 이렇게 하면 작업이 더 빨라집니다. 그런데 JMP가 내 컴퓨터 용량을 더 많이 사용할 수 있도록 하는 방법/설정이 있습니까? 병목 현상이 무엇인지 이해하려고 노력합니다.
최상의
카밀
Re: 빅데이터에 오랜 시간이 걸렸습니다.안녕 @카밀 ,
어떤 버전의 JMP를 사용하고 있나요? Fit Model의 Response Screening Personality를 사용해 보셨나요? JMP Pro가 있다면 이 특성이 존재하는 것입니다. JMP만 있는 경우 분석>스크리닝>응답 스크리닝에서 응답 스크리닝을 찾을 수 있습니다(이 방법을 사용하면 한 번에 하나의 모델 효과만 테스트할 수 있습니다). 응답 선별은 이를 위해 특별히 설계되었으며 속도가 매우 빠릅니다.
Re: 빅데이터에 오랜 시간이 걸렸습니다.P_Bartell 여러분, 안녕하세요.
당신의 응답을 주셔서 감사합니다. 이것이 대사 데이터입니다. 500개의 주제(행)에서 측정된 열로 구성된 1000개의 연속형 변수. 내가 실행하려고 했던 적합 모델은 공변량을 사용한 유전자형(단지 2개의 범주형 그룹) 효과에 대한 t-검정일 뿐입니다. 따라서 Y의 모든 대사산물과 유전자형, BMI, 성별, 연령을 모델 효과로 사용합니다. 별도로 맞춥니다.
해당 작업 중에 내 컴퓨터가 전체 용량을 사용하지 않는 이유를 이해하려고 노력하고 있습니다. 내 CPU는 30%이고 RAM은 10%일 수 있습니다. 여기서 병목 현상은 무엇입니까? 내 컴퓨터를 더 많이 사용하도록 JMP를 설정할 수 있나요?
감사해요
카밀
Re: 빅데이터에 오랜 시간이 걸렸습니다.그리고 숫자 데이터인가요, 아니면 문자열인가요? 문자열인 경우 문자열을 포함하는 변수는 몇 개이며 문자열의 특성은 무엇입니까?
Re: 빅데이터에 오랜 시간이 걸렸습니다.조금 추가하려면 @peng_liu 님의 생각에, '변수'의 특성과 같이 데이터에 대해 좀 더 자세히 알려주시면 지침을 제공하는 데 도움이 될 수 있습니다. 모두 x이고/또는 y는 몇 개인가요? '변수'와 '주제'를 구별/설명해주세요. 일부 플랫폼에서는 데이터 유형이 처리 시간에도 영향을 미칠 수 있습니다. 그리고 '심플핏 모델'은 실제로 어떤 성격을 선택했는지 알려주지 않습니다. 일부는 다른 것보다 시간이 더 오래 걸릴 수도 있습니다. 각 플랫폼 대화 상자에는 모델이 필요합니다. 모델 구조가 무엇인지 알려주실 수 있나요? 마지막으로 모델링 목표에 대해 더 자세히 말씀해 주시겠습니까? 모델링 목표가 변수 식별인 경우 '...1000개의 변수...'를 사용하면 아마도 Fit Model과 그 안의 성격을 살펴볼 마지막 플랫폼일 것입니다.
Re: 빅데이터에 오랜 시간이 걸렸습니다.사용량이 30%라고 하신게 CPU인가요? 메모리 크기에 대해 이야기하고 있지 않은 것 같습니다. 특정 모델링 유형에 대해 말씀하시는 것 같은데, 데이터의 크기(또는 복잡성)로 인해 성능이 느립니다. 예를 들어 최소 제곱법에는 이와 같은 문제가 없어야 하지만 다른 방법에서는 그럴 수 있습니다.
Re: 빅데이터에 오랜 시간이 걸렸습니다.스크립팅에서 이를 수행하는 경우 메모리 주소 지정 시간을 절약하기 위해 개인 모드에서 데이터 테이블을 열어야 합니다.
가능한 한 많은 RAM을 확보하고 스와핑을 제거할 수 있도록 다른 모든 응용 프로그램을 닫습니다.
