대용량 테이블(1,300만 개 이상의 행)을 사용한 JMP v19 Graph Builder 성능JMP v19에서 Graph Builder를 사용하여 대용량 테이블(약 1,300만 행)을 작업할 때 심각한 성능 문제가 발생했습니다. JMP v18에서는 동일한 데이터셋을 원활하게 다룰 수 있었습니다. 패닝, 확대/축소, 변수 전환 등이 모두 원활하게 처리되었습니다. 64GB RAM의 꽤 무거운 워크스테이션에서 약 1,300만 행과 수십 개의 열로 구성된 단일 테이블입니다.
하지만 JMP v19에서는 플롯을 만들거나 조정할 때마다 "모래시계" 지연과 "JMP가 응답하지 않습니다"라는 메시지가 자주 표시됩니다. 동일한 데이터와 설정으로 JMP v18로 돌아가면 다시 원활하게 작동합니다.
JMP v19로 업그레이드한 후 Graph Builder에서 대용량 테이블의 성능이 저하된 것을 경험하신 분이 있는지 궁금합니다. 만약 그렇다면 JMP 버전 간 변경 사항을 확인해 보는 것이 좋을 것 같습니다.
도움이 되는 해결 방법이나 설정(예: 메모리 기본 설정, GPU 설정 등)을 찾으신 분이 있나요?
데이터 탐색 및 시각화윈도우Re: 대용량 테이블(1,300만 개 이상의 행)을 사용한 JMP v19 그래프 빌더 성능여기에는 130만 개의 행이 있습니다. 제 생각에는 GB가 JMP 18과 19에서 모두 느리게 반응하는 것 같습니다.
Re: 대용량 테이블(1,300만 개 이상의 행)을 사용한 JMP v19 그래프 빌더 성능과거에는 심각한 성능 문제를 경험했는데, 이는 종종 열 수식을 예기치 않게 다시 계산하는 데서 비롯되었습니다.
JMP18에서 수정된 심각한 문제:
행을 선택하거나 선택 취소하면 열 수식이 다시 평가되는 이유는 무엇입니까?
도움말: JMP 버전 18 이하에서는 이러한 재계산이 상태 표시줄에 표시됩니다.
JMP 19에서 재계산에 대한 알림을 받으려면 JMP에 다음과 같이 알려달라고 요청할 수 있습니다.
https://community.jmp.com/t5/Discussions/Undocumented-Secrets/mp/908936/highlight/true#M106749
이것이 성능 저하의 원인이 아니라면 메모리 사용량을 확인해 보세요. 프로그램과 그래픽 카드가 메모리를 공유하는 경우, 메모리 부족으로 인해 심각한 문제가 발생할 수 있습니다.
좀 더 자세히 알아보려면, 우리가 분석할 수 있는 더미 파일을 만들어 주실 수 있나요?
때로는 문제가 특정 유형의 데이터나 플롯에만 국한되는 경우도 있습니다.
JMP19에서 왜 무언가가 바뀌었는지에 대한 논쟁은 없습니다. 하지만 저는 @레셀 의 의견에 동의합니다.
많은 유형의 플롯의 경우, 일부 Mio 행에서 JMP가 느리게 반응하기 시작합니다.
JMP는 훨씬 더 큰 데이터 파일을 처리할 수 있지만, 어떤 때는 사용자가 기다리고 싶어하지 않습니다.
0.5초가 괜찮다면 0.5초씩 5번 하는 건 훨씬 불편하게 느껴집니다. 예를 들어 100만 번 로우가 부드럽게 느껴진다면 500만 번 로우는 재미없죠.
Re: 대용량 테이블(1,300만 개 이상의 행)을 사용한 JMP v19 그래프 빌더 성능도움이 될지 모르겠지만, 16GB 컴퓨터에서 JMP 18을 실행하고 있습니다. 방금 26개의 열과 350만 개의 행이 있는 파일에 Graph Builder를 테스트했는데, 지연 없이 빠르게 작동했습니다.
Re: 대용량 테이블(1,300만 개 이상의 행)을 사용한 JMP v19 Graph Builder 성능열의 수는 속도에 영향을 미치지 않는 것 같습니다.
그리고 행의 경우, 평균의 막대 그래프와 모든 개별 데이터 포인트의 점 플롯을 계산하는 데 걸리는 시간이 다릅니다.
예를 들어, 내 오래된 노트북에서는 sin()의 상자 그림을 계산하는 데 약 6초가 걸리는 반면 row()의 상자 그림을 계산하는 데는 2초가 걸립니다. JMP 18과 JMP19에서는 시간이 거의 비슷합니다.
포인트 플롯을 계산하는 데 시간이 더 오래 걸리는 것 같습니다. JMP18보다 JMP19를 사용하면 조금 더 오래 걸리는 것 같습니다.
귀하의 시스템은 어떻습니까?
New Table( "test",
Add Rows( 10000000 ),
New Table Variable( "categories", 20),
New Column( "row",
Formula( Row() )
),
New Column( "sin",
Formula( Sin( :row / 10 ) )
),
New Column( "rnd",
Formula( Random Integer( :categories ) )
)
)
Re: 대용량 테이블(1,300만 개 이상의 행)을 사용한 JMP v19 그래프 빌더 성능내 컴퓨터에서 모든 열을 채우려면 대략 5인치가 필요할 것 같습니다.
JSL 자체의 런타임은 <0.1''입니다.
이게 좋은 건가요? 1천만 행이면 충분히 괜찮다고 생각합니다. 하지만 이 열들을 GB 단위로 끌어다 놓으면 응답하는 데 시간이 좀 걸립니다. 그래도 (감히 Excel이라고 부르겠습니다만) 이런 문제를 Excel에서 해결하려고 애쓰는 것보다는 훨씬 낫습니다.
Re: 대용량 테이블(1,300만 개 이상의 행)을 사용한 JMP v19 Graph Builder 성능원형 교차로 & 허용 가능.
반면에 그래픽 게임을 실시간으로 렌더링하는 데 얼마나 많은 계산이 필요할지 상상해보세요.
다음 단계: 그래프를 만들어 보세요. 매끄럽고 지연이 없는 그래프는 무엇이고, 대기 시간이 너무 긴 그래프는 무엇일까요?
테이블 생성에 대한 더 정확한 값을 얻으려면 hptime()을 사용할 수 있습니다.
그리고 열 수식의 계산을 고려하기 위해 dt << run formulas 를 기다릴 수 있습니다.
t0 = hp time ();
dt = New Table( "test",
Add Rows( 10000000 ),
New Table Variable( "categories", 20),
);
New Column( "row",
Formula( Row() )
);
New Column( "sin",
Formula( Sin( :row / 10 ) )
);
New Column( "rnd",
Formula( Random Integer( :categories ) )
);
dt << run formulas;
write("t(s): ", (hptime()-t0)/1000000)
