대용량 데이터 테이블을 더 작고, 더 가볍게, 더 빠르게 만들기 위한 팁<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />테이블을 더 빠르게 만드는 방법에 대한 팁이 있는 사람이 있나요?저는 약 3억 개의 행을 작업하고 있는데 그렇게 힘들게 작업하지 않아도 되도록 만드는 팁이 있는지 궁금합니다.
예를 들어, int가 char보다 작을 것이라고 생각하여 몇 가지 조건 열(값 1, 2, 3, 4,...)을 문자에서 숫자로 바꾸려고 시도했으며 이로 인해 실제로 테이블이 더 느리고 커졌습니다.일부 데이터/모델링 유형은 본질적으로 다른 유형보다 작습니까?아니면 이 일을 더 쉽게 할 수 있도록 누군가가 발견한 어떤 것이든 말이죠.
현재 0-255의 int 값으로 데이터 열을 분류하려고 하며 빈도 열만 있습니다.그런데 전체 해상도 데이터가 필요한 경우 어떻게 할 수 있나요?
Re: 대용량 데이터 테이블을 더 작고, 더 가볍고, 더 빠르게 만드는 팁네이트 & 빈스,
이전에 대규모 데이터 테이블에서 이 작업을 시도한 적이 있습니다. 데이터 테이블을 보이지 않게 만드는 것 외에도 추가 최적화를 위해 데이터 테이블을 비공개로 만들 수도 있습니다(역시 절충점이 있을 수 있음).
1. 보이지 않는
2. 비공개
Brady가 진행한 다음 웹캐스트(일부)에서도 동일한 내용이 표시됩니다.
숙련된 JSL 사용자를 위한 JMP 스크립팅 언어 – 1부 | JMP
Re: 대용량 데이터 테이블을 더 작고, 더 가볍고, 더 빠르게 만드는 팁빈스,
나는 당신이 스크립팅하고 있는 일부 게시물을 본 사실을 활용할 것입니다.존재하는 데이터 유형에 이미 익숙하고 더 큰 데이터 세트에 대해 수행하려는 보고서/분석에 대한 몇 가지 아이디어가 있다면 공개 시 보이지 않는 옵션을 사용해 보는 것은 어떨까요?데이터 테이블을 보이지 않게 열고 보이지 않게 유지하면 I/O가 디스플레이에 저장됩니다.
커뮤니티 토론:
https://community.jmp.com/thread/59784
지원 문서:
http://www.jmp.com/support/help/Basic_Data_Table_Scripting.shtml#Invisible
스크립팅 가이드:
문안 인사,
네이트
Re: 대용량 데이터 테이블을 더 작고, 더 가볍고, 더 빠르게 만드는 팁그러면 모든 것이 쉬워집니다.감사해요
Re: 대용량 데이터 테이블을 더 작고, 더 가볍고, 더 빠르게 만드는 팁제프 퍼킨슨 의 전략이 사용하기에 적합합니다. 핵심은 "선택한 열 압축"이 수행하는 올바른 바이트 크기를 얻는 것입니다.데이터 테이블의 스크립트 영역에서 가장 왼쪽 상단의 빨간색 삼각형 아래에 있는 "저장 시 파일 압축" 기능을 사용하여 디스크의 파일 크기를 줄일 수도 있습니다.텍스트 기반 카테고리 작업에 제가 좋아하는 세 번째 옵션은 다음 추가 기능입니다. https://community.jmp.com/docs/DOC-6111
최상의,
중
Re: 대용량 데이터 테이블을 더 작고, 더 가볍고, 더 빠르게 만드는 팁노력하다 Cols->Utilities->선택한 열 압축 . 선택한 열에 저장된 데이터를 살펴보고 이를 저장할 수 있는 보다 압축된 형식이 있는지 확인합니다.
에서 JMP 테이블 및 열 압축 :
선택한 열 압축의 기능은 다음과 같습니다.
- 열이 있는 경우 문자 열에 목록 확인(기본 순서)을 추가합니다. 고유 값이 255개 미만입니다.
- 열의 모든 값을 저장할 수 있는 경우 숫자 열을 가장 작은 1바이트, 2바이트 또는 4바이트 정수로 변경합니다. . 정수 값 열만 확인됩니다.
- 1바이트 정수의 경우 저장할 수 있는 숫자 범위는 -126부터 127까지입니다.
- 2바이트 정수의 경우 저장할 수 있는 숫자의 범위는 -32,766부터 32,767까지입니다.
- 4바이트 정수의 경우 저장할 수 있는 숫자의 범위는 -2,147,483,646부터 2,147,483,647까지입니다.
- 이미 목록 확인이 있는 경우 열은 변경되지 않습니다.
