<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />JMP는 데이터 테이블에서 머신의 총 실제 메모리 크기의 절반 정도를 처리 할 수 있습니다. 따라서 16GB 머신은 8GB 데이터 테이블의 데이터 테이블을 처리 할 수 있고 8GB 머신은 4GB 데이터 테이블을 처리 할 수 있습니다.
이 가이드 라인은 JMP가이 크기의 데이터 테이블을 열어서 간단하고 기본적인 분석을 할 수 있어야한다는 것을 의미합니다. 옵션과 사용되는 특정 데이터에 따라 상당한 양의 메모리가 필요할 수있는 많은 분석, 테이블 조작 및 모델 작성 플랫폼이 있습니다. 모든 분석이나 작업을이 크기의 데이터 테이블로 수행 할 수 있다고 약속 할 수는 없습니다.
데이터 테이블의 크기를 가장 잘 예측하는 것은 디스크의 (압축되지 않은) 크기입니다. 텍스트 (예 : .csv, .txt) 형식의 데이터 크기는 합리적인 대리 변수이기도합니다.
JMP가 처리 할 수있는 행이나 열 수에 대한 지침을 제공 할 수는 없으므로 저장되는 데이터 유형과 유형의 조합에 크게 의존합니다.
JMP 데이터 테이블에는 두 가지 다른 형태의 "압축"이 있습니다.
선택한 열 압축
a) 영향을받을 열을 선택하십시오.
b) Cols -> 선택한 열 압축
이 옵션은 다음과 같습니다.
• 열에 고유 값이 255 개 미만인 경우 문자 열에 목록 검사 (기본 순서)를 추가합니다.
• 열의 모든 값을 저장할 수있는 경우 숫자 열을 최소 1 바이트, 2 바이트 또는 4 바이트 정수로 변경합니다. 정수 값 열만 검사됩니다.
• 1 바이트 정수의 경우 저장할 수있는 범위는 -126에서 127 사이입니다.
• 2 바이트 정수의 경우 저장할 수있는 범위는 -32,766에서 32,767 사이입니다.
• 4 바이트 정수의 경우 저장할 수있는 숫자의 범위는 -2,147,483,646에서 2,147,483,647 사이입니다.
• 목록 검사가 이미있는 경우 열을 변경하지 않습니다.
이 옵션은 메모리에 데이터 테이블을 보관하는 데 필요한 메모리 양에 영향을 미치므로 JMP가 더 많은 데이터로 작업 할 수 있도록 허용 할 수 있습니다.
표 압축하기
a) 데이터 테이블의 빨간색 삼각형 메뉴에서 "저장된 파일 압축"옵션을 설정하십시오.
이 옵션은 gz 압축을 사용하여 파일을 디스크에서만 작게 만듭니다. 데이터는 압축되지 않은 상태로 메모리에 저장됩니다.
제프 퍼킨슨
JMP 고객 관리 매니저
SAS Institute Inc.
SAS Campus Drive • 노스 캐롤라이나 캐리 27513 • 미국
전화 번호 : 919-531-6521
이메일: Jeff.Perkinson@jmp.com Jeff.Perkinson@jmp.com >
몫. 청하다. 배우다. 잇다. - community.jmp.com < https://community.jmp.com >
JMP 사용자 커뮤니티에서 나와 연결하기 < https://community.jmp.com/people/jeff.perkinson >.
2016 년 7 월 17 일 오전 8시 12 분에 척 보일러 (Chuck Boiler) Chuck.Boiler@jmp.com Chuck.Boiler@jmp.com >> 쓴 :
안녕하세요 제프. 귀하의 그룹이이 분야의 문서를 제작했는지 궁금합니다. 나는 이번 주에 당신을 만나기를 바랍니다. 만약 당신이 이런 종류의 내용에 접근 할 수 있다면 그것에 대해 이야기 할 수 있습니까? 주말 축복이 당신에게 있습니다. . 척
내 iPhone에서 전송되며 때로는 음성과 함께 전송됩니다. 오류를 용서하십시오.
전달 된 메시지 시작 :
올린 사람 : 척 보일러 < Chuck.Boiler@jmp.com Chuck.Boiler@jmp.com >>
날짜 : 2016 년 7 월 17 일 5시 8 분 55 초 PDT
받는 사람 : Laura Higgins < Laura.Higgins@jmp.com Laura.Higgins@jmp.com >>
참조 : Louis Valente < Louis.Valente@jmp.com Louis.Valente@jmp.com >>
Subject : Re : JMP가 처리 할 최대 데이터 세트 크기는 얼마입니까 (효율적으로)?
고마워요, 로라. Cary에서이 주제에 관한 데이터를 가진 사람을 찾을 수있을 것입니다. 이번 주에 그것에 대해 이야기 해 봅시다. 안전한 여행. 척
내 iPhone에서 전송되며 때로는 음성과 함께 전송됩니다. 오류를 용서하십시오.
2016 년 7 월 16 일 오후 12시 3 분에 Laura Higgins < Laura.Higgins@jmp.com Laura.Higgins@jmp.com >> 쓴 :
나는 이것에 도움이 필요해. 우리는 XXXXX 관리를위한 문서를 만들어야합니다. 나는 다음 주에 더 설명 할 수있다. 나는 이것을 레이더에서 얻고 싶다. 어쩌면 당신 중 한 명이 이미 이런 짓을 한거야?
Laura.Higgins@JMP.com Laura.Higgins@jmp.com > 모바일 중
전달 된 메시지 시작 :
에서:
날짜 : 2016 년 7 월 15 일 오후 6시 39 분 23 초 (PDT)
받는 사람 : Laura Higgins < Laura.Higgins@jmp.com Laura.Higgins@jmp.com >>
Subject : Re : JMP가 처리 할 최대 데이터 세트 크기는 얼마입니까 (효율적으로)?
이 Laura를 가져 주셔서 감사합니다. 저는 지금 중국에 있습니다. 그래서 2 ~ 3 주 내에 다시 연락 할 것입니다.
"JMP가 데이터의 크기 때문에 언제 깨지는가"와 "압축 등 JMP 분석 효과를 극대화하기 위해 우리가 할 수있는 일은 무엇입니까?"
나는 당신과 동그라미를 할 것이므로 우리는 (이미 또는 다른 누군가) 이미 그러한 파일 / 문서가 없다면 참조 문서를 만들 수 있습니다. 팀에 밀어 넣는다.
2016 년 7 월 16 일 5:55 AM, Laura Higgins < Laura.Higgins@jmp.com Laura.Higgins@jmp.com >> 쓴 :
안녕 존-
행 또는 열 수에 대한 JMP 데이터 테이블에는 구조적 제한이 없습니다.
귀하의 질문에 대답하기가 약간 어렵습니다. 왜냐하면 열에있는 것과 JMP에서 어떤 작업을하는지에 달려 있기 때문입니다.
숫자는 문자 데이터보다 공간을 적게 차지하며 열을 압축하고 (사용되지 않는 비트 제거) 압축 된 데이터 테이블로 작업 할 수 있습니다. 이렇게하면 JMP 파일 크기가 크게 줄어 듭니다.
많은 작업이 다중 코어를 활용하기 위해 다중 스레드됩니다. JMP를 느리게 할 수있는 한 가지는 눈금이 많은 시각적 그래프 및 / 또는 점입니다.
나는 단지 1,000,000 행과 3600-ish 열의 데이터 테이블을 구성합니다.
1) 압축되지 않은 숫자 = 29.13GB;
2) 압축 열 = 3.5GB
따라서 열을 압축하면 거의 10x 공간이 절약됩니다!
1은 16 GM 메모리를 실행하고 처음에는 JMP 테이블을 생성 / 저장하기 위해 느려졌습니다. 압축 된 열을 사용하여 더 작은 데이터 테이블처럼 작동했습니다!
또한 문서에서. 집에 가져가 - 압축 열은 분석 속도를 높입니다. 데이터 테이블을 압축하면 분석 속도가 향상되지 않습니다.
저장시 파일 압축
저장시 데이터 테이블을 압축합니다. 데이터 테이블을 저장하면 테이블 패널의 데이터 테이블 이름 옆에 압축 파일 아이콘 이 나타납니다. 표 압축하기 < http://www.jmp.com/support/help/Edit_Data_Tables.shtml#626887 > 데이터 입력 및 편집에서 < http://www.jmp.com/support/help/Edit_Data_Tables.shtml#626887 >.
팁 : 환경 설정> 일반> 데이터 테이블 열 저장 GZ 압축을 선택하여 테이블을 저장할 때 항상 GZ 압축을 사용하도록 JMP를 구성 할 수도 있습니다.
참고 : 저장시 파일 압축 옵션은 파일 크기 만 줄입니다. 이 명령은 데이터를 분석하는 데 필요한 메모리에는 영향을주지 않습니다. 파일 크기와 분석에 필요한 메모리를 모두 줄이려면 대장> 유틸리티> 선택한 열 압축을 사용하십시오. 선택한 열 압축하기 < http://www.jmp.com/support/help/Restructure_Data.shtml#769643 > 데이터 입력 및 편집에서 < http://www.jmp.com/support/help/Restructure_Data.shtml#769643 >.
문자 데이터는 열에 무엇이 있는지에 따라 달라지기 때문에 예측하기가 어렵습니다. 문자 데이터를 압축하면 체크리스트로 바뀝니다 (입력 옵션을 기존 옵션 세트로 효과적으로 제한 함 - 원본 데이터를 수정하지 않는 한 별 효과 없음).
맑은 대답은 아니지만이 정보가 도움이되기를 바랍니다!
건배!
로라
Laura A. Higgins, Ph.D.
JMP Sr. 시스템 엔지니어
650.454.0633 | Laura.Higgins@jmp.com Laura.Higgins@jmp.com > | #LauraHigginsPhD | www.jmp.com < http://www.jmp.com/ > | SAS Institute Inc. | 샌프란시스코
나는이 도전에 대한 Kaggle 데이터를 둘러보고 있었다. https://www.kaggle.com/c/bosch-production-line-performance
약 1000 개의 열이있는 두 개의 테이블과 약 2000 개의 세 개의 테이블이 있으며 세 개의 테이블 모두 1.18MM 행이며 누락 된 데이터가 많이 있습니다. (훈련을위한 3 개의 테이블과 테스트를위한 3 개의 테이블).
Mac에서 16GB RAM을 사용하여 파일을 열고 압축 열을 사용한 다음 테이블을 매우 조심스럽게 조인 할 수있었습니다. 몇 가지 단계를 위해 행 또는 열로 테이블을 분할하는 방법에 대해 생각해보십시오.
전체 4K + 열 파일과 모든 행이 메모리에 저장되므로 편리합니다. 파일은 느리게로드되고 느리게 저장됩니다. 데이터를 채우기 위해 수식을 추가하면 트리 모델 열이 완전히 평가되는 데 1 분 정도 걸릴 수 있습니다. 대용량 파일 작업은 지루합니다. 조기에 저장하면 JMP가 갑자기 64GB의 메모리를 원하고 정지 상태가되면 다시 덤프하고 다시 시작합니다.
나는 이것이 축 어적으로 나누는 것이 괜찮다고 생각한다.
JMP can handle at data table about half as big as the total amount of physical memory on the machine. So, a 16GB machine can handle a data table can 8GB data table and an 8 GB machine can deal with a 4GB data table.This guideline means that JMP should be able open a data table of this size and do simple and basic analyses on it. There are many analyses, table manipulations and model building platforms that can require significant amounts of memory, depending on the options and the specific data being used. We can’t promise that every analysis or operation can be performed with data tables of this size.The best estimate of the size of a data table is its (uncompressed) size on disk. The size of the data in text (e.g. .csv, .txt) format is a reasonable surrogate also.We can’t provide guidance on how many rows or columns JMP can handle since it’s highly dependent on the combination of the two and the types of data stored.There are a two different forms of “compression” for JMP data tables.Compress Selected Columnsa) Select the columns to be affectedb) Cols -> Compress Selected ColumnsThis option:• adds a List Check (default order) to character column if the column has less than 255 distinct values.• changes numeric columns to the smallest 1-byte, 2-byte, or 4-byte integer if all values in the column can be stored. Only integer values columns are checked.• For 1-byte integer, the range of numbers that you can store is from -126 to 127.• For 2-byte integer, the range of numbers that you can store is from -32,766 to 32,767.• For 4-byte integer, the range of numbers that you can store is from -2,147,483,646 to 2,147,483,647.• It will not change the columns if they have list check already.This option affects the amount of memory required to hold a data table in memory and, therefore, can allow JMP to work with more data.Compress Tablesa) Set option, “Compress File when Saved”, from red triangle menu on data table.This option uses gz compression to make the file smaller on disk only. The data is stored uncompressed in memory.
