2GB CSV 파일에 대해 쿼리하는 데 문제가 있는 사용자는 2시간이 걸렸습니다. 권장되는 방법이 있습니까? 아니면 큰 파일이 몇 분 정도 걸렸는지 보여주는 데이터가 있습니까? 예: 1GB CSV - 30분
안녕하세요,
꽤 오랜 시간이 걸렸다는 것을 알고 있지만 방금 이 문제에 대한 해결책을 찾았고 이를 공유하고 싶습니다.
JMP 15의 경우 Excel 파일의 데이터를 JMP 테이블 시트에 붙여넣을 때. 이와 같이 하위 행을 선택하면 시간이 오래 걸립니다(응답하지 않음).
그러나 다음과 같이 열의 헤드(시트의 열 1)를 선택하면 원활하게 진행됩니다.
간단하죠?
이 도움을 바랍니다.
기밀 데이터는 파일을 공유하지 못할 수도 있습니다.
권장되는 클럭 속도가 있거나 JMP 애플리케이션에서 클럭 속도 성능을 높이나요?
하드웨어 목록은 괜찮아 보입니다. 위 스크립트는 Windows나 Mac의 JMP에서 실행되어야 합니다. 당신은 우리에게 연락해야합니다 기술 지원 직원 문제가 계속되면. 다음이 필요합니다.
- 문제를 더 잘 이해하기 위한 CSV 파일의 작은 데이터 샘플
- 성공적인 가져오기의 소스 스크립트
- 사용 중인 JMP 버전(12.1, 13.1 등, MS-Windows 또는 Apple-Mac의 경우)
CSV에 유니코드가 아닌 문자, 잘못 인용된 필드 또는 기타 이상한 내용이 포함된 경우 해당 내용을 CSV 샘플에 포함하세요.
JMP를 처음 사용하기 때문에 식별할 수 없습니다. 사용자에게 확인을 요청했습니다. 감사합니다.
결과를 업데이트하겠습니다.
여기 PC 사양 아래에서 제공한 정보는 MAC에만 적용 가능합니까?
Windows용이라면 이 스크립트에 사용할 플랫폼이 필요합니다.
JMP를 처음 접하고 사용자 보고 문제를 지원하고 있으므로 조언을 부탁드립니다. 감사합니다.
당신은 사용할 수 있습니다 원천 이전 가져오기의 스크립트를 사용하여 파일(또는 유사한 파일)을 다시 가져오면 JMP가 모든 것을 다시 검색하는 것보다 더 빠릅니다. 소스 스크립트는 예상되는 열 수와 데이터 유형을 알고 있습니다.
2GB 텍스트 파일은 메모리가 훨씬 더 클 가능성이 높습니다. 8GB 시스템이 페이징 메모리로 디스크를 많이 사용할 가능성이 있습니다.
이있다 중요한 JMP 13.1의 성능 개선 맥 . MAC에서 JMP를 사용하는 경우 이것이 필요할 수 있습니다.
메모리가 충분한 머신에서는 이 작업이 15분 이내에 실행됩니다.
start=tickseconds();
data = repeat("1,2,3,4,5\!n",2e8);
stop=tickseconds();
show(stop-start,length(data));
start=tickseconds();
file = savetextfile("$temp\deleteme.csv",data);
stop=tickseconds();
show(stop-start,filesize(file));
<BR />data = 0; // release 2GB before opening file<BR />
start=tickseconds();
dt = Open(
file,
columns(
New Column( "a", Numeric, "Continuous", Format( "Best", 12 ) ),
New Column( "b", Numeric, "Continuous", Format( "Best", 12 ) ),
New Column( "c", Numeric, "Continuous", Format( "Best", 12 ) ),
New Column( "d", Numeric, "Continuous", Format( "Best", 12 ) ),
New Column( "e", Numeric, "Continuous", Format( "Best", 12 ) )
),
Import Settings(
End Of Line( CRLF, CR, LF ),
End Of Field( Comma, CSV( 1 ) ),
Strip Quotes( 0 ),
Use Apostrophe as Quotation Mark( 0 ),
Use Regional Settings( 0 ),
Scan Whole File( 0 ),
Treat empty columns as numeric( 0 ),
CompressNumericColumns( 0 ),
CompressCharacterColumns( 0 ),
CompressAllowListCheck( 0 ),
Labels( 0 ),
Column Names Start( 0 ),
Data Starts( 1 ),
Lines To Read( "All" ),
Year Rule( "20xx" )
)
);
stop=tickseconds();
show(stop-start,nrows(dt));예, 5초 옵션을 실행했지만 스캔 속도가 빨랐을 뿐만 아니라 가져오기 속도도 여전히 느렸습니다.
하지만 이 JMP Pro 13에서는 "텍스트 가져오기 기본 설정" 옵션을 볼 수 없습니다.
나에게는 성과 데이터가 없으므로 다른 사람들에게 공유하도록 하겠습니다.
하지만 미리 데이터 레이아웃에 대해 어느 정도 확신이 있다면 텍스트 가져오기 프로세스 속도를 높일 수 있다는 점을 알아 두십시오."Best Guess" 대신 "Text Import Preferences"를 사용하여 파일을 열면 가져오기 속도가 빨라집니다.또한 텍스트 데이터 파일의 기본 설정 패널에서 "열 유형을 결정할 때"에서 "5초 동안 검색"을 선택하면 수천 개의 열이 없는 경우 도움이 될 수 있습니다.
브라이언 코코란
JMP 개발
