대형 CSV 파일과 함께 Query Builder 사용오늘 고객과 쿼리 빌더에 대해 이야기하고있었습니다. 고객은 대용량 (3GB 이상)의 CSV 파일을 보유하고 있습니다. JMP에 직접로드하려고 시도했지만 상당한 성능 저하가 발생했습니다. 데이터를 가져 오려는 이유는 분석을 위해 합리적으로 크기가 큰 부분을 부분 집합 화하기 위해서였습니다. 그들은 Query Builder가 CSV 파일로 직접 작업 할 수 있는지 알고 싶었습니다.
필자는 SQLite 용 DB 브라우저를 사용하여 CSV를 쿼리 작성기가 쿼리 할 수있는 SQLite 데이터베이스로 변환하는 것이 매우 쉽다고 제안했습니다. 나는 직접 접근하는 것이 불가능할 것이라고 생각했다. 나는 누군가가 이것에 대한 전략이나 생각을 갖고 있는지보고 싶었다.
생각?
엠
제목 : Re : 대형 CSV 파일과 함께 Query Builder 사용하기업데이트 - ActualTech은 버그를 발견하고 드라이버 및 일부 모하비 지원 관련 문제를 업데이트합니다. 그들은 업데이 트가 다가올 때에 대한 내게 줘야하지 않았다.
엠제목 : Re : 대형 CSV 파일과 함께 Query Builder 사용하기Welp - 쿼리 작성기에서 CSV를 직접 가져 오는 방법이 있습니다. Microsoft (Windows) 및 ActualTech (MacOS)는 CSV, TSV 및 XSLX 파일을 데이터 소스로 취급 할 수있는 드라이버를 만듭니다 ... 즉, 쿼리 작성기에서 ODBC로 쿼리 할 수 있습니다. 이것이 열리는 옵션은 정말로 흥미 롭습니다 ...
Windows의 경우 액세스 드라이버 세트를 설치해야합니다. 나는 그 일부를 여기에서 발견했다 ( https://www.microsoft.com/en-us/download/details.aspx?displaylang=en&id=13255 ). 그런 다음 새 데이터 소스를 설정하는 것입니다. CSV가 내 Windows 7 VM을 사용하여 예상대로 작동하는지 확인했습니다.
(편집 - 현재 드라이버 세트가 더 있습니다 : https://www.microsoft.com/en-us/download/details.aspx?id=54920 )
Mac의 경우 ActualTech의 액세스 드라이버를 사용합니다. 또한 쉽게 설정할 수 있지만 쿼리 작동 방식에는 몇 가지 문제가 있습니다. 나는 그것이 운전자 문제라고 확신한다. 그래서 나는 그것에 대해 ActualTech에 질문을 가지고있다. 나는 그들로부터 소식을들은 후에 이것을 업데이트 할 것이다. 연결 및 쿼리가 작동하지만 중지하지 않고 결과를 반복해서 반복하는 것으로 보입니다. (즉, 300 행 csv에 대한 결과는 300 개의 행이 반복적으로 반복되는 결과로 쿼리를 종료하기 전에 결과가 1M 행만큼 많을 수 있음).
따라서 Windows는 고객에게이를 보여줄 수 있습니다. 맥 - 잠시만 기다려 보자.
엠
제목 : Re : 대형 CSV 파일과 함께 Query Builder 사용하기아마 그랬을 것입니다. CSV 파일에서 QB를 직접 사용할 수 있기를 정말로 원하지만, 좋은 지적입니다. 어쩌면 데이터 테이블 QB와 결합하면 좋은 해결책이 될 것입니다.
엠제목 : Re : 대형 CSV 파일과 함께 Query Builder 사용하기나는 Query Builder가 아닌 직접 텍스트 가져 오기 BTW를 언급하고 있습니다.제목 : Re : 대형 CSV 파일과 함께 Query Builder 사용하기그들은 전체 파일을 스캔하는 대신 5 초 동안 열 유형 만 검색하도록 환경 설정을 했습니까?
브라이언
제목 : Re : 대형 CSV 파일과 함께 Query Builder 사용하기결국에는이 파일을 읽을 것이지만 문제는 JMP가 파일을 처리하기 전에 전체 파일을 읽으려고 시도한다는 것입니다. 하드웨어 문제는 아니지만 JMP에서 플랫 파일을 처리하는 방법에 대한 문제입니다.
엠제목 : Re : 대형 CSV 파일과 함께 Query Builder 사용하기이것이 PC에만 해당되는지 아십니까? Mac 용 정보를 찾을 수 없습니다.제목 : Re : 대형 CSV 파일과 함께 Query Builder 사용하기이것은 나의 첫 번째 생각이었습니다 - 그러나 "미리보기가있는 데이터"옵션은 JMP가 미리보기를 얻기 전에 전체 파일을 구문 분석 할 것을 요구합니다 ... 그것은 느린 단계입니다. 멈추지 않고, 옵션을 얻기 전에 파일을 처음 읽는 것은 영원히 필요합니다.
엠제목 : Re : 대형 CSV 파일과 함께 Query Builder 사용하기마이크,
얼마나 많은 RAM이 설치되어 있는지 알고 계십니까?
어떤 다른 응용 프로그램을 열었습니까?
일반적으로 최소 RAM = 파일 크기의 2Xs,이 경우 최소 3GB 파일을 여는 최소 RAM은 최소 6GB RAM이 필요합니다.
그리고 그들은 3GB 파일 중 1 개를 열려고합니까?
Excel로 각 CSV 파일을 직접 여는 시간은 무엇입니까? JMP에서 CSV 파일을 열어서 비교할 수있는 시간을 기대합니다.
스탠
제목 : Re : 대형 CSV 파일과 함께 Query Builder 사용하기Office가 설치되어있는 경우 Microsoft에서 제공하는 텍스트 용 ODBC 드라이버가 있습니다. 그러나 성능 문제에 도움이 될 것으로 확신하지는 않습니다. JMP에서 텍스트 파일을 완전히 사용하지 않고도 데이터베이스 쿼리 작성기를 통해 간단한 Where 절을 수행 할 수 있습니다.
브라이언
제목 : Re : 대형 CSV 파일과 함께 Query Builder 사용하기"미리보기가있는 데이터"에서 파일을 열 때 CSV의 하위 집합을 만들 수 있습니다. 그들은이 작업을 수행하는 동안 멀리까지 달릴 수 있습니까?
