대용량 CSV 파일에 쿼리 빌더 사용오늘 한 고객과 쿼리 빌더에 대해 이야기를 나누었습니다. 고객은 대용량(3GB 이상) CSV 파일을 가지고 있습니다. JMP에 직접 로드하려고 했지만, 상당한 성능 저하가 발생하고 있습니다. 고객이 데이터를 가져오려는 이유는 분석에 사용할 수 있는 적절한 크기의 데이터 부분을 추출하기 위해서였습니다. 고객은 쿼리 빌더에서 CSV 파일을 직접 처리할 수 있는 방법이 있는지 알고 싶어 했습니다.
DB Browser for SQLite를 사용하면 CSV 파일을 Query Builder에서 쿼리할 수 있는 SQLite 데이터베이스로 변환하는 것이 정말 쉬울 것이라고 제안했습니다. 하지만 직접 접근하는 것은 불가능할 것이라고 생각했습니다. 이에 대한 전략이나 의견이 있으신 분이 있는지 알고 싶었습니다.
생각은 어떠세요?
M
Re: 대용량 CSV 파일에 쿼리 빌더 사용업데이트 - ActualTech에서 버그를 발견하여 드라이버와 일부 Mojave 지원 관련 문제를 업데이트하고 있습니다. 업데이트가 언제쯤 나올지는 아직 알려주지 않았습니다.
중Re: 대용량 CSV 파일에 쿼리 빌더 사용와우 - Query Builder에서 CSV 파일을 직접 처리할 수 있는 방법이 있군요. Microsoft(Windows)와 ActualTech(MacOS) 모두 CSV, TSV, XSLX 파일을 데이터 소스로 처리할 수 있는 드라이버를 개발하고 있습니다. 즉, Query Builder에서 ODBC를 통해 쿼리할 수 있다는 뜻이죠. 이렇게 하면 정말 흥미로운 옵션들이 많이 생깁니다.
Windows의 경우 액세스 드라이버 세트를 설치해야 합니다. 여기( https://www.microsoft.com/en-us/download/details.aspx?displaylang=en&id=13255 )에서 작동하는 드라이버를 찾았습니다. 이제 새 데이터 원본을 설정하기만 하면 됩니다. Windows 7 가상 머신에서 CSV 파일도 예상대로 작동하는 것을 확인했습니다.
(편집 - 최신 드라이버 세트는 여기에 있습니다: https://www.microsoft.com/en-us/download/details.aspx?id=54920 )
Mac의 경우 ActualTech의 Access Driver를 사용하세요. 이 드라이버도 설정은 쉽지만 쿼리 동작 방식에 몇 가지 문제가 있습니다. 드라이버 문제인 것 같아서 ActualTech에 문의했습니다. 답변을 받으면 업데이트하겠습니다. 연결과 쿼리는 작동하지만, 결과가 계속 반복되는 것 같습니다. (예: 300행 CSV 파일의 경우, 쿼리를 종료하기 전까지 최대 100만 행의 결과가 나올 수 있으며, 300행이 연속적으로 반복되는 결과가 나올 수 있습니다.)
그럼, Windows에서는 이걸 고객에게 보여주면 될 것 같아요. Mac에서는 잠깐만 기다려 주세요.
중
Re: 대용량 CSV 파일에 쿼리 빌더 사용아마 아닐 거예요. 저도 그 부분을 완전히 잊어버렸네요... 좋은 지적입니다. 하지만 CSV 파일에서 QB를 직접 사용할 수 있게 해 줬으면 하는 것 같아요. 데이터 테이블 QB와 함께 사용하면 좋은 해결책이 될 수도 있겠네요.
중Re: 대용량 CSV 파일에 쿼리 빌더 사용그런데 제가 말하는 건 쿼리 빌더가 아니라 직접 텍스트 가져오기를 말하는 거예요.Re: 대용량 CSV 파일에 쿼리 빌더 사용파일 전체를 검사하는 대신, 5초 동안만 열 유형을 검사하도록 기본 설정을 했었죠?
브라이언
Re: 대용량 CSV 파일에 쿼리 빌더 사용결국에는 읽어들이겠지만, 문제는 JMP가 파일 전체를 읽어들인 후에야 어떻게 처리할지 결정한다는 것입니다. 따라서 하드웨어 문제가 아니라 JMP가 플랫 파일을 처리하는 방식에 문제가 있는 것입니다.
중Re: 대용량 CSV 파일에 쿼리 빌더 사용이게 PC에서만 되는 건가요? Mac에서는 정보를 찾을 수가 없네요.Re: 대용량 CSV 파일에 쿼리 빌더 사용이게 제 첫 생각이었어요. "미리 보기 포함 데이터" 옵션을 사용하려면 JMP가 미리보기를 보기 전에 전체 파일을 파싱해야 하는데... 이게 좀 느리네요. 멈추는 건 아니지만, 옵션을 보기 전에 파일을 처음 읽는 데 시간이 엄청 오래 걸립니다.
중Re: 대용량 CSV 파일에 쿼리 빌더 사용마이크,
설치된 RAM 용량을 알고 있나요?
그들은 어떤 다른 응용 프로그램을 열어 놓았나요?
일반적으로 최소 RAM은 파일 크기의 2배입니다. 즉, 3GB 파일 하나를 열려면 최소 6GB RAM이 필요합니다.
그리고 그들은 3GB 파일 중 1개 이상을 열려고 시도했나요?
각 CSV 파일을 Excel에서 직접 여는 데 걸리는 시간은 얼마나 됩니까? JMP에서 CSV 파일을 여는 데 걸리는 시간도 비슷할 것으로 예상됩니다.
스탠
Re: 대용량 CSV 파일에 쿼리 빌더 사용Office가 설치되어 있다면 Microsoft에서 제공하는 텍스트용 ODBC 드라이버가 있습니다. 하지만 이 드라이버가 성능 문제를 해결하는 데 도움이 될지는 확신할 수 없습니다. 이 드라이버를 사용하면 JMP에 텍스트 파일을 완전히 포함시키지 않고도 데이터베이스 쿼리 빌더를 통해 간단한 Where 절을 실행할 수 있을 것입니다.
브라이언
Re: 대용량 CSV 파일에 쿼리 빌더 사용"미리보기로 데이터"에서 파일을 열면 CSV의 하위 집합을 만들 수 있습니다. 이 작업을 얼마나 빨리 마칠 수 있을까요, 아니면 이 작업 중에 컴퓨터가 멈추나요?
