하이브 SQL 쿼리 빌더 - 성능 문제안녕 얘들 아,
JMP 13을 실행 중이며 cloudera 하이브 ODBC 드라이버를 사용하여 JooPuper Builder를 HYOOP 하이브 서버에 연결합니다. 나는 테이블을 볼 수 있지만, 테이블 중 하나를 클릭하면 자동으로 "select * from table"쿼리가 hadoop 클러스터에 보내지므로 테이블의 막대한 크기 때문에 JMP가 완전히 끊어집니다. 내 동의없이 당깁니다.
이것을 끌 수있는 방법이 있습니까?
아래의 쿼리 빌더 환경 설정 스냅 샷을 첨부했습니다.
Re : 하이브 SQL 쿼리 빌더 - 성능 문제나는 커스텀 SQL을 사용하는 것 이외의 좋은 해결책이 없다.
나는 기본적으로 쿼리 작성기 인터페이스를 사용하지 말았습니다. 왜냐하면 vertica 나 하이브 중 하나에 액세스 중이기 때문에 둘 다 담요 "Select *"문에 원격으로 응답하지 않기 때문입니다.
내 해결 방법 : 사용자 지정 SQL 문을 만들었습니다. "select * from schema.table limit 0" 이것은 vertica가 테이블 열을 jmp 데이터 테이블로 가져 오는 데 매우 효과적입니다. 그런 다음이를 사용자 지정 SQL 쿼리를 작성하기위한 참조로 사용합니다. 기본 데이터를 jmp로 가져 오는 것은 문제가 없지만 쿼리 작성기의 열을보다 효율적으로 쿼리 할 수없는 단순한 기능은 전혀 쓸모가없는 훌륭한 기능을 모두 렌더링했습니다. 이제는 포기하고 다른 모든 테이블을 구축하기 시작합니다. jmp에서 열면됩니다. 이론적으로는 jmp 쿼리 빌더에서 작업하는 대신 새로운 분석을위한 테이블을 업데이트하거나 수정하는 것을 제외하고는 이론상으로 괜찮습니다 (oracle exadata 서버로 작업 할 때 유용합니다)
실제로 SAS 서버를 통해 내 버티컬 테이블에 액세스하는 방법을 시도했지만 동일한 문제가 발생합니다. 따라서 SAS 데이터 테이블 프로그램을 구축하여 데이터를 샘플링하고 jmp의 SAS EG 및 SAS 쿼리 빌더가 모든 곳에서 던져 넣기를 좋아한다는 담요 "select *"를 제거하려고합니다.
난 그냥 좋은 층화 샘플링 기능을 활용하려고 노력하고 그것은 jmp 또는 sas와 vertica (또는 하이브) 사이에 연결할 때 얼마나 도전적인지 놀라워하고 있습니다.
아론
Re : 하이브 SQL 쿼리 빌더 - 성능 문제 @Eric_Hill 나에게 해결책을 주었다. 이리 그게 너에게 도움이 될거야.
