Re: Google BigQuery - 파티션을 나눈 테이블 열기나는 이것을 가로 질러 달렸다 :
https://stackoverflow.com/questions/55688114/is-it-possible-to-remove-the-partition-filter-required-setting-from-bigquery-tab
이미 해보셨는지 모르겠고 저도 해보진 않았지만 파티션 필터를 false로 변경해 드린다고 합니다.
내가 본 다른 대안은 다음과 같습니다.
https://stackoverflow.com/questions/51194105/cannot-query-over-table-without-a-filter-that-can-be-used-for-partition-eliminat
Re: Google BigQuery - 파티션을 나눈 테이블 열기감사합니다! 시간이 나는 대로 둘 다 시도하겠습니다. 불행히도 내 디자인은 물론 다른 과제와 독감으로 인해 좌절됩니다.
Re: Google BigQuery - 파티션을 나눈 테이블 열기@bryan_boone 참고로 BigQuery에서 분할된 테이블을 다운로드하기 위해 JMP/JSL을 직접 사용하는 솔루션을 찾지 못했습니다. 내가 고려한 두 가지 접근 방식이 있으며 그 중 하나는 실질적으로 추적하고 있습니다.
- 가능하다 BigQuery에서 쿼리 작성 예를 들어 데이터를 집계한 다음 *.csv 또는 *.json으로 다운로드합니다. 테이블 수와 각 테이블에서 처리할 행 수를 감안할 때 올바른 집계를 반복적으로 찾는 데 (매우) 많은 시간을 할애할 것으로 예상됩니다. 더 나은 해결책이 있다면 나는 그것을 모른다.
- 파이썬 사용 . 나는 새로 고용된 데이터 엔지니어를 데스크 이웃으로 두어 내 문제에 대해 간략하게 논의할 수 있는 운이 좋은 위치에 있습니다. 그는 내가 Python을 사용하여 이 테이블을 반복하거나 최소한 우리 사이트에서 복사할 수 있도록 필요한 교육을 제공하겠다고 제안했습니다. 콩지트 데이터 퓨전 구현, 내가 원하는 것을 얻기 위해. 아마, Cognite Python SDK 이것에 큰 역할을 할 것입니다.
제 답변을 다소 성급하게 해결책으로 받아들인 점을 용서해 주시기 바랍니다.
Re: Google BigQuery - 파티션을 나눈 테이블 열기나는 보고 있었다:
https://cloud.google.com/retail/docs/export-data-into-bq
(보고 있는 다른 다운로드 API가 있으면 알려주세요)
그러나 해당 엔드포인트 또는 이와 유사한 것이라면 HTTP 요청 또는 다중 HTTP 요청을 사용하여 Big Query에서 결과를 다운로드할 수 있습니다.
HTTP 요청을 사용하면 한 번에 하나씩 수행할 수 있고 다중 HTTP 요청(이름에서 알 수 있듯이)을 사용하면 동시에 여러 요청을 수행할 수 있습니다. 즉, 다중의 경우 걸리는 시간은 가장 긴 요청에 걸리는 시간이고 단일 http 요청의 경우 모든 요청의 총 시간입니다.
Re: Google BigQuery - 파티션을 나눈 테이블 열기이것은 매우 흥미롭지만 동시에 혼란스럽기도 합니다.공유해주신 링크...
- ... 데이터를 BigQuery로 내보내는 방법을 설명하지만 내 데이터는 이미 BigQuery에 있고 다운로드하고 싶습니다.
- ... 소매 제품 및 사용자 이벤트 데이터를 나타냅니다. 액세스하려는 데이터는 다양한 센서/태그(압력, 온도, 유량 등)의 시계열입니다. 그래도 그 차이가 관련이 없을 수도 있습니다.
- ... 매우 기술적이고 내가 이해해야 할 부분을 이해하고 있는지 확신이 서지 않습니다. (그래서 이 답변입니다.)
또한 HTTP 요청이 귀하가 공유한 참조에서 추출할 수 있어야 하는지 또는 추가로 오는 것인지도 확실하지 않습니다. (제 추측은 후자입니다.)
기다려 주셔서 감사합니다. 나는 열렬한 독자이고 JSL은 지금까지 내가 가진 유일한 코딩 경험이지만 BigQuery 액세스/잠금 해제와 관련하여 훨씬 더 기본적인 수준에서 시작해야 한다고 생각합니다.
Google BigQuery - 파티션을 나눈 테이블 열기파일 --> 데이터베이스 --> 테이블 열기...를 통해 ODBC를 사용하여 Google BigQuery에서 테이블을 열려고 합니다. 이로 인해 아래 오류 메시지가 표시됩니다(JSL에서 Open Database()를 사용하여 열려고 시도하는 경우 로그에도 표시됨).
파티션을 나눈 테이블 쿼리에 대한 Google의 도움말 내 기술 수준에서는 그다지 유용하지 않지만 파티션 열에 대한 한정 필터가 필요한 것 같습니다. 진행 방법에 대해 조언을 해줄 수 있는 사람이 있나요? 아래는 BigQuery 테이블 정보의 스크린샷입니다. 테이블은 약 2e9 행입니다.
데이터 접근
