回复:Google BigQuery - 打開分區表我遇到了這個:
https://stackoverflow.com/questions/55688114/is-it-possible-to-remove-the-partition-filter-required-setting-from-bigquery-tab
不知道大家有沒有試過,我沒試過,不過應該是把Partition filter改成false。
我看到的另一種選擇是:
https://stackoverflow.com/questions/51194105/cannot-query-over-table-without-a-filter-that-can-be-used-for-partition-eliminat
回复:Google BigQuery - 打開分區表謝謝你! 我一找到時間就會嘗試兩者。 不幸的是,我的設計因其他任務和流感而受挫,當然。
回复:Google BigQuery - 打開分區表@bryan_boone僅供參考,我還沒有找到直接使用 JMP/JSL 從 BigQuery 下載分區表的解決方案。 我考慮了兩種方法,其中一種我正在實際跟進:
- 有可能在 BigQuery 中編寫查詢聚合數據,然後下載為 *.csv 或 *.json,例如。 鑑於表的數量以及每個表中要處理的行數,我希望專門花(非常)大塊時間來迭代地尋找正確的聚合。 如果有更好的解決方案,我不知道。
- 使用 Python . 我很幸運有一位新聘用的數據工程師作為我的桌面鄰居,我與他簡要討論了我的挑戰。 他提出提供必要的培訓,這樣我就可以使用 Python 循環遍歷這些表,或者至少在我們的網站上複製它們Congite 數據融合實現,得到我認為我想要的。 大概是認知 Python SDK將在這方面發揮很大的作用。
我希望你能原諒我過早地接受我自己的回答作為解決方案。
回复:Google BigQuery - 打開分區表我在看:
https://cloud.google.com/retail/docs/export-data-into-bq
(如果您正在查看另一個下載 api,請告訴我)
但是,如果是該端點或類似的東西,您可以使用 HTTP 請求或多 HTTP 請求從 Big Query 下載結果。
使用 HTTP 請求,您可以一次執行一個請求,使用多 HTTP 請求(顧名思義),您可以同時執行多個請求。 也就是說,對於 multi,它所花費的時間是最長請求所花費的時間,對於單個 http 請求,它所花費的時間是所有請求的總時間。
回复:Google BigQuery - 打開分區表這很有趣,但同時也令人困惑。你分享的鏈接...
- ... 描述了將數據導出到 BigQuery,而我的數據已經在 BigQuery 中,我想下載它。
- ...指的是零售產品和用戶事件數據。 我要訪問的數據是各種傳感器/標籤(壓力、溫度、流量等)的時間序列。 不過,也許差異無關緊要?
- ...非常技術性,我不確定我是否理解我應該理解的部分。 (因此有此回應。)
我也不確定 HTTP 請求是否是我應該能夠從您共享的參考中提取的東西,或者是否是額外的。 (我猜,後者。)
感謝您的耐心等待。 我是一個狂熱的讀者,JSL 是我迄今為止唯一的編碼經驗,但我認為我需要從更基本的層面開始訪問/解鎖 BigQuery。
Google BigQuery - 打開分區表通過文件 --> 數據庫 --> 打開表... 我正在嘗試使用 ODBC 從 Google BigQuery 打開表。 這會導致出現下面的錯誤消息(如果嘗試在 JSL 中使用 Open Database() 打開,該錯誤消息也會在日誌中重現)。

Google 關於查詢分區表的幫助對於我的技能水平來說沒有多大用處,但我想我需要在分區列上進行限定過濾器。 誰可以建議如何繼續? 下面是 BigQuery 表信息的屏幕截圖。 該表大約有 2e9 行。

數據存取