回复:Google BigQuery - 打开分区表我遇到了这个:
https://stackoverflow.com/questions/55688114/is-it-possible-to-remove-the-partition-filter-required-setting-from-bigquery-tab
不知道大家有没有试过,我没试过,不过应该是把Partition filter改成false。
我看到的另一种选择是:
https://stackoverflow.com/questions/51194105/cannot-query-over-table-without-a-filter-that-can-be-used-for-partition-eliminat
回复:Google BigQuery - 打开分区表谢谢你! 我一找到时间就会尝试两者。 不幸的是,我的设计因其他任务和流感而受挫,当然。
回复:Google BigQuery - 打开分区表@bryan_boone仅供参考,我还没有找到直接使用 JMP/JSL 从 BigQuery 下载分区表的解决方案。 我考虑了两种方法,其中一种我正在实际跟进:
- 有可能在 BigQuery 中编写查询聚合数据,然后下载为 *.csv 或 *.json,例如。 鉴于表的数量以及每个表中要处理的行数,我希望专门花(非常)大块时间来迭代地寻找正确的聚合。 如果有更好的解决方案,我不知道。
- 使用 Python . 我很幸运有一位新聘用的数据工程师作为我的桌面邻居,我与他简要讨论了我的挑战。 他提出提供必要的培训,这样我就可以使用 Python 循环遍历这些表,或者至少在我们的网站上复制它们Congite 数据融合实现,得到我认为我想要的。 大概是认知 Python SDK将在这方面发挥很大的作用。
我希望你能原谅我过早地接受我自己的回答作为解决方案。
回复:Google BigQuery - 打开分区表我在看:
https://cloud.google.com/retail/docs/export-data-into-bq
(如果您正在查看另一个下载 api,请告诉我)
但是,如果是该端点或类似的东西,您可以使用 HTTP 请求或多 HTTP 请求从 Big Query 下载结果。
使用 HTTP 请求,您可以一次执行一个请求,使用多 HTTP 请求(顾名思义),您可以同时执行多个请求。 也就是说,对于 multi,它所花费的时间是最长请求所花费的时间,对于单个 http 请求,它所花费的时间是所有请求的总时间。
回复:Google BigQuery - 打开分区表这很有趣,但同时也令人困惑。你分享的链接...
- ... 描述了将数据导出到 BigQuery,而我的数据已经在 BigQuery 中,我想下载它。
- ...指的是零售产品和用户事件数据。 我要访问的数据是各种传感器/标签(压力、温度、流量等)的时间序列。 不过,也许差异无关紧要?
- ...非常技术性,我不确定我是否理解我应该理解的部分。 (因此有此回应。)
我也不确定 HTTP 请求是否是我应该能够从您共享的参考中提取的东西,或者是否是额外的。 (我猜,后者。)
感谢您的耐心等待。 我是一个狂热的读者,JSL 是我迄今为止唯一的编码经验,但我认为我需要从更基本的层面开始访问/解锁 BigQuery。
Google BigQuery - 打开分区表通过文件 --> 数据库 --> 打开表... 我正在尝试使用 ODBC 从 Google BigQuery 打开表。 这会导致出现下面的错误消息(如果尝试在 JSL 中使用 Open Database() 打开,该错误消息也会在日志中重现)。

Google 关于查询分区表的帮助对于我的技能水平来说没有多大用处,但我想我需要在分区列上进行限定过滤器。 谁可以建议如何继续? 下面是 BigQuery 表信息的屏幕截图。 该表大约有 2e9 行。

数据存取