Re: Google BigQuery - 分割されたテーブルを開く私はこれに出くわしました：
https://stackoverflow.com/questions/55688114/is-it-possible-to-remove-the-partition-filter-required-setting-from-bigquery-tab
既に試したかどうかはわかりませんが、私も試していませんが、パーティション フィルターを false に変更することになっています。
私が見た他の選択肢はこれでした：
https://stackoverflow.com/questions/51194105/cannot-query-over-table-without-a-filter-that-can-be-used-for-partition-eliminat
Re: Google BigQuery - 分割されたテーブルを開くありがとう！ 時間ができたら両方試してみます。 残念なことに、私のデザインはもちろん、他の任務やインフルエンザに悩まされています。
Re: Google BigQuery - 分割されたテーブルを開く@ブライアン_ブーン参考までに、JMP/JSL を直接使用して BigQuery からパーティション分割されたテーブルをダウンロードするソリューションは見つかりませんでした。 私が検討した 2 つのアプローチがあり、そのうちの 1 つを実際にフォローアップしています。
- 可能ですBigQuery でクエリを作成するたとえば、データを集計してから *.csv または *.json としてダウンロードします。 テーブルの数と、各テーブルで処理される行の数を考えると、適切な集計を繰り返し探すために (非常に) かなりの時間を費やすことになると思います。 より良い解決策がある場合、私はそれを知りません。
- Python の使用. 私は幸運にも、新たに採用されたデータ エンジニアをデスクの隣人として迎えることができ、私の課題について簡単に話し合うことができました。 彼は、Python を使用してこれらのテーブル、または少なくともテーブルのコピーをループできるように、必要なトレーニングを提供することを申し出ました。 Congite データフュージョン実装、私が欲しいと思うものを得るために。 おそらく、 Cognite Python SDKこれには大きな役割を果たします。
少し時期尚早に、私自身の回答を解決策として受け入れたことをお許しください。
Re: Google BigQuery - 分割されたテーブルを開く私は見ていた：
https://cloud.google.com/retail/docs/export-data-into-bq
(別のダウンロード API がある場合はお知らせください)
ただし、そのエンドポイントまたは類似のエンドポイントである場合は、HTTP リクエストまたはマルチ HTTP リクエストを使用して、Big Query から結果をダウンロードできます。
HTTP リクエストを使用すると、一度に 1 つのリクエストを実行できます。マルチ HTTP リクエスト (名前が示すように) を使用すると、同時に複数のリクエストを実行できます。 つまり、マルチの場合、所要時間は最長のリクエストにかかる時間であり、単一の http リクエストの場合はすべてのリクエストの合計時間です。
Re: Google BigQuery - 分割されたテーブルを開くこれは非常に興味深いことですが、同時にややこしいことでもあります。あなたが共有したリンク...
- ... BigQuery へのデータのエクスポートについて説明していますが、私のデータは既に BigQuery にあり、ダウンロードしたいと考えています。
- ... 小売製品とユーザー イベント データを指します。 アクセスしたいデータは、さまざまなセンサー/タグ (圧力、温度、流量など) の時系列です。 たぶん、違いは関係ありませんか？
- ... は非常に技術的であり、理解しなければならない部分を理解しているかどうか確信が持てません。 （したがって、この応答。）
また、HTTP リクエストが、あなたが共有した参照から抽出できるものなのか、それとも追加されるのかどうかもわかりません。 （私は後者だと思います。）
お待ちいただいてありがとうございます。 私は熱心な読者であり、JSL はこれまでのコーディング経験のほぼすべてですが、BigQuery へのアクセス/ロック解除に関しては、もっと基本的なレベルから始める必要があると思います。
Google BigQuery - パーティション分割されたテーブルを開くファイル --> データベース --> テーブルを開く... ODBC を使用して Google BigQuery からテーブルを開こうとしています。 これにより、以下のエラー メッセージが表示されます (JSL で Open Database() を使用して開こうとした場合にも、ログに再現されます)。
パーティション分割テーブルのクエリに関する Google のヘルプ私のスキルレベルではあまり役に立ちませんが、パーティション列に対する修飾フィルターが必要だと思います。 今後の進め方についてアドバイスできる人はいますか？ 以下は、BigQuery テーブル情報のスクリーンショットです。 テーブルは約 2e9 行です。
データアクセス
