Ri: Google BigQuery - apertura di tabelle partizionatemi sono imbattuto in questo:
https://stackoverflow.com/questions/55688114/is-it-possible-to-remove-the-partition-filter-required-setting-from-bigquery-tab
Non sono sicuro che tu l'abbia già provato e io non l'ho provato, ma dovrebbe cambiare il filtro Partition su false.
L'altra alternativa che ho visto è questa:
https://stackoverflow.com/questions/51194105/cannot-query-over-table-without-a-filter-that-can-be-used-for-partition-eliminat
Ri: Google BigQuery - apertura di tabelle partizionateGrazie! Proverò entrambi appena trovo il tempo. Sfortunatamente, i miei progetti sono frustrati da altri incarichi e dall'influenza, ovviamente.
Ri: Google BigQuery - apertura di tabelle partizionate@bryan_boone Cordiali saluti, non ho trovato una soluzione utilizzando direttamente JMP/JSL per scaricare tabelle partizionate da BigQuery. Ci sono due approcci che ho preso in considerazione, uno dei quali sto seguendo praticamente:
- È possibile scrivere query in BigQuery per aggregare i dati e quindi scaricarli come *.csv o *.json, ad esempio. Dato il numero di tabelle e il numero di righe da gestire in ciascuna tabella, mi aspetto di dedicare una (molto) grande quantità di tempo alla ricerca iterativa della giusta aggregazione. Se c'è una soluzione migliore, non lo so.
- Usando Python . Sono nella posizione fortunata di avere un ingegnere dei dati appena assunto come vicino di scrivania con cui ho discusso brevemente della mia sfida. Si è offerto di fornire la formazione necessaria in modo che io possa usare Python per scorrere queste tabelle, o almeno copie di esse sul nostro Fusione di dati congiti implementazione, per ottenere quello che penso di volere. Probabilmente, il Cognite Python SDK giocherà un ruolo importante in questo.
Spero che mi perdonerai per aver accettato prematuramente la mia risposta come soluzione.
Ri: Google BigQuery - apertura di tabelle partizionatestavo guardando:
https://cloud.google.com/retail/docs/export-data-into-bq
(Se c'è un'altra API di download che stai guardando, fammelo sapere)
Tuttavia, se si tratta di quell'endpoint o di qualcosa di simile, puoi utilizzare HTTP Request o Multi HTTP Request per scaricare i risultati da Big Query.
Con HTTP Request, puoi farne una alla volta, con Multi HTTP Request (come suggerisce il nome) puoi fare più richieste, contemporaneamente. Cioè, con multi, il tempo necessario è il tempo necessario per la richiesta più lunga e con la singola richiesta HTTP, è il tempo totale per tutte le richieste.
Ri: Google BigQuery - apertura di tabelle partizionateQuesto è molto interessante, ma allo stesso tempo anche confuso.Il link che hai condiviso...
- ... descrive l'esportazione dei dati in BigQuery, mentre i miei dati sono già in BigQuery e desidero scaricarli.
- ... si riferisce ai dati sui prodotti al dettaglio e sugli eventi degli utenti. I dati a cui voglio accedere sono serie temporali di vari sensori/tag (pressione, temperatura, portate, ecc.). Forse la differenza non è rilevante, però?
- ... è molto tecnico e non sono sicuro di capire le parti che dovrei capire. (Da qui questa risposta.)
Inoltre, non sono sicuro che la richiesta HTTP sia qualcosa che dovrei essere in grado di estrarre dal riferimento che hai condiviso o se ciò si aggiunge. (Immagino, quest'ultimo.)
Grazie per la vostra pazienza. Sono un avido lettore e JSL è l'unica esperienza che ho finora con la codifica, ma penso di dover iniziare a un livello molto più elementare per quanto riguarda l'accesso/sblocco di BigQuery.
Google BigQuery: apertura di tabelle partizionateTramite File --> Database --> Apri tabella... Sto provando ad aprire una tabella da Google BigQuery utilizzando ODBC. Ciò si traduce nel messaggio di errore riportato di seguito (che viene riprodotto anche nel registro se si tenta di aprire utilizzando Open Database() in JSL).
L'aiuto di Google sull'esecuzione di query su tabelle partizionate non è di grande utilità per il mio livello di abilità, ma immagino di aver bisogno di un filtro di qualificazione sulla colonna della partizione. Qualcuno che può consigliarmi su come procedere? Di seguito, uno screenshot delle informazioni sulla tabella BigQuery. La tabella è composta da circa 2e9 righe.
Accesso ai dati
