622537_fr-FR

liliconcom

Re : Google BigQuery - ouverture de tables partitionnées

Je suis tombé sur ça :
https://stackoverflow.com/questions/55688114/is-it-possible-to-remove-the-partition-filter-required-setting-from-bigquery-tab

Je ne sais pas si vous l'avez déjà essayé, et je ne l'ai pas essayé, mais il est censé changer le filtre de partition en faux.

 

L'autre alternative que j'ai vue était celle-ci:
https://stackoverflow.com/questions/51194105/cannot-query-over-table-without-a-filter-that-can-be-used-for-partition-eliminat

Re : Google BigQuery - ouverture de tables partitionnées

Merci! J'essaierai les deux dès que je trouverai le temps. Malheureusement, mes créations sont frustrées par d'autres missions et la grippe, bien sûr.

Re : Google BigQuery - ouverture de tables partitionnées

@bryan_boone pour info, je n'ai pas trouvé de solution utilisant directement JMP/JSL pour télécharger des tables partitionnées à partir de BigQuery. Il y a deux approches que j'ai envisagées, dont l'une que je suis pratiquement:

1. Il est possible de rédiger des requêtes dans BigQuery pour agréger les données puis les télécharger au format *.csv ou *.json, par exemple. Étant donné le nombre de tables ainsi que le nombre de lignes à gérer dans chaque table, je m'attendrais à consacrer une (très) grande partie du temps à rechercher de manière itérative la bonne agrégation. S'il existe une meilleure solution, je ne la connais pas.
2. Utiliser Python . J'ai la chance d'avoir un ingénieur de données nouvellement embauché comme voisin de bureau avec qui j'ai brièvement discuté de mon défi. Il a proposé de fournir la formation nécessaire pour que je puisse utiliser Python pour parcourir ces tables, ou au moins des copies de celles-ci sur notre Congit Fusion de données mise en œuvre, pour obtenir ce que je pense vouloir. Probablement, le Kit de développement logiciel Cognite Python y jouera un grand rôle.

J'espère que vous me pardonnerez d'avoir accepté ma propre réponse comme solution un peu prématurément.

Re : Google BigQuery - ouverture de tables partitionnées

je regardais :
https://cloud.google.com/retail/docs/export-data-into-bq

(S'il y a une autre API de téléchargement que vous regardez, faites le moi savoir)

Toutefois, s'il s'agit de ce point de terminaison ou d'un élément similaire, vous pouvez utiliser la requête HTTP ou la requête HTTP multiple pour télécharger les résultats de Big Query.

Avec HTTP Request, vous pouvez en faire une à la fois, avec Multi HTTP Request (comme son nom l'indique), vous pouvez faire plusieurs requêtes en même temps. Autrement dit, avec multi, le temps qu'il faut est le temps qu'il faut pour la requête la plus longue et avec la requête http unique, c'est le temps total pour toutes les requêtes.

Re : Google BigQuery - ouverture de tables partitionnées

C'est très intéressant, mais en même temps aussi déroutant.Le lien que vous avez partagé...

• ... décrit l'exportation des données dans BigQuery, alors que mes données sont déjà dans BigQuery et que je souhaite les télécharger.
• ... fait référence aux produits de vente au détail et aux données d'événement utilisateur. Les données auxquelles je souhaite accéder sont des séries temporelles de différents capteurs/tags (pression, température, débits, etc.). Peut-être que la différence n'est pas pertinente, cependant?
• ... est très technique et je ne suis pas sûr de comprendre les parties que je devrais comprendre. (D'où cette réponse.)

 

Je ne sais pas non plus si la requête HTTP est quelque chose que je devrais pouvoir extraire de la référence que vous avez partagée ou si cela vient en plus. (Je suppose, ce dernier.)

Merci pour votre patience. Je suis un lecteur passionné et JSL est à peu près la seule expérience que j'ai avec le codage jusqu'à présent, mais je pense que je dois commencer à un niveau beaucoup plus basique en ce qui concerne l'accès/déverrouillage de BigQuery.

Google BigQuery - ouverture de tables partitionnées

Via Fichier --> Base de données --> Ouvrir la table... J'essaie d'ouvrir une table depuis Google BigQuery en utilisant ODBC. Cela entraîne le message d'erreur ci-dessous (qui se reproduit également dans le journal si vous tentez d'ouvrir à l'aide d'Open Database() en JSL).

 

 

Aide de Google pour interroger les tables partitionnées n'est pas d'une grande utilité pour mon niveau de compétence, mais je suppose que j'ai besoin d'un filtre de qualification sur la colonne de partition. Quelqu'un peut-il nous conseiller sur la façon de procéder ? Ci-dessous, une capture d'écran des informations de la table BigQuery. Le tableau compte environ 2e9 lignes.

 

 

Accès aux données