622537_de-DE

liliconcom

Betreff: Google BigQuery - Öffnen von partitionierten Tabellen

Ich bin darauf gestoßen:
https://stackoverflow.com/questions/55688114/is-it-possible-to-remove-the-partition-filter-required-setting-from-bigquery-tab

Ich bin mir nicht sicher, ob Sie es bereits versucht haben, und ich habe es nicht versucht, aber es soll den Partitionsfilter auf "false" ändern.

 

Die andere Alternative, die ich gesehen habe, war diese:
https://stackoverflow.com/questions/51194105/cannot-query-over-table- without-a-filter-that-can-be-used-for-partition-eliminat

Betreff: Google BigQuery - Öffnen von partitionierten Tabellen

Danke schön! Ich werde beides ausprobieren, sobald ich die Zeit finde. Leider sind meine Entwürfe durch andere Aufgaben und natürlich die Grippe frustriert.

Betreff: Google BigQuery - Öffnen von partitionierten Tabellen

@bryan_boone Zu Ihrer Information, ich habe keine Lösung gefunden, die JMP/JSL direkt verwendet, um partitionierte Tabellen von BigQuery herunterzuladen. Ich habe zwei Ansätze in Betracht gezogen, von denen ich einen praktisch verfolge:

1. Es ist möglich zu Abfragen in BigQuery schreiben um die Daten zu aggregieren und dann zum Beispiel als *.csv oder *.json herunterzuladen. Angesichts der Anzahl der Tabellen sowie der Anzahl der Zeilen, die in jeder Tabelle verarbeitet werden müssen, würde ich erwarten, einen (sehr) großen Teil der Zeit aufzuwenden, um nur iterativ nach der richtigen Aggregation zu suchen. Wenn es eine bessere Lösung gibt, weiß ich es nicht.
2. Verwendung von Python . Ich bin in der glücklichen Lage, einen neu eingestellten Data Engineer als Schreibtischnachbar zu haben, mit dem ich meine Herausforderung kurz besprochen habe. Er bot an, die notwendige Schulung bereitzustellen, damit ich Python verwenden kann, um diese Tabellen oder zumindest Kopien davon auf unserer zu durchlaufen Congite-Datenfusion Umsetzung, um zu bekommen, was ich denke, was ich will. Wahrscheinlich die Cognite-Python-SDK wird dabei eine große Rolle spielen.

Ich hoffe, Sie verzeihen mir, dass ich meine eigene Antwort etwas voreilig als Lösung akzeptiert habe.

Betreff: Google BigQuery - Öffnen von partitionierten Tabellen

Ich habe mir angesehen:
https://cloud.google.com/retail/docs/export-data-into-bq

(Wenn es eine andere Download-API gibt, die Sie sich ansehen, lassen Sie es mich wissen)

Wenn es sich jedoch um diesen Endpunkt oder etwas Ähnliches handelt, können Sie HTTP-Anforderung oder Multi-HTTP-Anforderung verwenden, um Ergebnisse von Big Query herunterzuladen.

Mit HTTP Request können Sie eine nach der anderen machen, mit Multi HTTP Request (wie der Name schon sagt) können Sie mehrere Anfragen gleichzeitig machen. Das heißt, bei Multi ist die benötigte Zeit die Zeit, die für die längste Anfrage benötigt wird, und bei der einzelnen HTTP-Anfrage ist es die Gesamtzeit für alle Anfragen.

Betreff: Google BigQuery - Öffnen von partitionierten Tabellen

Das ist sehr interessant, aber gleichzeitig auch verwirrend.Der von Ihnen geteilte Link ...

• ... beschreibt den Export der Daten in BigQuery, wobei meine Daten bereits in BigQuery sind und ich sie herunterladen möchte.
• ... bezieht sich auf Einzelhandelsprodukt- und Benutzerereignisdaten. Die Daten, auf die ich zugreifen möchte, sind Zeitreihen verschiedener Sensoren/Tags (Druck, Temperatur, Durchflussraten usw.). Vielleicht ist der Unterschied aber nicht relevant?
• ... ist sehr technisch und ich bin mir nicht sicher, ob ich die Teile verstehe, die ich verstehen sollte. (Deshalb diese Antwort.)

 

Ich bin mir auch nicht sicher, ob die HTTP-Anforderung etwas ist, das ich aus der von Ihnen freigegebenen Referenz extrahieren können sollte, oder ob das zusätzlich kommt. (Ich vermute, letzteres.)

Vielen Dank für Ihre Geduld. Ich bin ein begeisterter Leser und JSL ist so ziemlich die einzige Erfahrung, die ich bisher mit dem Codieren habe, aber ich denke, ich muss auf einer viel grundlegenderen Ebene beginnen, wenn es um den Zugriff auf/das Entsperren von BigQuery geht.

Google BigQuery – Partitionierte Tabellen öffnen

Über Datei -> Datenbank -> Tabelle öffnen... Ich versuche, eine Tabelle aus Google BigQuery mit ODBC zu öffnen. Dies führt zu der folgenden Fehlermeldung (die auch im Protokoll reproduziert wird, wenn versucht wird, mit Open Database() in JSL zu öffnen).

 

 

Googles Hilfe zum Abfragen partitionierter Tabellen ist für mein Kenntnisniveau nicht von großem Nutzen, aber ich schätze, ich brauche einen qualifizierenden Filter über der Partitionsspalte. Kann mir jemand Tipps geben, wie es weitergeht? Unten ein Screenshot der BigQuery-Tabelleninformationen. Die Tabelle besteht aus etwa 2e9 Zeilen.

 

 

Datenzugriff