622537_es-ES

liliconcom

Re: Google BigQuery - abrir tablas particionadas

Me encontré con esto:
https://stackoverflow.com/questions/55688114/is-it-possible-to-remove-the-partition-filter-required-setting-from-bigquery-tab

No estoy seguro si ya lo ha probado, y yo no lo he probado, pero se supone que cambia el filtro de Partición a falso.

 

La otra alternativa que vi fue esta:
https://stackoverflow.com/questions/51194105/cannot-query-over-table-without-a-filter-that-can-be-used-for-partition-eliminat

Re: Google BigQuery - abrir tablas particionadas

¡Gracias! Probaré ambos en cuanto tenga tiempo. Desafortunadamente, mis diseños se ven frustrados por otras asignaciones y la gripe, por supuesto.

Re: Google BigQuery - abrir tablas particionadas

@bryan_boone Para tu información, no he encontrado una solución usando JMP/JSL directamente para descargar tablas particionadas de BigQuery. Hay dos enfoques que consideré, uno de los cuales estoy siguiendo prácticamente:

1. Es posible escribir consultas en BigQuery para agregar los datos y luego descargarlos como *.csv o *.json, por ejemplo. Sin embargo, dada la cantidad de tablas, así como la cantidad de filas que se manejarán en cada tabla, esperaría dedicar una (muy) gran cantidad de tiempo para buscar iterativamente la agregación correcta. Si hay una mejor solución, no lo sé.
2. usando python . Estoy en la posición afortunada de tener un ingeniero de datos recién contratado como vecino de escritorio con quien hablé brevemente de mi desafío. Se ofreció a proporcionar la capacitación necesaria para que pueda usar Python para recorrer estas tablas, o al menos copias de ellas en nuestro Fusión de datos de Congite implementación, para obtener lo que creo que quiero. Probablemente, el SDK de Python de Cognite jugará un papel importante en esto.

Espero que me perdone por aceptar mi propia respuesta como solución algo prematuramente.

Re: Google BigQuery - abrir tablas particionadas

estaba mirando:
https://cloud.google.com/retail/docs/export-data-into-bq

(Si hay otra API de descarga que está buscando, hágamelo saber)

Sin embargo, si es ese punto final, o algo similar, puede usar Solicitud HTTP o Solicitud HTTP múltiple para descargar resultados de Big Query.

Con la solicitud HTTP, puede hacer una a la vez, con la solicitud HTTP múltiple (como su nombre lo indica) puede hacer varias solicitudes al mismo tiempo. Es decir, con multi, el tiempo que tarda es el tiempo que tarda la solicitud más larga y con la solicitud http única, es el tiempo total para todas las solicitudes.

Re: Google BigQuery - abrir tablas particionadas

Esto es muy interesante, pero al mismo tiempo también confuso.El enlace que compartiste...

• ... describe la exportación de los datos a BigQuery, mientras que mis datos ya están en BigQuery y quiero descargarlos.
• ... se refiere a productos minoristas y datos de eventos de usuarios. Los datos a los que quiero acceder son series temporales de varios sensores/etiquetas (presión, temperatura, caudales, etc.). ¿Quizás la diferencia no es relevante, sin embargo?
• ... es muy técnico y no estoy seguro de entender las partes que debo entender. (De ahí esta respuesta.)

 

Tampoco estoy seguro de si la solicitud HTTP es algo que debería poder extraer de la referencia que compartió o si eso viene además. (Supongo que esto último).

Gracias por su paciencia. Soy un ávido lector y JSL es la única experiencia que tengo con la codificación hasta ahora, pero creo que necesito comenzar en un nivel mucho más básico con respecto al acceso y desbloqueo de BigQuery.

Google BigQuery: abrir tablas particionadas

A través de Archivo --> Base de datos --> Abrir tabla... Estoy intentando abrir una tabla de Google BigQuery usando ODBC. Esto da como resultado el siguiente mensaje de error (que también se reproduce en el registro si se intenta abrir usando Open Database() en JSL).

 

 

La ayuda de Google para consultar tablas particionadas No es de mucha utilidad para mi nivel de habilidad, pero supongo que necesito un filtro de calificación en la columna de partición. ¿Alguien que pueda aconsejarme sobre cómo proceder? A continuación, una captura de pantalla de la información de la tabla BigQuery. La tabla tiene alrededor de 2e9 filas.

 

 

Acceso a los datos