¿Formato de datos preferido para tablas con muchas filas?Disculpen, al parecer es una pregunta de novato (otra vez...).
Por fin estamos trabajando en el análisis de los datos de los sensores en línea ("etiquetas") que hemos estado recopilando durante años en nuestra planta de fabricación. La resolución temporal estándar de estas etiquetas es de 1 segundo y tenemos unas 1400 etiquetas que debemos analizar para obtener información relevante. Para llegar a esa etapa, creo que debo proponer un formato de datos a nuestro equipo de Digitalización. Entiendo que esperan que todos los que no pertenecemos a su equipo (entre los que no me incluyo) trabajemos con archivos CSV, pero me doy cuenta de que este formato no podría manejar aproximadamente 30 millones de filas, lo que equivale aproximadamente al número de segundos en un año. Si bien esta resolución temporal puede no ser necesaria, creo que vale la pena abordarlo como si lo fuera. Además, usar una granularidad de solo 1 minuto significaría aproximadamente 0,5 millones de filas por año, lo cual sigue siendo difícil de manejar con CSV.
Para gestionar tablas grandes, es decir, importarlas a JMP, ¿es JSON la opción preferida? ¿O sería mejor conectarse a una base de datos y cargar los datos directamente en JMP desde allí? Agradezco cualquier comentario o sugerencia que pueda compartir con nuestro equipo de Digitalización sobre este tema. ¡Muchas gracias de antemano, compañeros de JMP!
Acceso a datosRe: ¿Formato de datos preferido para tablas con muchas filas?Si es posible, guarde los datos en alguna base de datos adecuada. Lo más probable es que sea fácil pasarlo de la base de datos a JMP.
Re: ¿Formato de datos preferido para tablas con muchas filas?Suelo importar millones de filas de datos desde un archivo CSV. El límite es solo la exportación de datos de la aplicación de origen, que ocupa 2 GB.
Si tengo que manejar datos más grandes, los divido en partes y cargo varios archivos csv.
Entonces, las 0,5 millones de filas (que mencionas para la granularidad de 1 minuto) definitivamente no son un problema a través de CSV.
Tengo curiosidad por saber si también logras conseguir los 30 millones en Jmp.
¿Si no como una sola pieza, quizás en trozos de 5 millones?
Re: ¿Formato de datos preferido para tablas con muchas filas?@hogi , disculpa mi error. Pensé que CSV tenía las mismas limitaciones que Excel, pero no es así. Gracias por avisarme. Sin embargo, sigo pensando que un límite de 0,5 millones de filas para un conjunto de datos de 30 millones de filas puede ser un inconveniente. Aunque supongo que esto también se puede solucionar.
