Gestión de grandes conjuntos de datosPara algunos conjuntos de datos que recopilamos con el tiempo, el tamaño del archivo sigue aumentando y, finalmente, las cosas pueden ralentizarse un poco. A veces, dividir en varios archivos es una solución, pero es posible que desee partes de varios archivos para una comparación que podría ser inconveniente.
He leído acerca de Virtual Join pero no lo he aprovechado. ¿Es este un enfoque apropiado para utilizar en esta situación? ¿Existen buenos ejemplos de implementación de una solución JMP para este tipo de problema?
Re: Gestión de grandes conjuntos de datosSi su archivo aumenta de tamaño debido a las combinaciones con otras tablas de datos, uniones virtuales puede ayudar ya que los datos no se duplican en las filas.
Sin embargo, si la tabla de datos aumenta de tamaño a medida que se agregan o concatenan más datos, las uniones virtuales no ayudarán realmente.
¿Cómo crecen sus tablas de datos?
¿Con qué tamaño terminará, tanto en filas como en columnas, pero también en tamaño en el disco cuando se guarda como un archivo .jmp?
Re: Gestión de grandes conjuntos de datosPor lo general, es un archivo concatenado ya que se recopilan más datos con el tiempo.
En una situación actual que tengo que es relativamente manejable, es un archivo de tamaño 200KB con aproximadamente 250K filas y 100 columnas. He tenido algunos escenarios con >> 1 millón de filas y 100-300 columnas.
Para esos escenarios más extremos, las cosas pueden ralentizarse incluso cuando se hacen gráficos simples. No estoy seguro de si hay límites específicos que debamos evitar con respecto al tamaño de los archivos o las estrategias para mitigar los impactos de tener tantos datos; si los hay, ¡me gustaría escucharlos!
