Agrupación de 4 variables, 139 millones de filas de datos, 30 GBHola a todos,
Ligeramente difícil solicitar esto. Un cliente potencial tiene muchos datos y quiere analizarlos todos.
Por supuesto, les hemos dicho que el muestreo tendría mucho más sentido. Pero todavía quieren analizarlo todo.
También les hemos dicho que necesitarán mucha RAM, lo que significará la instalación del servidor. Todavía quieren saber si será posible analizar todos sus datos.
¿Qué sugerencias tiene sobre cómo podemos responder y brindarles la seguridad de que JMP funcionará para ellos? O, si el agrupamiento en este volumen de datos no fuera un buen comienzo, también sería bueno saberlo.
Los detalles sobre sus datos que han proporcionado se encuentran a continuación. No quería pedir más detalles en esta etapa sin decidir el mejor enfoque para responder a su solicitud.
Queremos ejecutar el clúster durante 10 meses de datos para el volumen total de la siguiente manera:
Número de filas: 138734720 (138,7 millones de filas)
Número de columnas: 4
Volumen de datos: 30 GB
(Proceso de copiar @MarcoSalfi ya que estaré fuera de la oficina después de hoy.)
¡Gracias!
phil
Re: Agrupación de 4 variables, 139 millones de filas de datos, 30 GBEntonces, TL; DR, intente posponer la pregunta hasta JMP 17. Esto se parece mucho a algo en lo que estaban trabajando como parte de abordar las necesidades de datos de Genómica.
Con algo tan grande en JMP 16, tendrá que hacerlo en una trituradora grande. Y tomará un tiempo hacer el agrupamiento si funciona.Parece que ni los medios K ni los jerárquicos son de subprocesos múltiples ( https://www.jmp.com/support/notes/49/280.html ) por lo que no obtendrán ningún beneficio de un alto número de CPU.
Algunas cosas que podrían probar podrían ser:
- Asegúrese de que todos los datos sean numéricos y que estén comprimidos (es decir, ejecute Columnas > Utilidades > Comprimir columnas seleccionadas en todo).
- Los datos categóricos deben codificarse usando Etiquetas para codificar
- Intente refundir los datos. Si hay un dominio de tiempo (o algo parecido al tiempo), ¿puede dividirlo de alguna manera lógica para que FDE pueda usarse para simplemente el conjunto de datos y luego agruparse en los FPC? Esto sería útil para trazas de sensores, etc.
Mejor,
METRO
Re: Agrupación de 4 variables, 139 millones de filas de datos, 30 GBEn un nivel más práctico, ¿qué están tratando de hacer con la agrupación de millones de filas de 100 con solo 4 variables (o son 3 y la columna 4 es una columna de ID de muestra)? ¿Están buscando patrones en las filas para poder agruparlos? Tal vez haya más variables ocultas en las filas que deberían dividirse en columnas (como hora/fecha). No parece que agrupar tantas filas produzca ningún valor o información significativa (y mucho menos cómo visualizarlo). SI lo que buscan son patrones, entonces probablemente necesiten reducir las filas en columnas adicionales (factores) que representen las agrupaciones conocidas.
Como @MikeD_Anderson insinuado, si se trata de un análisis basado en el tiempo, FDE sería mejor buscar patrones a lo largo del tiempo en lugar de agrupar. La(s) variable(s) de hora/fecha tendrían que ser eliminadas.
Re: Agrupación de 4 variables, 139 millones de filas de datos, 30 GBQuería mencionar que los datos de este tamaño son bastante comunes en genómica y no considero que la solicitud del cliente sea tan extrema, ni creo que se requiera un servidor.Para el nuevo trabajo de rendimiento en 17, estamos apuntando principalmente a tablas anchas (transposición de lo que describe), pero ciertas tareas como la agrupación en clústeres aún pueden ser deseables en forma alta.
Intenté crear una tabla de 138734720 x 4 con datos normales aleatorios en una PC con Windows con 128 GB de RAM y ejecuté la última versión de 17:
- K-Means: K=100, 30 iteraciones toman 20 minutos y usan 44 GB de RAM
- Jerárquico: sala híbrida, fija las CPU al 100 % la mayor parte del tiempo, 16 ciclos tardan 3,5 horas, 80 GB de RAM
- PCA: 15 minutos
Un truco es usar K-Means para guardar representantes para cada grupo y luego hacer Jerárquico en ellos.
