En los últimos años, un número cada vez mayor de usuarios de JMP se ocupan de los llamados big data, como datos adquiridos de sensores cada segundo, datos de fabricación con muchos parámetros y datos genómicos.
Si los datos son grandes, el tamaño del archivo será mayor y se necesitará más espacio en disco.
JMP originalmente tenía una función que comprimiba archivos al guardar tablas de datos, pero la última versión, JMP 18, agregó una función que compacta columnas de tipo carácter . Al utilizar esta función, puede reducir el tamaño del archivo y ahorrar memoria.
En este blog, explicaremos cómo compactar columnas en JMP 18, explicaremos el mecanismo de compactación interno y compararemos tamaños de archivos al compactar varios tipos de datos.
Columnas de tipo de caracteres compactos
Al analizar esta característica, es importante tener en cuenta que las columnas de tipo carácter se pueden compactar. Las columnas de tipo numérico no se pueden compactar.
Los datos* que se muestran a continuación registran los precios inmobiliarios en Tokio y tienen aproximadamente 400.000 filas y 38 columnas. En esto, compactemos la columna "Región" que indica la región.
Operaciones que compactan columnas de tipos de caracteres específicos.
- Seleccione la columna Región y seleccione Columnas > Información de columna.
- En JMP 18, si el tipo de datos es "Carácter", puede especificar un subtipo. El valor predeterminado es [Normal], pero cámbielo a [Compacto] .
Además de "Región", estos datos incluyen varias cadenas como "Tipo" y "Prefectura". Si desea compactarlos todos a la vez, sería una buena idea utilizar el "Administrador de columnas", que también es una característica nueva en JMP 18.
Cómo compactar varias cadenas a la vez usando el administrador de columnas
- Seleccione Columnas > Administrador de columnas (o haga clic en el icono en el panel de columnas).
- Haga clic en el elemento "Tipo" en la parte superior del administrador de columnas para ordenar por tipo (letras, números).
- Seleccione todas las columnas cuyo tipo sea letra (escrito como "ABC"), mantenga presionada la tecla Ctrl, haga clic en el elemento a la derecha de "Tipo" y seleccione [Compacto] .
Para columnas de tipo texto compactado, se agregará un ícono a la derecha del nombre de la columna en el panel Columnas, como se muestra a continuación.
Guarde la tabla de datos compactada siguiendo los pasos anteriores y compare el tamaño del archivo antes y después de la compactación.
Al compactar los 130 MB de datos, el tamaño se redujo a 67,1 M, aproximadamente la mitad del tamaño. ¡Buenas noticias para aquellos preocupados por el espacio en disco!
Tenga en cuenta que las tablas de datos con cadenas compactadas no se pueden abrir en JMP 17 o versiones anteriores. Esta es sólo una tabla de datos que se puede utilizar con JMP 18.
Cómo se compactan las columnas
Entonces, ¿cómo compacta la cuerda?
Cuando se compacta, internamente se almacena en dos estructuras de datos: almacenamiento de cadenas y almacenamiento de filas.
Por ejemplo, en los datos de Tokio anteriores, hay una cadena llamada "Municipio" que indica el distrito o ciudad donde se encuentra la propiedad, pero cada cadena diferente se almacena en el almacenamiento de cadenas y su índice se almacena en el almacenamiento de filas.
Por lo tanto, al compactar columnas con caracteres largos o valores de datos duplicados, se espera que se reduzca el tamaño del archivo.
Por el contrario, compactar cadenas que identifican datos asignando un número de identificación único a cada fila puede no ser efectivo. Por ejemplo, en 100 filas de datos de pacientes, si hay una columna de ID con valores como (P1, P2,..., P100) para identificar al paciente, tendrá valores únicos sin duplicados, por lo que Será compacto. No obtendrás ningún beneficio.
A continuación se muestran los resultados de la compactación de cadenas para algunos datos de muestra de JMP.
Algunos de los archivos se han vuelto más pequeños y algunos datos, como "Probe.jmp", no se han beneficiado de la compactación.
En realidad, incluso si compacta un archivo de varios MB y el tamaño del archivo se reduce, no ahorrará espacio en el disco y no experimentará ninguna mejora en el rendimiento debido al ahorro en el tamaño de la memoria.
El beneficio es cuando se compactan datos de varias decenas de megabytes o más.
Si tiene datos grandes con muchas cadenas de caracteres, intente compactarlos y vea si el tamaño del archivo se reduce.
Cómo abrir siempre columnas de tipo carácter como columnas compactas
Hasta ahora, hemos introducido cómo compactar cadenas abriendo una tabla de datos JMP, pero también hay una configuración que compacta cadenas automáticamente cuando abre datos en JMP.
Desde la barra de menú de JMP, abra [Archivo] > [Preferencias] y marque "Abrir columnas de tipo de caracteres como columnas compactas" en la categoría "General".
Con esta configuración, no solo las tablas de datos JMP, sino también archivos como Excel, csv, txt, etc., se compactarán cuando se abran en JMP.
*Fuente de datos Kaggle, Precios inmobiliarios en Japón
Precios inmobiliarios en Japón (kaggle.com)
*Video relacionado (japonés)
"JMP 18" Nuevas funciones útiles para empresas ~Tablas de datos, edición de informes (japonés)~ - Comunidad de usuarios de JMP
por Naoyu Masukawa (JMP Japón)
Naohiro Masukawa - Comunidad de usuarios de JMP
