Negli ultimi anni, un numero crescente di utenti JMP ha a che fare con i cosiddetti big data, come dati acquisiti dai sensori ogni secondo, dati di produzione con molti parametri e dati genomici.
Se i dati sono grandi, la dimensione del file sarà maggiore e sarà necessario più spazio su disco.
JMP originariamente aveva una funzionalità che comprimeva i file durante il salvataggio delle tabelle di dati, ma l'ultima versione, JMP 18, ha aggiunto una funzionalità che compatta le colonne di tipo carattere . Utilizzando questa funzione, puoi aspettarti di ridurre le dimensioni del file e risparmiare memoria.
In questo blog spiegheremo come compattare le colonne in JMP 18, spiegheremo il meccanismo di compattazione interno e confronteremo le dimensioni dei file durante la compattazione di diversi tipi di dati.
Colonne di tipo carattere compatto
Quando si discute di questa funzionalità, è importante notare che le colonne di tipo carattere possono essere compattate. Le colonne di tipo numerico non possono essere compattate.
I dati* mostrati di seguito registrano i prezzi degli immobili a Tokyo e hanno circa 400.000 righe e 38 colonne. In questo compattiamo la colonna "Regione" che indica la regione.
Operazioni che compattano colonne di tipi di carattere specifici
- Seleziona la colonna Regione e seleziona Colonne > Informazioni sulla colonna.
- In JMP 18, se il tipo di dati è "Carattere", è possibile specificare un sottotipo. L'impostazione predefinita è [Normale], ma modificala in [Compatta] .
Oltre a "Regione", questi dati includono varie stringhe come "Tipo" e "Prefettura". Se desideri compattarli tutti in una volta, sarebbe una buona idea utilizzare il "Gestore colonne", che è anche una nuova funzionalità di JMP 18.
Come compattare più stringhe contemporaneamente utilizzando il gestore colonne
- Seleziona Colonne > Gestione colonne (o fai clic sull'icona nel pannello delle colonne).
- Fai clic sulla voce "Tipo" nella parte superiore del gestore colonne per ordinare per tipo (lettere, numeri).
- Seleziona tutte le colonne il cui tipo è una lettera (scritta come "ABC"), tieni premuto il tasto Ctrl, fai clic sull'elemento a destra di "Tipo" e seleziona [Compatto] .
Per le colonne di tipo testo compattato, verrà aggiunta un'icona a destra del nome della colonna nel pannello Colonne, come mostrato di seguito.
Salvare la tabella dati compattata utilizzando i passaggi precedenti e confrontare la dimensione del file prima e dopo la compattazione.
Compattando i dati da 130 MB, la dimensione è stata ridotta a 67,1 M, circa la metà. Buone notizie per chi è preoccupato per lo spazio su disco!
Tieni presente che le tabelle dati con stringhe compatte non possono essere aperte in JMP 17 o versioni precedenti. Questa è solo una tabella dati che può essere utilizzata in JMP 18.
Come vengono compattate le colonne
Quindi, come compatta la stringa?
Una volta compattato, viene archiviato internamente in due strutture dati: archiviazione di stringhe e archiviazione di righe.
Ad esempio, nei dati di Tokyo sopra riportati, è presente una stringa denominata "Comune" che indica il quartiere o la città in cui si trova la proprietà, ma ogni stringa diversa viene archiviata nell'archivio stringhe e il relativo indice viene archiviato nell'archivio righe.
Pertanto, compattando le colonne con caratteri lunghi o valori di dati duplicati, è probabile che la dimensione del file venga ridotta.
Al contrario, la compattazione di stringhe che identificano i dati assegnando un numero ID univoco a ciascuna riga potrebbe non essere efficace. Ad esempio, in 100 righe di dati paziente, se è presente una colonna ID con valori come (P1, P2, ..., P100) per identificare il paziente, avrà valori univoci senza duplicati, quindi sarà compatto. Non otterrai alcun beneficio.
Di seguito vengono mostrati i risultati della compattazione delle stringhe per alcuni dati di esempio JMP.
Alcuni file sono diventati di dimensioni più piccole e alcuni dati, come "Probe.jmp", non hanno tratto vantaggio dalla compattazione.
In realtà, anche se si compatta un file di diversi MB e la dimensione del file diminuisce, non si risparmierà spazio su disco e non si noterà alcun miglioramento delle prestazioni dovuto al risparmio di spazio nella memoria.
Il vantaggio si ha quando si compattano dati di diverse decine di megabyte o più.
Se disponi di dati di grandi dimensioni con molte stringhe di caratteri, prova a compattarli e verifica se la dimensione del file diminuisce.
Come aprire sempre le colonne di tipo carattere come colonne compatte
Finora abbiamo introdotto come compattare le stringhe aprendo una tabella di dati JMP, ma esiste anche un'impostazione che compatta automaticamente le stringhe quando si aprono i dati in JMP.
Dalla barra dei menu di JMP, aprire [File] > [Preferenze] e selezionare "Apri colonne di tipo carattere come colonne compatte" nella categoria "Generale".
Con questa impostazione, non solo le tabelle di dati JMP, ma anche file come Excel, CSV, txt, ecc. verranno compattati quando vengono aperti in JMP.
*Fonte dati Kaggle, prezzi immobiliari in Giappone
Prezzi immobiliari in Giappone (kaggle.com)
*Video correlato (giapponese)
"JMP 18" Nuove funzionalità utili per le aziende ~Tabelle di dati, edizione di reporting (giapponese)~ - Comunità utenti JMP
di Naoyu Masukawa (JMP Giappone)
Naohiro Masukawa - Comunità degli utenti JMP
