Suggerimenti per rendere una tabella dati di grandi dimensioni più piccola/più leggera/più veloce<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Qualcuno ha qualche consiglio per realizzare una tabella più velocemente?Sto lavorando con circa 300 milioni di righe e mi chiedo solo se ci sono suggerimenti per fare in modo che non debba lavorare così duramente.
Ad esempio, ho provato a trasformare alcune colonne di condizione (con valore 1, 2, 3, 4,...) da carattere a numerico pensando che gli int sarebbero stati più piccoli dei caratteri e in realtà rendeva la tabella più lenta e più grande.Alcuni tipi di dati/modellazione sono intrinsecamente più piccoli di altri?O davvero qualsiasi cosa qualcuno abbia trovato che potrebbe rendere più facile lavorare con questa cosa.
Attualmente sto provando a raggruppare le mie colonne di dati con valori int compresi tra 0 e 255 e ho solo una colonna di frequenza.Ma se ho bisogno dei dati alla massima risoluzione, c'è qualcosa che posso fare?
Re: Suggerimenti per rendere una tabella dati di grandi dimensioni più piccola/più leggera/più veloceNate e Vince,
L'ho provato in precedenza su una tabella dati di grandi dimensioni. Oltre a rendere invisibile una tabella dati, si può anche provare a rendere privata la tabella dati per un'ulteriore ottimizzazione (anche in questo caso possono esserci dei compromessi)
1. Invisibile
2. Privato
Anche il seguente webcast di Brady (una piccola parte) mostra la stessa cosa.
Linguaggio di scripting JMP per utenti JSL esperti – Parte 1 | JMP
Re: Suggerimenti per rendere una tabella dati di grandi dimensioni più piccola/più leggera/più veloceVinci,
Sfrutterò il fatto di aver visto alcuni post in cui stai scrivendo script.Se hai già familiarità con i tipi di dati presenti e hai qualche idea sui report/analisi che desideri eseguire su un set di dati più grande, perché non provare l'opzione invisibile su aperto?Se apri una tabella dati invisibile (e la mantieni invisibile), ciò salverà l'I/O sul display.
Discussione della comunità:
https://community.jmp.com/thread/59784
Documento di supporto:
http://www.jmp.com/support/help/Basic_Data_Table_Scripting.shtml#Invisible
Guida allo scripting:
Saluti,
Nato
Re: Suggerimenti per rendere una tabella dati di grandi dimensioni più piccola/più leggera/più veloceBene, questo rende tutto facile.Grazie
Re: Suggerimenti per rendere una tabella dati di grandi dimensioni più piccola/più leggera/più velocejeff.perkinson La strategia di è quella giusta da utilizzare. La chiave è ottenere la dimensione in byte corretta, cosa che fa per te la funzione "comprimi colonne selezionate".Puoi anche ridurre le dimensioni del file sul disco utilizzando la funzione "Comprimi file al salvataggio" sotto il triangolo rosso in alto a sinistra nell'area degli script della tabella dati.Una terza opzione che mi piace per lavorare con le categorie basate su testo è questo componente aggiuntivo: https://community.jmp.com/docs/DOC-6111
migliore,
M
Re: Suggerimenti per rendere una tabella dati di grandi dimensioni più piccola/più leggera/più veloceTentativo Colonne->Utilità->Comprimi colonne selezionate . Esaminerà i dati memorizzati nelle colonne selezionate e vedrà se esiste un formato più compatto in cui memorizzarli.
Da Compressione di tabelle e colonne JMP :
Ecco cosa fa Comprimi colonne selezionate:
- Aggiunge un controllo elenco (ordine predefinito) alla colonna di caratteri se la colonna ha meno di 255 valori distinti.
- Modificare le colonne numeriche nel numero intero più piccolo da 1 byte, 2 byte o 4 byte se tutti i valori nella colonna possono essere archiviati . Vengono controllate solo le colonne con valori interi.
- Per gli interi a 1 byte, l'intervallo di numeri che è possibile memorizzare è compreso tra -126 e 127.
- Per gli interi a 2 byte, l'intervallo di numeri che è possibile memorizzare è compreso tra -32.766 e 32.767.
- Per gli interi a 4 byte, l'intervallo di numeri che è possibile memorizzare è compreso tra -2.147.483.646 e 2.147.483.647.
- Non modificherà le colonne se hanno già il controllo dell'elenco.
