Gestione di set di dati di grandi dimensioniPer alcuni set di dati che raccogliamo nel tempo, la dimensione del file continua ad aumentare e alla fine le cose possono rallentare un po '. A volte la suddivisione in più file è una soluzione, ma allora potresti volere parti di più file per un confronto che potrebbe essere scomodo.
Ho letto di Virtual Join ma non l'ho sfruttato. È questo un approccio appropriato da utilizzare per questa situazione? Esistono buoni esempi di implementazione di una soluzione JMP per questo tipo di problema?
Ri: gestione di set di dati di grandi dimensioniSe il tuo file sta diventando più grande a causa dei join con altre tabelle di dati, allora join virtuali può aiutare poiché i dati non vengono duplicati su più righe.
Se, tuttavia, la tabella dati diventa più grande man mano che vengono aggiunti o concatenati più dati, i join virtuali non saranno di grande aiuto.
Come stanno crescendo le tue tabelle di dati?
Che dimensione stai ottenendo, sia in righe che colonne, ma anche in termini di dimensioni su disco quando salvato come file .jmp?
Ri: gestione di set di dati di grandi dimensioniIn genere è un file concatenato poiché più dati vengono raccolti nel tempo.
In una situazione attuale che ho che è relativamente gestibile, è un file di dimensioni 200 KB con circa 250.000 righe e 100 colonne. Ho avuto alcuni scenari con >> 1 milione di righe e 100-300 colonne.
Per quegli scenari più estremi, le cose possono davvero rallentare anche quando si eseguono grafici semplici. Non sono sicuro se ci siano limiti specifici che dovremmo evitare riguardo alle dimensioni dei file o alle strategie per mitigare gli impatti di avere così tanti dati - se ci sono, mi piacerebbe ascoltarli!Ri: gestione di set di dati di grandi dimensioniL'unica cosa che velocizzerà JMP è usare il comando Colonne per comprimere le colonne:
Cols -> Utilità -> Comprimi colonne selezionate.
- Per i dati numerici, non vedrai alcuna differenza. Ciò che accade dietro le quinte è che JMP elimina tutti i bit inutilizzati (raramente abbiamo bisogno di tutti i 64 bit per la memorizzazione dei dati).
- Per i dati categoriali, lo trasforma in un file controllo elenco , quindi l'immissione futura dei dati può essere più impegnativa. Inoltre riduce notevolmente l'ingombro complessivo dei dati.
La compressione delle colonne può ridurre la dimensione del file di una grandezza o più! E velocizza assolutamente i calcoli in JMP.
Puoi leggere di più al riguardo nel Documentazione JMP .
