Gestione di set di dati di grandi dimensioniPer alcuni set di dati che raccogliamo nel tempo, la dimensione del file continua ad aumentare e alla fine le cose possono rallentare un po '. A volte la suddivisione in più file è una soluzione, ma allora potresti volere parti di più file per un confronto che potrebbe essere scomodo.
Ho letto di Virtual Join ma non l'ho sfruttato. È questo un approccio appropriato da utilizzare per questa situazione? Esistono buoni esempi di implementazione di una soluzione JMP per questo tipo di problema?
Ri: gestione di set di dati di grandi dimensioniSe il tuo file sta diventando più grande a causa dei join con altre tabelle di dati, allora join virtuali può aiutare poiché i dati non vengono duplicati su più righe.
Se, tuttavia, la tabella dati diventa più grande man mano che vengono aggiunti o concatenati più dati, i join virtuali non saranno di grande aiuto.
Come stanno crescendo le tue tabelle di dati?
Che dimensione stai ottenendo, sia in righe che colonne, ma anche in termini di dimensioni su disco quando salvato come file .jmp?
Ri: gestione di set di dati di grandi dimensioniIn genere è un file concatenato poiché più dati vengono raccolti nel tempo.
In una situazione attuale che ho che è relativamente gestibile, è un file di dimensioni 200 KB con circa 250.000 righe e 100 colonne. Ho avuto alcuni scenari con >> 1 milione di righe e 100-300 colonne.
Per quegli scenari più estremi, le cose possono davvero rallentare anche quando si eseguono grafici semplici. Non sono sicuro se ci siano limiti specifici che dovremmo evitare riguardo alle dimensioni dei file o alle strategie per mitigare gli impatti di avere così tanti dati - se ci sono, mi piacerebbe ascoltarli!
