Come caricare un database molto grandeSto tentando di caricare un database molto grande utilizzando JMP ma sto esaurendo la memoria. Contiene quasi 1k colonne e milioni di righe. La dimensione del file è di quasi 35 GB. Esiste un modo per aprire solo le colonne selezionate per ridurre al minimo l'utilizzo della memoria? Qualche consiglio su come aprire un file così grande utilizzando JMP? Sfortunatamente, non ho esperienza di programmazione
Accesso ai datiMac OSRi: Come caricare un database molto grandeSono sorpreso che nessuno lo abbia sottolineato, ma puoi sicuramente utilizzare Query Builder per un file .csv. Basta scegliere il driver corretto per un file .csv e puoi decidere quali colonne/righe filtrare dal tuo database di grandi dimensioni.
Ri: Come caricare un database molto grandeAh, è un file .csv. Utilizza "Apri" e scegli l'opzione "Dati (utilizzando l'anteprima)".
Quindi scegli le preferenze del sottoinsieme.
Ri: Come caricare un database molto grandeÈ possibile modificare lo script che importa il file per omettere colonne e creare sottoinsiemi di dati.
Ri: Come caricare un database molto grandeApprezzo il tuo sforzo nel mettere insieme questa spiegazione completa. La prima opzione non funziona a meno che il file non sia un file JMP. Ho provato tutte le altre opzioni e non esegue la seconda parte del codice. Apre solo il file senza selezionare o ignorare le colonne specifiche che desidero. Ho provato l'esempio che hai fornito e ha funzionato, ma quando scelgo il file che desidero, la funzione di selezione o ignora non funziona.
Ri: Come caricare un database molto grandeHo i dati come file .csv. Non sono riuscito ad aprirlo utilizzando il generatore di queryRi: Come caricare un database molto grandeGrazie, ho i dati come file .csv. C'è un modo diverso per aprirlo? Oppure devo caricare il file su un server specifico e quindi eseguire il generatore di query?Ri: Come caricare un database molto grandePuoi anche provare Seleziona colonne quando apri il file
Script creato da esso
Open("$SAMPLE_DATA/Big Class.jmp", Select Columns("name", "age", "height"));
Ciò ti consentirà di limitare la selezione delle colonne, ma non sono sicuro che funzionerà per te.
Apri ha anche altre opzioni per limitare i dati, puoi aprire le prime x righe, le ultime x righe o x righe casuali
Names Default To Here(1);
dt = Open("$SAMPLE_DATA/CrimeData.jmp", First(10));
dt = Open("$SAMPLE_DATA/CrimeData.jmp", Random(10));
dt = Open("$SAMPLE_DATA/CrimeData.jmp", Last(10));
e invece di selezionare colonne specifiche, puoi ignorare colonne specifiche
Names Default To Here(1);
dt = Open("$SAMPLE_DATA/Big Class.jmp", ignore columns("age"));
Uno degli elementi Open nell'indice degli script contiene alcuni di questi esempi
Ri: Come caricare un database molto grandePer aggiungere qualcosa al post di Jim, Query Builder ti consente di campionare x% delle righe o scegliere anche le prime (o casuali) x righe.
Ri: Come caricare un database molto grandeUtilizzando
File=>Database=>Generatore di query
dovresti essere in grado di selezionare solo le colonne che desideri, dalle tabelle che desideri
Sospetto che altri membri della comunità possano avere ulteriori suggerimenti.
Ri: Come caricare un database molto grandeGrazie! Ha funzionato per me
Ri: Come caricare un database molto grandeGrazie
