So laden Sie eine sehr große DatenbankIch versuche, eine sehr große Datenbank mit JMP zu laden, aber mir geht der Arbeitsspeicher aus. Es enthält fast 1.000 Spalten und Millionen Zeilen. Die Dateigröße beträgt knapp 35 GB. Gibt es eine Möglichkeit, nur ausgewählte Spalten zu öffnen, um den Speicherverbrauch zu minimieren? Gibt es Empfehlungen, wie man eine so große Datei mit JMP öffnet? Leider habe ich keine Programmiererfahrung
DatenzugriffMac OSBetreff: So laden Sie eine sehr große DatenbankIch bin überrascht, dass niemand darauf hingewiesen hat, aber Sie können Query Builder durchaus für eine CSV-Datei verwenden. Wählen Sie einfach den richtigen Treiber für eine CSV-Datei aus und Sie können entscheiden, welche Spalten/Zeilen aus Ihrer großen Datenbank gefiltert werden sollen.
Betreff: So laden Sie eine sehr große DatenbankAh, es ist eine CSV-Datei. Verwenden Sie „Öffnen“ und wählen Sie die Option „Daten (mit Vorschau)“.
Wählen Sie dann Ihre Teilmengenpräferenzen aus.
Betreff: So laden Sie eine sehr große DatenbankSie können das Skript bearbeiten, das die Datei importiert, um Spalten wegzulassen und die Daten zu unterteilen.
Betreff: So laden Sie eine sehr große DatenbankIch schätze Ihre Bemühungen, diese umfassende Erklärung zusammenzustellen. Die erste Option funktioniert nur, wenn es sich bei der Datei um eine JMP-Datei handelt. Ich habe alle anderen Optionen ausprobiert und der zweite Teil des Codes wird nicht ausgeführt. Es öffnet nur die Datei, ohne die gewünschten spezifischen Spalten auszuwählen oder zu ignorieren. Ich habe das von Ihnen bereitgestellte Beispiel ausprobiert und es hat funktioniert, aber wenn ich die gewünschte Datei auswähle, funktioniert die Funktion „Auswählen“ oder „Ignorieren“ nicht.
Betreff: So laden Sie eine sehr große DatenbankIch habe die Daten als .csv-Datei. Ich konnte es nicht mit dem Abfrage-Builder öffnenBetreff: So laden Sie eine sehr große DatenbankDanke, ich habe die Daten als .csv-Datei. Gibt es eine andere Möglichkeit, es zu öffnen? Oder muss ich die Datei auf einen bestimmten Server hochladen und dann den Abfrage-Builder ausführen?Betreff: So laden Sie eine sehr große DatenbankSie können beim Öffnen der Datei auch „Spalten auswählen“ ausprobieren
Von ihm erstelltes Skript
Open("$SAMPLE_DATA/Big Class.jmp", Select Columns("name", "age", "height"));
Dadurch können Sie die Spaltenauswahl einschränken, aber ich bin mir nicht sicher, ob es für Sie funktioniert.
Open bietet auch andere Optionen zum Begrenzen der Daten: Sie können die ersten x Zeilen, die letzten x Zeilen oder zufällige x Zeilen öffnen
Names Default To Here(1);
dt = Open("$SAMPLE_DATA/CrimeData.jmp", First(10));
dt = Open("$SAMPLE_DATA/CrimeData.jmp", Random(10));
dt = Open("$SAMPLE_DATA/CrimeData.jmp", Last(10));
Und anstatt bestimmte Spalten auszuwählen, können Sie bestimmte Spalten ignorieren
Names Default To Here(1);
dt = Open("$SAMPLE_DATA/Big Class.jmp", ignore columns("age"));
Einige dieser Beispiele finden Sie in einem der offenen Elemente im Skriptindex
Betreff: So laden Sie eine sehr große DatenbankUm Jims Beitrag zu ergänzen, können Sie mit Query Builder x % der Zeilen abtasten oder auch die ersten (oder zufälligen) x Zeilen auswählen.
Betreff: So laden Sie eine sehr große DatenbankBenutzen
Datei=>Datenbank=>Query Builder
Sie sollten in der Lage sein, nur die gewünschten Spalten aus den gewünschten Tabellen auszuwählen
Ich vermute, dass andere Community-Mitglieder weitere Vorschläge haben könnten.
Betreff: So laden Sie eine sehr große DatenbankDanke! Bei mir hat es funktioniert
Betreff: So laden Sie eine sehr große DatenbankDanke
