Ich habe eine große CSV-Datei mit > 50 Millionen Datenzeilen für alle 50 Bundesstaaten der USA. Wie kann ich nur einen Teil der Daten in JMP importieren (z. B. nur Daten für Kalifornien)?
Eine Möglichkeit besteht darin, die cvs-Datei in JMP zu öffnen und dann die Daten für Kalifornien herauszufiltern, aber das dauert ewig. Also habe ich mich gefragt, ob es eine Möglichkeit gibt, die Daten zu filtern * Vor* in JMP importieren? Ich denke, das kann mit dem Query Builder gemacht werden (richtig?), aber kann das mit einer CSV-Datei gemacht werden? Bitte beraten.
Probieren Sie den Import mehrerer Dateien aus, wenn Sie feststellen, dass der CSV-Import langsam ist. Es wird das Filterproblem nicht lösen, aber es könnte ein bisschen schneller sein, sogar mit nur einer Datei. Die Filterung sollte ziemlich schnell sein, sobald die Daten geladen sind.
Oder behalten Sie das Quellskript aus dem CSV-Import und verwenden Sie das Skript beim nächsten Mal. Der CSV-Import führt (im Gegensatz zum Import mehrerer Dateien) einen zusätzlichen Durchgang über die Daten durch, um zu ermitteln, welche Spalten aus Zeichen und Zahlen bestehen. Mit dem Quellskript muss der zusätzliche Durchgang nicht ausgeführt werden.
Auch wenn die Datentabelle zu groß ist, um in den Speicher zu passen (8 GB? 16 GB?), dann wird es langsam und die Erhöhung des Arbeitsspeichers könnte die beste Wahl sein. Wenn Sie ein Festplattenlicht haben, behalten Sie es im Auge oder verwenden Sie den Task-Manager usw., um zu sehen, ob die Festplatte zu 100% ausgelastet ist.
