Verwenden von Query Builder mit großen CSV-DateienIch habe heute mit einem Kunden über den Query Builder gesprochen. Der Kunde hat große (3 GB +) CSV-Dateien. Sie haben versucht, sie direkt in JMP zu laden, aber sie sehen einen signifikanten Leistungseinbruch. Der Grund, warum sie die Daten importieren wollten, bestand darin, einen angemesseneren Teil davon für die Analyse auszugeben. Sie wollten wissen, ob Query Builder direkt mit CSV-Dateien arbeiten kann.
Ich schlug vor, dass es wirklich einfach wäre, DB Browser for SQLite zu verwenden, um die CSV in eine SQLite-Datenbank zu verwandeln, die von Query Builder abgefragt werden könnte. Ich hätte nicht gedacht, dass es möglich wäre, direkt darauf zuzugreifen. Ich wollte sehen, ob jemand irgendwelche Strategien oder Gedanken dazu hat.
Gedanken?
M
Betreff: Verwenden von Query Builder mit großen CSV-DateienUpdate auf diese - ActualTech hat den Fehler gefunden und aktualisiert den Treiber sowie einige Probleme mit dem Mojave-Support. Sie haben mir keine ETA gegeben, wann die Updates durchkommen werden.
MBetreff: Verwenden von Query Builder mit großen CSV-DateienWelp - Es stellt sich heraus, dass es eine Möglichkeit gibt, CSVs direkt aus dem Query Builder heraus zu finden. Microsoft (Windows) und ActualTech (MacOS) stellen Treiber zur Verfügung, mit denen Sie CSV-, TSV- und XSLX-Dateien als Datenquellen behandeln können ... Das heißt, sie können von ODBC aus Query Builder abgefragt werden. Die Möglichkeiten, die sich daraus ergeben, sind wirklich aufregend ...
Für Windows müssen Sie den Zugriffstreibersatz installieren. Ich habe einige gefunden, die hier funktionieren ( https://www.microsoft.com/en-us/download/details.aspx?displaylang=de&id=13255 ). Dann müssen Sie nur noch die neue Datenquelle einrichten. Ich habe überprüft, ob dies mit CSVs unter Windows 7 vm wie erwartet funktioniert.
(Bearbeiten - der aktuellere Treibersatz ist hier: https://www.microsoft.com/en-us/download/details.aspx?id=54920 )
Für Mac verwenden Sie den Access-Treiber von ActualTech. Dies ist ebenfalls einfach einzurichten, es gibt jedoch einige Probleme mit dem Verhalten der Abfrage. Ich bin mir ziemlich sicher, dass es sich um ein Treiberproblem handelt, daher habe ich bei ActualTech eine Frage dazu. Ich werde dies aktualisieren, nachdem ich von ihnen gehört habe. Die Verbindung und Abfrage funktioniert, aber es scheint, die Ergebnisse immer und immer wieder zu wiederholen, ohne anzuhalten. (dh für eine CSV mit 300 Zeilen kann das Ergebnis bis zu 1 Million Zeilen betragen, bevor ich die Abfrage beende, wobei die Ergebnisse die 300 Zeilen sind, die immer wieder in Folge wiederholt werden).
Also - Windows, Sie sind wahrscheinlich gut darin, dies einem Kunden zu zeigen. Mac - lassen Sie uns eine Sekunde lang ruhig bleiben.
M
Betreff: Verwenden von Query Builder mit großen CSV-DateienWahrscheinlich nicht - das habe ich auch komplett vergessen ... Das ist ein guter Punkt, obwohl ich denke, dass sie QB wirklich direkt in der CSV-Datei verwenden möchten. Vielleicht wäre das in Verbindung mit der Datentabelle QB eine gute Lösung.
MBetreff: Verwenden von Query Builder mit großen CSV-DateienIch beziehe mich auf den direkten Textimport, übrigens nicht auf Query Builder.Betreff: Verwenden von Query Builder mit großen CSV-DateienSie haben die Einstellung so eingestellt, dass nur Spaltentypen für 5 Sekunden gescannt werden, anstatt die gesamte Datei zu scannen, oder?
Brian
Betreff: Verwenden von Query Builder mit großen CSV-DateienLetztendlich wird es eingelesen, aber das Problem ist, dass JMP versucht, die gesamte Datei zu lesen, bevor entschieden wird, was damit geschehen soll. Es handelt sich also nicht um ein Hardwareproblem, sondern um ein Problem bei der Behandlung von Flat Files durch JMP.
MBetreff: Verwenden von Query Builder mit großen CSV-DateienWissen Sie, ob dies nur ein PC ist? Ich kann keine Informationen für den Mac finden.Betreff: Verwenden von Query Builder mit großen CSV-DateienDies war mein erster Gedanke - aber die Option "Daten mit Vorschau" erfordert, dass JMP die gesamte Datei analysiert, bevor Sie die Vorschau erhalten ... Das ist der langsame Schritt. Es wird nicht hängen bleiben, es dauert nur ewig, bis Sie die Datei zum ersten Mal gelesen haben, bevor Sie Optionen erhalten.
MBetreff: Verwenden von Query Builder mit großen CSV-DateienMike,
Wissen Sie, wie viel RAM installiert ist?
Welche anderen Anwendungen haben sie geöffnet?
Im Allgemeinen beträgt der Mindest-RAM-Speicher das 2-Fache der Dateigröße. In diesem Fall benötigt der Mindest-RAM-Speicher mindestens 6 GB, um eine einzelne 3-GB-Datei zu öffnen.
Und sie versuchen,> 1 der 3 GB-Dateien zu öffnen?
Wann ist die Zeit, um jede der CSV-Dateien direkt mit Excel zu öffnen? Ich würde erwarten, dass die Zeit zum Öffnen der CSV-Datei in JMP vergleichbar ist.
Stan
Betreff: Verwenden von Query Builder mit großen CSV-DateienEs gibt einen ODBC-Treiber für Text, den Microsoft bereitstellt, wenn Sie Office installiert haben. Ich bin jedoch nicht davon überzeugt, dass es bei den Leistungsproblemen helfen wird. Dies würde es ihnen ermöglichen, einfache Where-Klauseln über den Datenbank-Abfrage-Generator auszuführen, ohne dass die Textdateien vollständig in JMP gespeichert sind.
Brian
Betreff: Verwenden von Query Builder mit großen CSV-DateienSie können eine Teilmenge einer CSV erstellen, wenn Sie eine Datei unter "Daten mit Vorschau" öffnen. Schaffen sie es so weit oder hängt ihre Maschine während dieser Operation?
