Verwenden des Abfrage-Generators mit großen CSV-DateienIch habe heute mit einem Kunden über den Abfrage-Generator gesprochen. Der Kunde verfügt über große (über 3 GB) CSV-Dateien. Er hat versucht, diese direkt in JMP zu laden, stellte jedoch erhebliche Leistungseinbußen fest. Der Grund für den Import der Daten war, einen größeren Teil davon für die Analyse herauszufiltern. Er wollte wissen, ob es eine Möglichkeit gibt, mit dem Abfrage-Generator direkt mit CSV-Dateien zu arbeiten.
Ich habe vorgeschlagen, dass es ganz einfach wäre, den DB Browser für SQLite zu verwenden, um die CSV-Datei in eine SQLite-Datenbank umzuwandeln, die vom Query Builder abgefragt werden kann. Ich dachte nicht, dass ein direkter Zugriff möglich wäre. Ich wollte fragen, ob jemand Strategien oder Gedanken dazu hat.
Gedanken?
M
Betreff: Verwenden des Abfrage-Generators mit großen CSV-DateienUpdate: ActualTech hat den Fehler gefunden und aktualisiert den Treiber sowie einige Mojave-Support-Probleme. Mir wurde noch kein voraussichtlicher Zeitpunkt für die Updates genannt.
MBetreff: Verwenden des Abfrage-Generators mit großen CSV-DateienEs gibt offenbar eine Möglichkeit, CSV-Dateien direkt aus dem Query Builder heraus abzurufen. Microsoft (Windows) und ActualTech (MacOS) stellen beide Treiber her, mit denen Sie CSV-, TSV- und XSLX-Dateien als Datenquellen verwenden können. Das bedeutet, dass sie per ODBC aus dem Query Builder abgefragt werden können. Die dadurch eröffneten Möglichkeiten sind wirklich spannend.
Für Windows müssen Sie den Access-Treibersatz installieren. Ich habe hier einige gefunden, die funktionieren ( https://www.microsoft.com/en-us/download/details.aspx?displaylang=en&id=13255 ). Anschließend müssen Sie nur noch die neue Datenquelle einrichten. Ich habe überprüft, dass dies mit CSVs unter meiner Windows 7-VM wie erwartet funktioniert.
(Bearbeiten – der aktuellere Treibersatz ist hier: https://www.microsoft.com/en-us/download/details.aspx?id=54920 )
Für Mac verwenden Sie den Access-Treiber von ActualTech. Dieser lässt sich ebenfalls problemlos einrichten, weist jedoch einige Probleme mit dem Abfrageverhalten auf. Ich bin mir ziemlich sicher, dass es sich um ein Treiberproblem handelt, daher habe ich ActualTech dazu eine Frage gestellt. Ich werde dies aktualisieren, sobald ich eine Antwort von ihnen erhalte. Die Verbindung und Abfrage funktionieren, aber die Ergebnisse scheinen sich ständig zu wiederholen. (Bei einer CSV-Datei mit 300 Zeilen kann das Ergebnis beispielsweise bis zu 1 Million Zeilen umfassen, bevor ich die Abfrage beende und die Ergebnisse die 300 Zeilen sind, die immer wieder nacheinander wiederholt werden.)
Also – Windows, Sie können dies wahrscheinlich einem Kunden zeigen. Mac – warten wir einen Moment.
M
Betreff: Verwenden des Abfrage-Generators mit großen CSV-DateienWahrscheinlich nicht – das hatte ich auch völlig vergessen … Das ist ein guter Punkt, obwohl ich glaube, dass sie QB wirklich direkt auf der CSV-Datei verwenden möchten. Vielleicht wäre das in Verbindung mit der Datentabelle QB eine gute Lösung.
MBetreff: Verwenden des Abfrage-Generators mit großen CSV-DateienIch beziehe mich übrigens auf den direkten Textimport, nicht auf den Query Builder.Betreff: Verwenden des Abfrage-Generators mit großen CSV-DateienSie haben die Einstellung so eingestellt, dass Spaltentypen nur 5 Sekunden lang gescannt werden, anstatt die gesamte Datei zu scannen, oder?
Brian
Betreff: Verwenden des Abfrage-Generators mit großen CSV-DateienEs wird die Datei zwar einlesen, das Problem besteht jedoch darin, dass JMP versucht, die gesamte Datei zu lesen, bevor es entscheidet, was damit geschehen soll. Es handelt sich also nicht um ein Hardwareproblem, sondern um ein Problem mit der Art und Weise, wie JMP Flatfiles behandelt.
MBetreff: Verwenden des Abfrage-Generators mit großen CSV-DateienWissen Sie, ob das nur für den PC gilt? Ich kann keine Informationen für den Mac finden.Betreff: Verwenden des Abfrage-Generators mit großen CSV-DateienDas war auch mein erster Gedanke – aber die Option „Daten mit Vorschau“ erfordert, dass JMP die gesamte Datei analysiert, bevor die Vorschau angezeigt wird … was ein langsamer Schritt ist. Es hängt nicht, es dauert nur ewig, bis die Datei eingelesen ist und Sie Optionen erhalten.
MBetreff: Verwenden des Abfrage-Generators mit großen CSV-DateienMikrofon,
Wissen Sie, wie viel RAM installiert ist?
Welche anderen Anwendungen haben sie geöffnet?
Im Allgemeinen beträgt der Mindest-RAM das Zweifache der Dateigröße. In diesem Fall ist der Mindest-RAM zum Öffnen einer einzelnen 3-GB-Datei mindestens 6 GB RAM erforderlich.
Und sie versuchen, mehr als eine der 3 GB großen Dateien zu öffnen?
Wie lange dauert es, die einzelnen CSV-Dateien direkt mit Excel zu öffnen? Ich würde erwarten, dass die Zeit zum Öffnen der CSV-Datei in JMP vergleichbar ist.
Stan
Betreff: Verwenden des Abfrage-Generators mit großen CSV-DateienMicrosoft stellt einen ODBC-Treiber für Text bereit, wenn Sie Office installiert haben. Ich bin jedoch nicht davon überzeugt, dass er die Leistungsprobleme löst. Er würde es ermöglichen, einfache Where-Klauseln über den Datenbank-Query-Builder auszuführen, ohne dass die Textdateien vollständig in JMP gespeichert wären.
Brian
Betreff: Verwenden des Abfrage-Generators mit großen CSV-DateienSie können eine Teilmenge einer CSV-Datei erstellen, wenn Sie eine Datei unter „Daten mit Vorschau“ öffnen. Schaffen sie es so weit oder bleibt ihr Rechner während dieses Vorgangs hängen?
