Parkettdateien öffnenIch möchte, dass JMP Apache Parquet-Dateien öffnen und auf die gleiche Weise verarbeiten kann, wie HDF5, JSON usw. behandelt werden können. Tausend Dank.
DatenzugriffBetreff: Parquet-Dateien öffnenNein, in der aktuellen Softwareversion (V17) ist dies nicht möglich.
Betreff: Parquet-Dateien öffnenHallo @MassimoMartucci
Ist es möglich, Parquet-Dateien, Ordner mit der Funktion „Öffnen“ oder einer anderen Funktion zu öffnen? Funktion öffnen
Betreff: Parquet-Dateien öffnen@MassimoMartucci Funktioniert super, vielen Dank für die schnelle Antwort!
Betreff: Parquet-Dateien öffnenHallo, das Problem sollte jetzt gelöst sein, ich zeige nicht mehr auf diesen Ordner. Ich habe das Add-in erneut hochgeladen. Würden Sie es versuchen? Massimo
Betreff: Parquet-Dateien öffnenHallo @MassimoMartucci ,
Ausgezeichnetes Add-In ... das wird unserem Team sehr hilfreich sein.
Der einzelne Datei-Uploader hat funktioniert, aber die Schaltfläche „Mehrere Dateien“ fügt dem Protokoll den folgenden Fehler hinzu ...
JMP17
Python:3.9.7
/*:
// Neue Datentabelle
// → Datentabelle( „Unbenannt“)
Neue Tabelle( „Untitled“ );
Ungültiges Argument in „Pick File“: Verzeichnis „c:\tmp\parquet_multiple_files“ wurde beim Zugriff oder bei der Auswertung von „Pick Directory“ nicht gefunden, Pick Directory/*###*/(„Verzeichnis mit Apache Parquet-Eingabedateien auswählen“,
„c:\tmp\parquet_multiple_files“, Dateien anzeigen( 1 ))
in Zeile 10 in ~\SAS\JMP\Addins\com.jmp.martucci.parquet\Apache Parquet Dateiimporter – mehrere Dateien – Interactive.jsl
Danke schön!
Betreff: Parquet-Dateien öffnenDas ist fantastisch!Danke Massimo :thumbs_up:
Betreff: Parquet-Dateien öffnenHallo zusammen, ich habe es kürzlich entwickelt und in den Abschnitt „Dateiaustausch -> Add-Ins“ gestellt. Apache Parquet-Dateiimporter“ Add-in: Apache Parquet-Dateiimporter
Es importiert interaktiv .parquet-Dateien in die entsprechende(n) JMP-Tabelle(n): Es funktioniert sowohl für eine einzelne Datei als auch für mehrere Dateien (alle werden im selben Ordner gespeichert).
Es erfordert JMP V17 und eine unterstützte Python-Installation mit dem PyArrow-Paket (und seinen Abhängigkeiten).
Betreff: Parquet-Dateien öffnenIch habe ein Konto erstellt, nur um zu sagen, dass das Fehlen dieser Funktion die Benutzer in unserer Organisation derzeit von JMP abhält, da diese Dateien nicht geöffnet werden können.
Betreff: Parquet-Dateien öffnenVielen Dank für die zusätzlichen Kommentare. Wir werden weiter nachforschen.
Betreff: Parquet-Dateien öffnenIch würde mir auch die Möglichkeit wünschen, direkt aus einer Parquet-Datei in eine JMP-Tabelle einzulesen.Ich arbeite regelmäßig mit 2-GB-CSVs (130.000 Zeilen, 2,5.000 Spalten) und habe einen relativ neuen i7-Laptop mit 64 GB RAM.Das Öffnen einer dieser Dateien dauert etwa 5 Minuten für den Datenscan und weitere 4,5 Minuten für den Datenimport.Das sind fast 10 Minuten meiner Zeit, nur darauf zu warten, dass JMP die Datei öffnet.
Unser Datensystem kann ein Parkett anstelle einer CSV-Datei erstellen und dieselbe Datei ist weniger als 200 MB groß und enthält bereits die richtigen Datentypen.Wenn ich eine dieser Parkettdateien mit einer einzigen Codezeile (read_parquet) in Pandas öffne, kann sie in weniger als 30 Sekunden in einen Datenrahmen im Speicher geladen werden.In letzter Zeit zögere ich sehr, die Dateien in JMP zu öffnen, auch wenn dies meine Präferenz wäre.Ich kann die Datei in Pandas öffnen und eine Zusammenfassung erstellen, um die benötigten Informationen in der Hälfte der Zeit zu erhalten, die zum Öffnen in JMP erforderlich wäre.
Diese Funktion wäre wirklich von Vorteil für Leute da draußen, die Analysen mit größeren Dateien durchführen, und hoffe, dass sie in naher Zukunft aktiviert werden kann.
Betreff: Parquet-Dateien öffnenIch stimme Johns obigen Kommentaren zu 100 % zu.JMP sollte aktiviert sein, um Parquet und Feather direkt in eine JMP-Tabelle einzulesen.
Betreff: Parquet-Dateien öffnenWenn JMP Big Data wirklich richtig verarbeiten möchte, sollte es in der Lage sein, Parquet-/Feather-Dateien zu lesen und diese direkt mit geeigneter Komprimierung und Spaltendefinitionen zu importieren. Es ist nicht genügend Speicher vorhanden, um eine Datei zu öffnen und dann zu komprimieren. Und dieses Problem wird nur noch schlimmer werden.
Betreff: Parquet-Dateien öffnenEinige zusätzliche Informationen für Neugierige:
https://www.databricks.com/glossary/what-is-parquet#:~:text=What%20is%20Parquet%3F,handle%20complex%20data%20in%20bulk .
Betreff: Parquet-Dateien öffnenOh Mann, Mist.Für seinen Wert halte ich das für wichtig!
Parquet-Dateien sind in Bezug auf Speicher- und Lesezeiten sehr effizient. Dies ist besonders praktisch, wenn Sie Daten von einer anderen Plattform in JMP oder aus JMP auf eine andere Plattform übertragen müssen.
Betreff: Parquet-Dateien werden geöffnet – Status geändert in: ArchiviertWir archivieren diese Anfrage. Wenn dies immer noch wichtig ist, kommentieren Sie bitte mit weiteren Details und wir werden wieder öffnen. Danke schön!Betreff: Parquet-Dateien öffnen@Ryan_Gilmore Bitte dearchivieren Sie diese Anfrage. Diese Dateitypen sind viel effizienter zu verwenden als CSV und sollten eine integrierte Kompatibilität im Vergleich zu einem Add-In darstellen. Vielen Dank, dass Sie diese Anfrage berücksichtigt haben.
Steve
Betreff: Parquet-Dateien öffnen – Status geändert in: BestätigtBetreff: Parquet-Dateien öffnen@kevin_lennon , mit JMP 18 ist es jetzt möglich , Apache Parquet-Dateien über die erweiterte Python-Integration zu öffnen. Bitte sehen Sie:
https://community.jmp.com/t5/JMPer-Cable/JMP-is-Pythonic-Enhanced-Python-Integration-in-JMP-18/ba-p/723997
Danke schön!
(Diese Anfrage als zugestellt markieren).
Betreff: Öffnen von Parquet-Dateien – Status geändert in: GeliefertBetreff: Parquet-Dateien öffnenBitte sehen Sie sich meine Ergänzungen zu https://community.jmp.com/t5/JMP-Add-Ins/Apache-Parquet-file-importer/ta-p/637823#U637823 an, wo ich ein aktualisiertes Skript detailliert beschreibe, das die Funktionen von JMP 18 nutzt.
