Ouverture des dossiers de parquetJ'aimerais que JMP puisse ouvrir les fichiers Apache Parquet et les gérer de la même manière que HDF5, JSON etc... peuvent être gérés. Mille mercis.
Accès aux donnéesRe : Ouverture des dossiers ParquetNon, dans la version actuelle du logiciel (V17), ce n'est pas possible.
Re : Ouverture des dossiers ParquetSalut @MassimoMartucci
Est-il possible d'ouvrir des fichiers parquet, des dossiers avec la fonction Ouvrir ou une autre fonction Fonction ouverte
Re : Ouverture des dossiers Parquet@MassimoMartucci fonctionne très bien, merci pour la réponse rapide !
Re : Ouverture des dossiers ParquetBonjour, ce problème devrait être résolu maintenant, je ne pointe plus vers ce dossier. J'ai relancé le complément, voudriez-vous essayer ? Massimo
Re : Ouverture des dossiers ParquetSalut @MassimoMartucci ,
Excellent complément... cela sera très utile à notre équipe.
Le téléchargeur de fichiers uniques a fonctionné, mais le bouton de fichiers multiples ajoute l'erreur ci-dessous au journal...
JMP17
Python : 3.9.7
/* :
// Nouvelle table de données
// → Table de données( "Sans titre" )
Nouveau tableau( "Sans titre" );
Argument non valide dans Pick File : Répertoire "c:\tmp\parquet_multiple_files" introuvable lors de l'accès ou de l'évaluation de 'Pick Directory', Pick Directory/*###*/("Sélectionner le répertoire avec les fichiers d'entrée Apache Parquet",
"c:\tmp\parquet_multiple_files", Afficher les fichiers( 1 ))
à la ligne 10 dans ~\SAS\JMP\Addins\com.jmp.martucci.parquet\Apache Parquet importateur de fichiers - plusieurs fichiers - interactive.jsl
Merci!
Re : Ouverture des dossiers ParquetC'est fantastique!Merci Massimo :thumbs_up:
Re : Ouverture des dossiers ParquetSalut à tous, je l'ai récemment développé et mis dans la section Échange de fichiers -> Compléments ceci " Importateur de fichiers Apache Parquet" ajouter à: Importateur de fichiers Apache Parquet
Il importe de manière interactive les fichiers .parquet dans les tables JMP correspondantes : il fonctionne à la fois pour un seul fichier et pour plusieurs fichiers (tous stockés dans le même dossier)
Il nécessite JMP V17 et une installation Python prise en charge avec le package PyArrow (et ses dépendances).
Re : Ouverture des dossiers ParquetJ'ai créé un compte juste pour intervenir et dire que l'absence de cette fonctionnalité éloigne actuellement les utilisateurs de jmp dans notre organisation car il est incapable d'ouvrir ces fichiers.
Re : Ouverture des dossiers ParquetMerci pour les commentaires supplémentaires. Nous enquêterons plus en détail.
Re : Ouverture des dossiers ParquetJ'aimerais aussi vraiment pouvoir lire directement un fichier Parquet dans une table JMP.Je travaille régulièrement avec des CSV de 2 Go (130 000 lignes, 2,5 000 colonnes) et je possède un ordinateur portable i7 assez récent avec 64 Go de RAM.L'ouverture d'un de ces fichiers prend environ 5 minutes pour l'analyse des données, puis encore 4 minutes et demie pour importer les données.Cela représente presque 10 minutes de mon temps à attendre que JMP ouvre le fichier.
Notre système de données peut produire un parquet au lieu d'un csv et le même fichier fait moins de 200 Mo et contient déjà les types de données corrects.Lorsque j'ouvre un de ces fichiers parquet avec une seule ligne de code (read_parquet) dans pandas, il peut le charger dans une trame de données en mémoire en moins de 30 secondes.Dernièrement, j'hésite beaucoup à ouvrir les fichiers dans JMP même si c'est ma préférence.Je peux ouvrir le fichier dans pandas, faire un résumé et obtenir les informations dont j'ai besoin en deux fois moins de temps qu'il faut pour l'ouvrir dans JMP.
Avoir cette fonctionnalité serait vraiment bénéfique pour les personnes effectuant des analyses avec des fichiers plus volumineux, j'espère qu'elle pourra être activée dans un avenir proche.
Re : Ouverture des dossiers Parquet100 % d'accord avec les commentaires de John ci-dessus.JMP doit être activé pour lire le parquet et les plumes directement dans une table JMP.
Re : Ouverture des dossiers ParquetSi JMP veut vraiment gérer correctement le Big Data, il devrait être capable de lire les fichiers parquet/feather et de les importer directement avec les définitions de compression et de colonnes appropriées. Il n'y a pas assez de mémoire pour ouvrir un fichier, puis le compresser. Et ce problème ne fera qu’empirer.
Re : Ouverture des dossiers ParquetQuelques informations supplémentaires pour les curieux :
https://www.databricks.com/glossary/what-is-parquet#:~:text=What%20is%20Parquet%3F,handle%20complex%20data%20in%20bulk .
Re : Ouverture des dossiers ParquetOh mec, c'est décevant.Pour ce que ça vaut, je pense que c'est important !
Les fichiers Parquet sont vraiment efficaces en termes de stockage et de temps de lecture, c'est particulièrement agréable lorsque vous devez transférer des données d'une autre plateforme vers JMP ou de JMP vers une autre plateforme.
Re: Ouverture des fichiers Parquet - Statut modifié en : ArchivéNous archivons cette demande. Si cela est toujours important, veuillez commenter avec des détails supplémentaires et nous rouvrirons. Merci!Re : Ouverture des dossiers Parquet@Ryan_Gilmore Veuillez désarchiver cette demande. Ces types de fichiers sont beaucoup plus efficaces à utiliser que les csv et devraient constituer une compatibilité intégrée par rapport à un complément. Merci d'avoir pris en compte cette demande.
Steve
Re : Ouverture des dossiers Parquet - Statut modifié en : AcquittéRe : Ouverture des dossiers Parquet@kevin_lennon , avec JMP 18, il est désormais possible d'ouvrir des fichiers Apache Parquet via l'intégration Python améliorée. S'il te plait regarde:
https://community.jmp.com/t5/JMPer-Cable/JMP-is-Pythonic-Enhanced-Python-Integration-in-JMP-18/ba-p/723997
Merci!
(Marquant cette demande comme livrée).
Re : Ouverture des dossiers Parquet - Statut changé en : LivréRe : Ouverture des dossiers ParquetVeuillez consulter mes ajouts à https://community.jmp.com/t5/JMP-Add-Ins/Apache-Parquet-file-importer/ta-p/637823#U637823 où je détaille un script mis à jour tirant parti des capacités de JMP 18. .
