40017_fr-FR

liliconcom

JMP a pris 2 heures pour un fichier CSV de 2 Go

Mon utilisateur ayant du mal à interroger un fichier CSV de 2 Go a pris 2 heures. Existe-t-il un moyen recommandé ou des données indiquant la taille du fichier, combien de minutes, par exemple : 1 Go CSV - 30 min

Re : JMP a pris 2 heures pour un fichier CSV de 2 Go

Bonjour,

 

Je sais que cela prend beaucoup de temps, mais je viens de trouver une solution à ce problème et je souhaite la partager.

 

Pour JMP 15, lorsque vous collez des données d'un fichier Excel dans une feuille de tableau JMP. Si vous sélectionnez la ligne enfant comme ceci, cela prendra une éternité (ne répondra pas).

 

 

Mais si vous sélectionnez la tête de colonne (colonne 1 de la feuille) comme ceci, tout se passera bien :

 

 

Simple, non ?

 

J'espère que cette aide.

 

 

Re : JMP a pris 2 heures pour un fichier CSV de 2 Go

Étant donné que ses données confidentielles peuvent ne pas pouvoir partager le fichier.

Existe-t-il une vitesse d'horloge recommandée ou une augmentation des performances de vitesse d'horloge à partir de l'application JMP.

Re : JMP a pris 2 heures pour un fichier CSV de 2 Go

La liste du matériel semble correcte ; le script ci-dessus doit s'exécuter sur JMP sous Windows ou Mac. Vous devriez contacter notre personnel d'assistance technique si le problème persiste. Ils auront besoin de :

• un petit échantillon des données du fichier CSV pour mieux comprendre le problème
• le script source d'une importation réussie
• la version de JMP que vous utilisez (12.1, 13.1, etc. et pour MS-Windows ou Apple-Mac)

Si le CSV contient des caractères qui ne sont pas Unicode, des champs mal cités ou d'autres éléments étranges, veuillez l'inclure dans l'échantillon CSV.

Re : JMP a pris 2 heures pour un fichier CSV de 2 Go

Comme nous sommes nouveaux sur JMP, je ne peux pas m'identifier, j'ai demandé à mon utilisateur de vérifier, merci.

Mettra à jour le résultat.

Re : JMP a pris 2 heures pour un fichier CSV de 2 Go

Ci-dessous les spécifications du PC, les informations que vous avez fournies sont applicables uniquement pour MAC ?

Si c'est pour Windows, il faut également quelle plate-forme utiliser pour ce script.

Veuillez nous donner votre avis, car nous sommes nouveaux dans JMP et nous aidons les utilisateurs à signaler les problèmes. merci.

 

 

 

 

Re : JMP a pris 2 heures pour un fichier CSV de 2 Go

Vous pouvez utiliser le source script d'une importation précédente pour importer à nouveau le fichier (ou un fichier similaire) et ce sera plus rapide que de tout redécouvrir par JMP. Le script source sait combien de colonnes attendre et quels sont les types de données.

Un fichier texte de 2 Go est probablement encore plus volumineux en mémoire ; il est possible qu'une machine de 8 Go utilise beaucoup le disque pour la mémoire de pagination.

Il y a un significatif amélioration des performances dans JMP 13.1 pour MAC . Si vous utilisez JMP sur MAC, c'est peut-être ce dont vous avez besoin.

Cela devrait s’exécuter en moins de 15 minutes sur une machine disposant de suffisamment de mémoire.

start=tickseconds();
data = repeat("1,2,3,4,5\!n",2e8); 
stop=tickseconds();
show(stop-start,length(data));

start=tickseconds();
file = savetextfile("$temp\deleteme.csv",data);
stop=tickseconds();
show(stop-start,filesize(file));
<BR />data = 0; // release 2GB before opening file<BR />
start=tickseconds();
dt = Open(
 file,
 columns(
  New Column( "a", Numeric, "Continuous", Format( "Best", 12 ) ),
  New Column( "b", Numeric, "Continuous", Format( "Best", 12 ) ),
  New Column( "c", Numeric, "Continuous", Format( "Best", 12 ) ),
  New Column( "d", Numeric, "Continuous", Format( "Best", 12 ) ),
  New Column( "e", Numeric, "Continuous", Format( "Best", 12 ) )
 ),
 Import Settings(
  End Of Line( CRLF, CR, LF ),
  End Of Field( Comma, CSV( 1 ) ),
  Strip Quotes( 0 ),
  Use Apostrophe as Quotation Mark( 0 ),
  Use Regional Settings( 0 ),
  Scan Whole File( 0 ),
  Treat empty columns as numeric( 0 ),
  CompressNumericColumns( 0 ),
  CompressCharacterColumns( 0 ),
  CompressAllowListCheck( 0 ),
  Labels( 0 ),
  Column Names Start( 0 ),
  Data Starts( 1 ),
  Lines To Read( "All" ),
  Year Rule( "20xx" )
 )
);
stop=tickseconds();
show(stop-start,nrows(dt));

Re : JMP a pris 2 heures pour un fichier CSV de 2 GoJe faisais référence à Fichier->Préférences->Fichiers de données texte->Paramètres d'importation pour la préférence de 5 secondes. Pour l'opération d'ouverture, sous Fichier->Ouvrir sous Windows, vous pouvez choisir entre « Données, en utilisant les préférences d'importation de texte », « Données, en utilisant la meilleure estimation » et autres.



Brian


Re : JMP a pris 2 heures pour un fichier CSV de 2 Go

Oui, nous avons parcouru les options de 5 secondes, non seulement l'analyse s'est déroulée rapidement, mais l'importation est restée lente.

Mais je ne vois pas l'option "Préférences d'importation de texte" dans ce JMP Pro 13.

 

 

 

 

Re : JMP a pris 2 heures pour un fichier CSV de 2 Go

Je n'ai pas de données de performances, je laisserai les autres les partager.

 

Sachez cependant que vous pouvez souvent accélérer le processus d’importation de texte si vous êtes assez sûr de la disposition des données à l’avance.Si vous ouvrez le fichier en utilisant les « Préférences d'importation de texte » plutôt que « Meilleure estimation », cela accélérera l'importation.De plus, dans le panneau Préférences pour les fichiers de données texte, si vous sélectionnez « Analyser pendant 5 secondes » dans « Lors de la détermination des types de colonnes », cela peut être utile si vous n'avez pas des milliers de colonnes.

 

Brian Corcoran

Développement JMP