40017_de-DE

liliconcom

JMP brauchte 2 Stunden für eine 2-GB-CSV-Datei

Mein Benutzer hatte Probleme mit der Abfrage einer 2-GB-CSV-Datei. Es hat 2 Stunden gedauert. Gibt es eine empfohlene Methode oder Daten, die zeigen, wie groß die Datei wie viele Minuten gedauert hat, z. B.: 1 GB CSV – 30 Minuten?

Betreff: JMP brauchte 2 Stunden für eine 2-GB-CSV-Datei

Hallo,

 

Ich weiß, dass es ziemlich lange dauern wird, aber ich habe gerade eine Lösung für dieses Problem gefunden und möchte sie mit euch teilen.

 

Für JMP 15, wenn Daten aus einer Excel-Datei in ein JMP-Tabellenblatt eingefügt werden. Wenn Sie die untergeordnete Zeile auf diese Weise auswählen, dauert es ewig (es wird nicht reagiert).

 

 

Wenn Sie jedoch den Kopf der Spalte (Spalte 1 im Blatt) wie folgt auswählen, wird alles glatt:

 

 

Ganz einfach, oder?

 

Ich hoffe das hilft.

 

 

Betreff: JMP brauchte 2 Stunden für eine 2-GB-CSV-Datei

Da seine vertraulichen Daten möglicherweise nicht in der Lage sind, die Datei weiterzugeben.

Gibt es eine empfohlene Taktfrequenz oder eine Erhöhung der Taktgeschwindigkeitsleistung der JMP-Anwendung?

Betreff: JMP brauchte 2 Stunden für eine 2-GB-CSV-Datei

Die Hardwareliste sieht gut aus; Das obige Skript sollte auf JMP unter Windows oder Mac ausgeführt werden. Sie sollten sich an uns wenden Mitarbeiter des technischen Supports wenn das Problem weiterhin besteht. Sie benötigen:

• eine kleine Auswahl der Daten aus der CSV-Datei, um das Problem besser zu verstehen
• das Quellskript aus einem erfolgreichen Import
• die Version von JMP, die Sie verwenden (12.1, 13.1 usw. und für MS-Windows oder Apple-Mac)

Wenn die CSV-Datei Zeichen enthält, die nicht Unicode sind, falsch zitierte Felder oder andere seltsame Dinge, fügen Sie diese bitte in das CSV-Beispiel ein.

Betreff: JMP brauchte 2 Stunden für eine 2-GB-CSV-Datei

Da wir neu bei JMP sind, kann ich mich nicht identifizieren. Ich habe meinen Benutzer gebeten, dies zu überprüfen, vielen Dank.

Werde das Ergebnis aktualisieren.

Betreff: JMP brauchte 2 Stunden für eine 2-GB-CSV-Datei

Die unten aufgeführten PC-Spezifikationen gelten für die von Ihnen bereitgestellten Informationen nur für MAC?

Wenn es auch für Windows gilt, ist es erforderlich, welche Plattform für dieses Skript verwendet werden soll.

Bitte beraten Sie uns, da wir neu bei JMP sind und Benutzern bei der Meldung von Problemen behilflich sind. Danke.

 

 

 

 

Betreff: JMP brauchte 2 Stunden für eine 2-GB-CSV-Datei

Du kannst den ... benutzen Quelle Verwenden Sie ein Skript aus einem früheren Import, um die Datei (oder eine ähnliche Datei) erneut zu importieren. Dies geht schneller, als wenn JMP alles neu erkennen müsste. Das Quellskript weiß, wie viele Spalten zu erwarten sind und welche Datentypen es gibt.

Eine 2-GB-Textdatei benötigt wahrscheinlich noch mehr Speicher. Es ist möglich, dass ein 8-GB-Computer die Festplatte häufig zum Auslagern des Speichers verwendet.

Da ist ein bedeutsam Leistungsverbesserung in JMP 13.1 für MAC . Wenn Sie JMP auf einem MAC verwenden, ist dies möglicherweise das Richtige für Sie.

Dies sollte auf einem Computer mit ausreichend Arbeitsspeicher in weniger als 15 Minuten ausgeführt werden.

start=tickseconds();
data = repeat("1,2,3,4,5\!n",2e8); 
stop=tickseconds();
show(stop-start,length(data));

start=tickseconds();
file = savetextfile("$temp\deleteme.csv",data);
stop=tickseconds();
show(stop-start,filesize(file));
<BR />data = 0; // release 2GB before opening file<BR />
start=tickseconds();
dt = Open(
 file,
 columns(
  New Column( "a", Numeric, "Continuous", Format( "Best", 12 ) ),
  New Column( "b", Numeric, "Continuous", Format( "Best", 12 ) ),
  New Column( "c", Numeric, "Continuous", Format( "Best", 12 ) ),
  New Column( "d", Numeric, "Continuous", Format( "Best", 12 ) ),
  New Column( "e", Numeric, "Continuous", Format( "Best", 12 ) )
 ),
 Import Settings(
  End Of Line( CRLF, CR, LF ),
  End Of Field( Comma, CSV( 1 ) ),
  Strip Quotes( 0 ),
  Use Apostrophe as Quotation Mark( 0 ),
  Use Regional Settings( 0 ),
  Scan Whole File( 0 ),
  Treat empty columns as numeric( 0 ),
  CompressNumericColumns( 0 ),
  CompressCharacterColumns( 0 ),
  CompressAllowListCheck( 0 ),
  Labels( 0 ),
  Column Names Start( 0 ),
  Data Starts( 1 ),
  Lines To Read( "All" ),
  Year Rule( "20xx" )
 )
);
stop=tickseconds();
show(stop-start,nrows(dt));

Betreff: JMP brauchte 2 Stunden für eine 2-GB-CSV-DateiIch bezog mich auf Datei->Einstellungen->Textdatendateien->Importeinstellungen für die 5-Sekunden-Einstellung. Für den Öffnungsvorgang können Sie unter Datei->Öffnen unter Windows zwischen „Daten, mit den Textimporteinstellungen“, „Daten, mit der besten Schätzung“ und anderen wählen.



Brian


Betreff: JMP brauchte 2 Stunden für eine 2-GB-CSV-Datei

Ja, wir haben die 5-Sekunden-Optionen durchgespielt. Nicht nur, dass der Scan schnell ging, sondern auch der Import langsam blieb.

Aber ich kann die Option „Textimporteinstellungen“ in diesem JMP Pro 13 nicht sehen.

 

 

 

 

Betreff: JMP brauchte 2 Stunden für eine 2-GB-CSV-Datei

Ich habe keine Leistungsdaten, ich lasse andere diese teilen.

 

Bitte beachten Sie jedoch, dass Sie den Textimportvorgang häufig beschleunigen können, wenn Sie sich vorab über das Layout der Daten einigermaßen sicher sind.Wenn Sie die Datei mit den „Textimporteinstellungen“ statt mit „Best Guess“ öffnen, wird der Import beschleunigt.Außerdem kann es hilfreich sein, wenn Sie im Bereich „Einstellungen“ für Textdatendateien unter „Bei der Bestimmung der Spaltentypen“ die Option „Fünf Sekunden lang scannen“ auswählen, wenn Sie nicht über Tausende von Spalten verfügen.

 

Brian Corcoran

JMP-Entwicklung