599896_de-DE

liliconcom

Ich möchte eine große Zeichenfolge in eine Matrix konvertieren und das schnell tun

Ich habe Daten, die ich aus einer Datenbank abrufe, die in einem durch Pipes getrennten Zeichenfolgenformat vorliegt. Zum Beispiel "70|71|69|78".

Es sind wirklich lange Strings und ich habe einen großen Datensatz davon.

Was ich tun muss, ist, die Zeichenfolgen in eine Matrix (wirklich Vektor) umzuwandeln und einige Operationen mit dem resultierenden Vektor durchzuführen (Max, 95. Perzentil usw.).

So mache ich es heute:

ExampleStr = "70|71|71|72|72|72|72|72|74|74|74|74|74|74|74|74|74|74|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|76|75|75|76|76|76|75|75|76|76|75|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|77|76|76|76|76|76|76|76|76|76|76|76|76|77|76|76|76|76|76|76|77|76|77|76|77|76|76|77|76|76|76|76|76|76|76|76|77|76|76|76|76|77|77|77|77|76|76|77|77|76|76|76|76|77|76|77|76|76|76|76|76|77|76|76|76|77|77|77|76|76|77|76|76|76|77|76|76|76|76|76|76|77|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|77|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|77|76|76|76|76|76|76|76|76|76|77|77|77|77|77|77|77|77|76|77|77|76|76|77|76|76|77|76|77|76|77|76|77|77|77|76|76|76|77|77|76|76|77|76|76|76|76|76|76|76|77|76|76|76|76|76|76|76|77|77|77|76|77|77|76|76|77|76|77|76|77|77|77|77|77|76|76|77|77|77|77|77|77|76|76|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|76|77|77|76|76|76|77|77|77|77|77|77|77|77|77|76|76|77|77|77|77|77|77|77|77|77|77|76|76|76|77|77|77|77|77|77|76|77|77|77|76|77|77|77|77|76|76|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|76|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|76|77|77|76|77|77|77|77|76|77|76|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|77|78|78|78|78|78|78|78|78|78|78|77|78|78|77|78|77|77|77|78|78|78|78|78|78|77|78|77|78|78|78|78|78|78|77|78|78|78|77|78|77|78|78|78|77|78|77|78|78|78|78|78|77|78|78|78|78|78|78|78|78|78|77|78|78|78|77|78|78|78|77|77|78|78|78|78|78|78|78|78|78|78|78|78|78|77|77|78|77|77|78|77|78|78|78|78|78|78|78|78|77|77|78|78|78|77|77|78|78|78|78|78|78|78|78|78|78|78|78|77|78|78|78|78|78|78|77|78|78|78|78|77|78|78|78|78|77|77|78|78|78|78|78|78";
  t1 = HPTime();
  V = parse("["||substitute(ExampleStr,"|",",")||"]") ;
  t2 = HPTime();
  show((t2-t1)/1000); // takes about 0.9 milliSec

Also ersetze ich die Pipes durch Kommas und lasse die Zeichenfolge dann wie eine Matrix aussehen, indem ich Matrixklammern voran- und anfüge. Dieser Teil ist schnell.

Der Großteil der Zeit geht in den Parse()-Aufruf.

Für dieses Beispiel mit 775 Werten in der durch Pipes getrennten Zeichenfolge dauert es etwa 0,9 ms, um den obigen Code auszuführen.

Das mag wie sehr wenig Zeit erscheinen, aber ich brauche es mindestens eine Größenordnung weniger. Weil meine Datentabelle in meinem aktuellen Beispiel 762.000 Datenzeilen hat!

Nicht jede Zeichenfolge ist 775 Werte lang, einige sind kürzer, und nicht jede Iteration dauert 0,9 ms, aber insgesamt dauerte es fast 10 Minuten, um die Datentabelle durchzugehen und das zu tun, was ich tun muss, was ungefähr so ist:

 

dt << new column("P95_Value");
foreachrow(
 V = parse("["||substitute(:StrColumn,"|",",")||"]") ;
 :P95_Value = VQuantile(V,0.95); 
);

Der Aufruf von VQuantile() ist kein Problem, er geht sehr schnell. Der Großteil der Zeit geht auf die Zeile parse().

Ich habe mich nur gefragt, ob es eine intelligentere Möglichkeit gibt, diese Zeichenfolge zu verarbeiten und in einen Vektor umzuwandeln, idealerweise in eher 0,09 Millisekunden oder besser!