599896_de-DE

liliconcom

Ich möchte einen großen String in eine Matrix konvertieren und es schnell machen

Ich habe Daten, die ich aus einer Datenbank abrufe, die in einem durch Pipes getrennten Zeichenfolgenformat vorliegt. Zum Beispiel „70|71|69|78“.

Es sind wirklich lange Strings und ich habe einen großen Datensatz davon.

Was ich tun muss, ist, die Zeichenfolgen in eine Matrix (eigentlich einen Vektor) umzuwandeln und einige Operationen am resultierenden Vektor durchzuführen (Max, 95. Perzentil usw.).

So mache ich es heute:

ExampleStr = "70|71|71|72|72|72|72|72|74|74|74|74|74|74|74|74|74|74|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|76|75|75|76|76|76|75|75|76|76|75|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|77|76|76|76|76|76|76|76|76|76|76|76|76|77|76|76|76|76|76|76|77|76|77|76|77|76|76|77|76|76|76|76|76|76|76|76|77|76|76|76|76|77|77|77|77|76|76|77|77|76|76|76|76|77|76|77|76|76|76|76|76|77|76|76|76|77|77|77|76|76|77|76|76|76|77|76|76|76|76|76|76|77|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|77|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|77|76|76|76|76|76|76|76|76|76|77|77|77|77|77|77|77|77|76|77|77|76|76|77|76|76|77|76|77|76|77|76|77|77|77|76|76|76|77|77|76|76|77|76|76|76|76|76|76|76|77|76|76|76|76|76|76|76|77|77|77|76|77|77|76|76|77|76|77|76|77|77|77|77|77|76|76|77|77|77|77|77|77|76|76|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|76|77|77|76|76|76|77|77|77|77|77|77|77|77|77|76|76|77|77|77|77|77|77|77|77|77|77|76|76|76|77|77|77|77|77|77|76|77|77|77|76|77|77|77|77|76|76|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|76|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|76|77|77|76|77|77|77|77|76|77|76|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|77|78|78|78|78|78|78|78|78|78|78|77|78|78|77|78|77|77|77|78|78|78|78|78|78|77|78|77|78|78|78|78|78|78|77|78|78|78|77|78|77|78|78|78|77|78|77|78|78|78|78|78|77|78|78|78|78|78|78|78|78|78|77|78|78|78|77|78|78|78|77|77|78|78|78|78|78|78|78|78|78|78|78|78|78|77|77|78|77|77|78|77|78|78|78|78|78|78|78|78|77|77|78|78|78|77|77|78|78|78|78|78|78|78|78|78|78|78|78|77|78|78|78|78|78|78|77|78|78|78|78|77|78|78|78|78|77|77|78|78|78|78|78|78";
  t1 = HPTime();
  V = parse("["||substitute(ExampleStr,"|",",")||"]") ;
  t2 = HPTime();
  show((t2-t1)/1000); // takes about 0.9 milliSec

Also ersetze ich die Pipes durch Kommas und lasse die Zeichenfolge dann wie eine Matrix aussehen, indem ich Matrixklammern voranstelle und anfüge. Dieser Teil ist schnell.

Der Großteil der Zeit wird für den Parse()-Aufruf aufgewendet.

Für dieses Beispiel mit 775 Werten in der durch Pipes getrennten Zeichenfolge dauert die Ausführung des obigen Codes etwa 0,9 ms.

Das scheint sehr wenig Zeit zu sein, aber ich brauche mindestens eine Größenordnung weniger Zeit. Weil meine Datentabelle in meinem aktuellen Beispiel 762.000 Datenzeilen enthält!

Nicht jede Zeichenfolge ist 775 Werte lang, einige sind kürzer und nicht jede Iteration dauert 0,9 ms, aber insgesamt hat es fast 10 Minuten gedauert, die Datentabelle durchzugehen und das zu tun, was ich tun muss, was ungefähr so aussieht:

 

dt << new column("P95_Value");
foreachrow(
 V = parse("["||substitute(:StrColumn,"|",",")||"]") ;
 :P95_Value = VQuantile(V,0.95); 
);

Der Aufruf von VQuantile() ist kein Problem, er geht sehr schnell. Der Großteil der Zeit wird in der Zeile parse() verbracht.

Ich habe mich nur gefragt, ob es eine intelligentere Möglichkeit gibt, diese Zeichenfolge zu verarbeiten und in einen Vektor umzuwandeln, idealerweise in etwa 0,09 Millisekunden oder besser!

 

Betreff: Ich möchte einen großen String in eine Matrix konvertieren, und zwar schnell

Ich denke, es ist kein kluger Weg, aber etwas schneller. Auf meinem Computer dauert es etwa 3 Minuten, wenn die Daten 762.000 Zeilen umfassen.

Names Default To Here( 1 );

dt = Current Data Table();
t1 = HP Time();

//Subset data table
subset = dt << Subset(
 All rows,
 Selected columns only( 0 ),
 columns( :StrColumn )
);
subset << show window(0);
subset << Begin Data Update;

//Text to Column
subset << Text to Columns( columns( :StrColumn ), Delimiters( "|" ) );

// Change Character to Numeric
subset << delete column(:StrColumn);
col_ref_list = subset << Get Column Reference(); 
For Each( {col, index}, col_ref_list, col << Data Type( Numeric, Format( "Best", 12 ) ) );

//Get 95% Percentile
mt = subset << get as matrix();
P95_value_mt = Transpose( V Quantile( Transpose( mt ), 0.95 ) );

close(subset,nosave);

//Set Value to Column
dt << New Column( "P95_Value" );
:P95_Value << set values( P95_value_mt );

dt << End Data Update;

t2 = HP Time();
Show( (t2 - t1) / 1000000 );