599896_it-IT

liliconcom

Voglio convertire una stringa grande in matrice e farlo velocemente

Ho dati che recupero da un database che è in un formato di stringa delimitato da pipe. Ad esempio "70|71|69|78".

Sono stringhe davvero lunghe e ne ho un ampio set di dati.

Quello che devo fare è convertire le stringhe in una matrice (vettore in realtà) ed eseguire alcune operazioni sul vettore risultante (Max, 95° percentile ecc.)

Ecco come lo sto facendo oggi:

ExampleStr = "70|71|71|72|72|72|72|72|74|74|74|74|74|74|74|74|74|74|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|76|75|75|76|76|76|75|75|76|76|75|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|77|76|76|76|76|76|76|76|76|76|76|76|76|77|76|76|76|76|76|76|77|76|77|76|77|76|76|77|76|76|76|76|76|76|76|76|77|76|76|76|76|77|77|77|77|76|76|77|77|76|76|76|76|77|76|77|76|76|76|76|76|77|76|76|76|77|77|77|76|76|77|76|76|76|77|76|76|76|76|76|76|77|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|77|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|77|76|76|76|76|76|76|76|76|76|77|77|77|77|77|77|77|77|76|77|77|76|76|77|76|76|77|76|77|76|77|76|77|77|77|76|76|76|77|77|76|76|77|76|76|76|76|76|76|76|77|76|76|76|76|76|76|76|77|77|77|76|77|77|76|76|77|76|77|76|77|77|77|77|77|76|76|77|77|77|77|77|77|76|76|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|76|77|77|76|76|76|77|77|77|77|77|77|77|77|77|76|76|77|77|77|77|77|77|77|77|77|77|76|76|76|77|77|77|77|77|77|76|77|77|77|76|77|77|77|77|76|76|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|76|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|76|77|77|76|77|77|77|77|76|77|76|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|77|78|78|78|78|78|78|78|78|78|78|77|78|78|77|78|77|77|77|78|78|78|78|78|78|77|78|77|78|78|78|78|78|78|77|78|78|78|77|78|77|78|78|78|77|78|77|78|78|78|78|78|77|78|78|78|78|78|78|78|78|78|77|78|78|78|77|78|78|78|77|77|78|78|78|78|78|78|78|78|78|78|78|78|78|77|77|78|77|77|78|77|78|78|78|78|78|78|78|78|77|77|78|78|78|77|77|78|78|78|78|78|78|78|78|78|78|78|78|77|78|78|78|78|78|78|77|78|78|78|78|77|78|78|78|78|77|77|78|78|78|78|78|78";
  t1 = HPTime();
  V = parse("["||substitute(ExampleStr,"|",",")||"]") ;
  t2 = HPTime();
  show((t2-t1)/1000); // takes about 0.9 milliSec

Quindi sostituisco le pipe con le virgole, quindi faccio sembrare la stringa una matrice aggiungendo un prefisso e un suffisso alle parentesi di matrice. Quella parte è veloce.

Dove passa la maggior parte del tempo è nella chiamata Parse().

Per questo esempio con 775 valori nella stringa delimitata da barra verticale, sono necessari circa 0,9 mSec per eseguire il codice precedente.

Potrebbe sembrare pochissimo tempo, ma ho bisogno che sia almeno un ordine di grandezza in meno. Perché la mia tabella di dati, nel mio esempio attuale, ha 762.000 righe di dati!

Non tutte le stringhe sono lunghe 775 valori, alcune sono più corte e non tutte le iterazioni richiedono 0,9 mS, ma in totale ci sono voluti quasi 10 minuti per esaminare la tabella dei dati e fare ciò che devo fare, che è qualcosa del genere:

 

dt << new column("P95_Value");
foreachrow(
 V = parse("["||substitute(:StrColumn,"|",",")||"]") ;
 :P95_Value = VQuantile(V,0.95); 
);

La chiamata VQuantile() non è un problema, è molto veloce. La maggior parte del tempo passa sulla linea parse().

Mi chiedevo solo se esiste un modo più intelligente per elaborare questa stringa e trasformarla in un vettore, idealmente in più di 0,09 milliSec o migliore!

 

Ri: Voglio convertire una stringa grande in matrice e farlo velocemente

Penso che non sia un modo intelligente, ma un po' più veloce. Ci vogliono circa 3 minuti sul mio computer quando i dati hanno 762.000 righe.

Names Default To Here( 1 );

dt = Current Data Table();
t1 = HP Time();

//Subset data table
subset = dt << Subset(
 All rows,
 Selected columns only( 0 ),
 columns( :StrColumn )
);
subset << show window(0);
subset << Begin Data Update;

//Text to Column
subset << Text to Columns( columns( :StrColumn ), Delimiters( "|" ) );

// Change Character to Numeric
subset << delete column(:StrColumn);
col_ref_list = subset << Get Column Reference(); 
For Each( {col, index}, col_ref_list, col << Data Type( Numeric, Format( "Best", 12 ) ) );

//Get 95% Percentile
mt = subset << get as matrix();
P95_value_mt = Transpose( V Quantile( Transpose( mt ), 0.95 ) );

close(subset,nosave);

//Set Value to Column
dt << New Column( "P95_Value" );
:P95_Value << set values( P95_value_mt );

dt << End Data Update;

t2 = HP Time();
Show( (t2 - t1) / 1000000 );