599896_fr-FR

liliconcom

Je veux convertir une grande chaîne en matrice et le faire rapidement

J'ai des données que je récupère à partir d'une base de données qui est dans un format de chaîne délimité par des tuyaux. Par exemple "70|71|69|78".

Ce sont de très longues chaînes et j'en ai un grand ensemble de données.

Ce que je dois faire est de convertir les chaînes en une matrice (vecteur vraiment) et de faire quelques opérations sur le vecteur résultant (Max, 95e centile, etc.)

Voici comment je procède aujourd'hui :

ExampleStr = "70|71|71|72|72|72|72|72|74|74|74|74|74|74|74|74|74|74|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|76|75|75|76|76|76|75|75|76|76|75|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|77|76|76|76|76|76|76|76|76|76|76|76|76|77|76|76|76|76|76|76|77|76|77|76|77|76|76|77|76|76|76|76|76|76|76|76|77|76|76|76|76|77|77|77|77|76|76|77|77|76|76|76|76|77|76|77|76|76|76|76|76|77|76|76|76|77|77|77|76|76|77|76|76|76|77|76|76|76|76|76|76|77|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|77|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|77|76|76|76|76|76|76|76|76|76|77|77|77|77|77|77|77|77|76|77|77|76|76|77|76|76|77|76|77|76|77|76|77|77|77|76|76|76|77|77|76|76|77|76|76|76|76|76|76|76|77|76|76|76|76|76|76|76|77|77|77|76|77|77|76|76|77|76|77|76|77|77|77|77|77|76|76|77|77|77|77|77|77|76|76|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|76|77|77|76|76|76|77|77|77|77|77|77|77|77|77|76|76|77|77|77|77|77|77|77|77|77|77|76|76|76|77|77|77|77|77|77|76|77|77|77|76|77|77|77|77|76|76|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|76|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|76|77|77|76|77|77|77|77|76|77|76|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|77|78|78|78|78|78|78|78|78|78|78|77|78|78|77|78|77|77|77|78|78|78|78|78|78|77|78|77|78|78|78|78|78|78|77|78|78|78|77|78|77|78|78|78|77|78|77|78|78|78|78|78|77|78|78|78|78|78|78|78|78|78|77|78|78|78|77|78|78|78|77|77|78|78|78|78|78|78|78|78|78|78|78|78|78|77|77|78|77|77|78|77|78|78|78|78|78|78|78|78|77|77|78|78|78|77|77|78|78|78|78|78|78|78|78|78|78|78|78|77|78|78|78|78|78|78|77|78|78|78|78|77|78|78|78|78|77|77|78|78|78|78|78|78";
  t1 = HPTime();
  V = parse("["||substitute(ExampleStr,"|",",")||"]") ;
  t2 = HPTime();
  show((t2-t1)/1000); // takes about 0.9 milliSec

Je remplace donc les tuyaux par des virgules, puis je fais ressembler la chaîne à une matrice en préfixant et en suffixant les crochets de la matrice. Cette partie est rapide.

Là où passe la majeure partie du temps, c'est dans l'appel Parse().

Pour cet exemple avec 775 valeurs dans la chaîne délimitée par des tubes, il faut environ 0,9 ms pour exécuter le code ci-dessus.

Cela peut sembler très peu de temps, mais j'ai besoin que ce soit au moins un ordre de grandeur de moins. Parce que ma table de données, dans mon exemple actuel, contient 762 000 lignes de données !

Toutes les chaînes ne font pas 775 valeurs, certaines sont plus courtes et toutes les itérations ne prennent pas 0,9 mS, mais au total, il a fallu près de 10 minutes pour parcourir la table de données et faire ce que je dois faire, à savoir ceci :

 

dt << new column("P95_Value");
foreachrow(
 V = parse("["||substitute(:StrColumn,"|",",")||"]") ;
 :P95_Value = VQuantile(V,0.95); 
);

L'appel VQuantile() n'est pas un problème, il est très rapide. La majeure partie du temps passe sur la ligne parse().

Je me demandais juste s'il y avait un moyen plus intelligent de traiter cette chaîne et de la transformer en vecteur, idéalement en plus de 0,09 milliSec ou mieux !

 

Re : Je veux convertir une grande chaîne en matrice et le faire rapidement

Je pense que ce n'est pas un moyen intelligent, mais un peu plus rapide. Cela prend environ 3 minutes sur mon ordinateur lorsque les données comportent 762 000 lignes.

Names Default To Here( 1 );

dt = Current Data Table();
t1 = HP Time();

//Subset data table
subset = dt << Subset(
 All rows,
 Selected columns only( 0 ),
 columns( :StrColumn )
);
subset << show window(0);
subset << Begin Data Update;

//Text to Column
subset << Text to Columns( columns( :StrColumn ), Delimiters( "|" ) );

// Change Character to Numeric
subset << delete column(:StrColumn);
col_ref_list = subset << Get Column Reference(); 
For Each( {col, index}, col_ref_list, col << Data Type( Numeric, Format( "Best", 12 ) ) );

//Get 95% Percentile
mt = subset << get as matrix();
P95_value_mt = Transpose( V Quantile( Transpose( mt ), 0.95 ) );

close(subset,nosave);

//Set Value to Column
dt << New Column( "P95_Value" );
:P95_Value << set values( P95_value_mt );

dt << End Data Update;

t2 = HP Time();
Show( (t2 - t1) / 1000000 );