je avoir des données que je récupère à partir d'une base de données qui est dans un format de chaîne délimité par des tuyaux. Par exemple "70|71|69|78". Ces chaînes représentent des mesures numériques.
Un grand nombre de mesures sont effectuées et les cordes résultantes sont vraiment longues. En plus de cela, j'ai un grand ensemble de données de ces chaînes.
Ce que je dois faire est de convertir les chaînes en une matrice (vraiment un vecteur) et d'exécuter des statistiques d'agrégation sur le vecteur résultant (Max, 95e centile, etc.). Je n'ai pas trouvé de moyen de le faire en SQL côté base de données, ce qui serait encore mieux.
Voici comment je procède aujourd'hui, en utilisant un exemple typique de chaîne longue.
ExampleStr = "70|71|71|72|72|72|72|72|74|74|74|74|74|74|74|74|74|74|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|76|75|75|76|76|76|75|75|76|76|75|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|77|76|76|76|76|76|76|76|76|76|76|76|76|77|76|76|76|76|76|76|77|76|77|76|77|76|76|77|76|76|76|76|76|76|76|76|77|76|76|76|76|77|77|77|77|76|76|77|77|76|76|76|76|77|76|77|76|76|76|76|76|77|76|76|76|77|77|77|76|76|77|76|76|76|77|76|76|76|76|76|76|77|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|77|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|77|76|76|76|76|76|76|76|76|76|77|77|77|77|77|77|77|77|76|77|77|76|76|77|76|76|77|76|77|76|77|76|77|77|77|76|76|76|77|77|76|76|77|76|76|76|76|76|76|76|77|76|76|76|76|76|76|76|77|77|77|76|77|77|76|76|77|76|77|76|77|77|77|77|77|76|76|77|77|77|77|77|77|76|76|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|76|77|77|76|76|76|77|77|77|77|77|77|77|77|77|76|76|77|77|77|77|77|77|77|77|77|77|76|76|76|77|77|77|77|77|77|76|77|77|77|76|77|77|77|77|76|76|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|76|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|76|77|77|76|77|77|77|77|76|77|76|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|77|78|78|78|78|78|78|78|78|78|78|77|78|78|77|78|77|77|77|78|78|78|78|78|78|77|78|77|78|78|78|78|78|78|77|78|78|78|77|78|77|78|78|78|77|78|77|78|78|78|78|78|77|78|78|78|78|78|78|78|78|78|77|78|78|78|77|78|78|78|77|77|78|78|78|78|78|78|78|78|78|78|78|78|78|77|77|78|77|77|78|77|78|78|78|78|78|78|78|78|77|77|78|78|78|77|77|78|78|78|78|78|78|78|78|78|78|78|78|77|78|78|78|78|78|78|77|78|78|78|78|77|78|78|78|78|77|77|78|78|78|78|78|78";
t1 = HPTime();
V = parse("["||substitute(ExampleStr,"|",",")||"]") ;
t2 = HPTime();
show((t2-t1)/1000); // takes about 0.9 milliSecJe remplace donc les tuyaux par des virgules, puis je fais ressembler la chaîne à une matrice en préfixant et en suffixant les crochets de la matrice. Cette partie est rapide.
Là où passe la majeure partie du temps, c'est dans l'appel Parse().
Pour cet exemple avec 775 valeurs dans la chaîne délimitée par des tubes, il faut environ 0,9 ms pour exécuter le code ci-dessus sur mon ordinateur.
Cela peut sembler très peu de temps, mais j'ai besoin que ce soit au moins un ordre de grandeur de moins. Parce que ma table de données, dans mon exemple actuel, contient 762 000 lignes de données !
Toutes les chaînes ne font pas 775 valeurs, certaines sont plus courtes et toutes les itérations ne prennent pas 0,9 mS, mais au total, il a fallu près de 10 minutes pour parcourir la table de données et faire ce que je dois faire, à savoir ceci :
dt << new column("P95_Value");
foreachrow(
V = parse("["||substitute(:StrColumn,"|",",")||"]") ;
:P95_Value = VQuantile(V,0.95);
);L'appel VQuantile() n'est pas un problème, il est très rapide. La majeure partie du temps passe sur la ligne parse().
Je me demandais juste s'il y avait un moyen plus intelligent de traiter cette chaîne et de la transformer en vecteur, idéalement en plus de 0,09 milliSec ou mieux !
Peut-être aurais-je besoin de "sous-traiter" ce traitement à un script C # ou Python qui pourrait le gérer plus rapidement?
