601006_it-IT

liliconcom

Ri: Alla ricerca di suggerimenti per la conversione rapida di stringhe in matrici

Ecco un modo interessante per risolvere il tuo problema.Utilizza la funzione Words() per convertire la stringa in un elenco JMP con elementi separati.Quindi, utilizzandolo per creare una nuova colonna in una tabella di dati, converte i valori in valori numerici.Riportando quei valori in una matrice si ottiene il risultato necessario.

theList=words(ExampleStr,"|");
dtConvert=new table("temp", new column("theList", set values(theList)));
theMatrix = dtConvert:theList<<GET values=""></GET>

Ri: Alla ricerca di suggerimenti per la conversione rapida di stringhe in matrici

@txnelson , mentre quel suggerimento funziona davvero, non è più veloce della mia soluzione attuale. In effetti è più lento, impiegando circa 4 ms sul mio sistema contro 0,9 per la soluzione che sto usando.

Posso migliorare la tua soluzione rendendo privata la tabella dei dati, riducendo il tempo totale da ~ 4ms a ~ 1ms che è paragonabile anche se un po' più lento di quello che sto facendo oggi

dtConvert=new table("temp", new column("theList", set values(theList)), private);

Spero di poter trovare qualcosa di molto più veloce, ma potrei aver bisogno di una soluzione C# per raggiungere questo obiettivo

Ri: Alla ricerca di suggerimenti per la conversione rapida di stringhe in matrici

0,217 ms

 

Grazie Craig!

Ri: Alla ricerca di suggerimenti per la conversione rapida di stringhe in matrici

di Jim

0 ms

Ri: Alla ricerca di suggerimenti per la conversione rapida di stringhe in matrici

Come si possono scrivere tali dati in una matrice?

rimozione diretta nulla

 

Grazie Jim!

txt="[[1668,3140325,7.25,7.27],[1660,4677712,7.17,null]]";

Ri: Alla ricerca di suggerimenti per la conversione rapida di stringhe in matrici

@lala , nota che stavi usando Tick Seconds() che ti dà i tempi in secondi, mentre io stavo usando HPTime() / 1000 che mi dà i tempi in millisecondi. Il tuo esempio è in realtà 216 msec, che è di 2 ordini di grandezza peggiore della mia soluzione che lo fa in <1 ms, che è ancora troppo lento per me!

Lasciare che d1 sia una tabella di dati privata nel tuo esempio dimezza il tempo fino a ~ 100 msec, ma comunque ... troppo lento per quello che dovevo fare

Ri: Alla ricerca di suggerimenti per la conversione rapida di stringhe in matrici

Vedo

Ri: Alla ricerca di suggerimenti per la conversione rapida di stringhe in matrici

L'importazione CSV può gestire direttamente il carattere pipe. E MFI può eseguire le importazioni in parallelo. Questo esempio apre 1000 file in 2,2 secondi e li impila in una singola tabella di dati. Se i tuoi file sono già su disco, questo potrebbe funzionare bene. Fai attenzione con il comando delete directory!

ExampleStr =
"70|71|71|72|72|72|72|72|74|74|74|74|74|74|74|74|74|74|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|76|75|75|76|76|76|75|75|76|76|75|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|77|76|76|76|76|76|76|76|76|76|76|76|76|77|76|76|76|76|76|76|77|76|77|76|77|76|76|77|76|76|76|76|76|76|76|76|77|76|76|76|76|77|77|77|77|76|76|77|77|76|76|76|76|77|76|77|76|76|76|76|76|77|76|76|76|77|77|77|76|76|77|76|76|76|77|76|76|76|76|76|76|77|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|77|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|77|76|76|76|76|76|76|76|76|76|77|77|77|77|77|77|77|77|76|77|77|76|76|77|76|76|77|76|77|76|77|76|77|77|77|76|76|76|77|77|76|76|77|76|76|76|76|76|76|76|77|76|76|76|76|76|76|76|77|77|77|76|77|77|76|76|77|76|77|76|77|77|77|77|77|76|76|77|77|77|77|77|77|76|76|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|76|77|77|76|76|76|77|77|77|77|77|77|77|77|77|76|76|77|77|77|77|77|77|77|77|77|77|76|76|76|77|77|77|77|77|77|76|77|77|77|76|77|77|77|77|76|76|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|76|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|76|77|77|76|77|77|77|77|76|77|76|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|77|78|78|78|78|78|78|78|78|78|78|77|78|78|77|78|77|77|77|78|78|78|78|78|78|77|78|77|78|78|78|78|78|78|77|78|78|78|77|78|77|78|78|78|77|78|77|78|78|78|78|78|77|78|78|78|78|78|78|78|78|78|77|78|78|78|77|78|78|78|77|77|78|78|78|78|78|78|78|78|78|78|78|78|78|77|77|78|77|77|78|77|78|78|78|78|78|78|78|78|77|77|78|78|78|77|77|78|78|78|78|78|78|78|78|78|78|78|78|77|78|78|78|78|78|78|77|78|78|78|78|77|78|78|78|78|77|77|78|78|78|78|78|78";
dir = "$temp/test";
Delete Directory( dir );
Create Directory( dir );
For( i = 1, i <= 1000, i += 1,
    Save Text File( Eval Insert( "^dir^/ExampleStr^right(char(1000+i),4)^.txt" ), Char( 1000 + i ) || "|" || ExampleStr )
);

t1 = HP Time();
Multiple File Import(
    <<SET folder=""></SET>

Anche l'importazione CSV una alla volta @lala mostrato può essere migliorato lasciando che l'importazione CSV gestisca il carattere pipe e quindi non richiede un file su disco come fa MFI.

Lo script MFI sopra è stato creato dalla finestra di dialogo MFI, quindi le opzioni predefinite sono state ritagliate per l'aspetto.

MFI può anche aggiungere una colonna con il nome del file che una piattaforma di analisi può utilizzare come variabile by.

 

Ri: Alla ricerca di suggerimenti per la conversione rapida di stringhe in matrici

Ecco alcune soluzioni Oracle SQL:

 

Se stai usando Oracle e hai installato APEX (Application Express), allora apex_string.split funzionerà.Ci sono voluti 0,89 secondi sul mio DB

SELECT COLUMN_VALUE FROM TABLE(apex_string.split(
        '70|71|71|72|72|72|72|72|74|74|74|74|74|74|74|74|74|74|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|76|75|75|76|76|76|75|75|76|76|75|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|77|76|76|76|76|76|76|76|76|76|76|76|76|77|76|76|76|76|76|76|77|76|77|76|77|76|76|77|76|76|76|76|76|76|76|76|77|76|76|76|76|77|77|77|77|76|76|77|77|76|76|76|76|77|76|77|76|76|76|76|76|77|76|76|76|77|77|77|76|76|77|76|76|76|77|76|76|76|76|76|76|77|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|77|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|77|76|76|76|76|76|76|76|76|76|77|77|77|77|77|77|77|77|76|77|77|76|76|77|76|76|77|76|77|76|77|76|77|77|77|76|76|76|77|77|76|76|77|76|76|76|76|76|76|76|77|76|76|76|76|76|76|76|77|77|77|76|77|77|76|76|77|76|77|76|77|77|77|77|77|76|76|77|77|77|77|77|77|76|76|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|76|77|77|76|76|76|77|77|77|77|77|77|77|77|77|76|76|77|77|77|77|77|77|77|77|77|77|76|76|76|77|77|77|77|77|77|76|77|77|77|76|77|77|77|77|76|76|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|76|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|76|77|77|76|77|77|77|77|76|77|76|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|77|78|78|78|78|78|78|78|78|78|78|77|78|78|77|78|77|77|77|78|78|78|78|78|78|77|78|77|78|78|78|78|78|78|77|78|78|78|77|78|77|78|78|78|77|78|77|78|78|78|78|78|77|78|78|78|78|78|78|78|78|78|77|78|78|78|77|78|78|78|77|77|78|78|78|78|78|78|78|78|78|78|78|78|78|77|77|78|77|77|78|77|78|78|78|78|78|78|78|78|77|77|78|78|78|77|77|78|78|78|78|78|78|78|78|78|78|78|78|77|78|78|78|78|78|78|77|78|78|78|78|77|78|78|78|78|77|77|78|78|78|78|78|78',
        '|'));

 

Se non hai installato APEX, funzionerà, ma è più lento (3,82 secondi):

WITH rws AS
 (SELECT '70|71|71|72|72|72|72|72|74|74|74|74|74|74|74|74|74|74|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|76|75|75|76|76|76|75|75|76|76|75|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|77|76|76|76|76|76|76|76|76|76|76|76|76|77|76|76|76|76|76|76|77|76|77|76|77|76|76|77|76|76|76|76|76|76|76|76|77|76|76|76|76|77|77|77|77|76|76|77|77|76|76|76|76|77|76|77|76|76|76|76|76|77|76|76|76|77|77|77|76|76|77|76|76|76|77|76|76|76|76|76|76|77|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|77|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|77|76|76|76|76|76|76|76|76|76|77|77|77|77|77|77|77|77|76|77|77|76|76|77|76|76|77|76|77|76|77|76|77|77|77|76|76|76|77|77|76|76|77|76|76|76|76|76|76|76|77|76|76|76|76|76|76|76|77|77|77|76|77|77|76|76|77|76|77|76|77|77|77|77|77|76|76|77|77|77|77|77|77|76|76|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|76|77|77|76|76|76|77|77|77|77|77|77|77|77|77|76|76|77|77|77|77|77|77|77|77|77|77|76|76|76|77|77|77|77|77|77|76|77|77|77|76|77|77|77|77|76|76|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|76|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|76|77|77|76|77|77|77|77|76|77|76|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|77|78|78|78|78|78|78|78|78|78|78|77|78|78|77|78|77|77|77|78|78|78|78|78|78|77|78|77|78|78|78|78|78|78|77|78|78|78|77|78|77|78|78|78|77|78|77|78|78|78|78|78|77|78|78|78|78|78|78|78|78|78|77|78|78|78|77|78|78|78|77|77|78|78|78|78|78|78|78|78|78|78|78|78|78|77|77|78|77|77|78|77|78|78|78|78|78|78|78|78|77|77|78|78|78|77|77|78|78|78|78|78|78|78|78|78|78|78|78|77|78|78|78|78|78|78|77|78|78|78|78|77|78|78|78|78|77|77|78|78|78|78|78|78'
         str
    FROM dual)
SELECT regexp_substr(str, '[^|]+', 1, LEVEL) VALUE
  FROM rws
CONNECT BY LEVEL <= LENGTH(str) - LENGTH(REPLACE(str, '|')) + 1;

 

 

Ri: Alla ricerca di suggerimenti per la conversione rapida di stringhe in matrici

Un'altra soluzione di forza bruta usando le parole.Le velocità sono paragonabili all'analisi.

t1 = HPTime();
w = words(examplestr, "|");
n = nitems(w);
m = j(n, 1);
for (i = 1, i <= n, i++,
 m[i] = num(w[i]);
);
t2 = HPTime();
show((t2-t1)/1000); 

Alla ricerca di suggerimenti per una rapida conversione di stringhe in matrici

IO avere dati che recupero da un database che è in un formato di stringa delimitato da pipe. Ad esempio "70|71|69|78". Queste stringhe rappresentano misurazioni numeriche.

Viene effettuato un gran numero di misurazioni e le stringhe risultanti sono davvero lunghe. Inoltre ho un ampio set di dati di queste stringhe.

Quello che devo fare è convertire le stringhe in una matrice (vettore in realtà) ed eseguire alcune statistiche di aggregazione sul vettore risultante (Max, 95° percentile ecc.). Non ho trovato un modo per farlo in SQL sul lato database che sarebbe ancora meglio.

Ecco come lo sto facendo oggi, usando un tipico esempio di stringa lunga.

ExampleStr = "70|71|71|72|72|72|72|72|74|74|74|74|74|74|74|74|74|74|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|75|76|75|75|76|76|76|75|75|76|76|75|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|77|76|76|76|76|76|76|76|76|76|76|76|76|77|76|76|76|76|76|76|77|76|77|76|77|76|76|77|76|76|76|76|76|76|76|76|77|76|76|76|76|77|77|77|77|76|76|77|77|76|76|76|76|77|76|77|76|76|76|76|76|77|76|76|76|77|77|77|76|76|77|76|76|76|77|76|76|76|76|76|76|77|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|77|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|76|77|76|76|76|76|76|76|76|76|76|77|77|77|77|77|77|77|77|76|77|77|76|76|77|76|76|77|76|77|76|77|76|77|77|77|76|76|76|77|77|76|76|77|76|76|76|76|76|76|76|77|76|76|76|76|76|76|76|77|77|77|76|77|77|76|76|77|76|77|76|77|77|77|77|77|76|76|77|77|77|77|77|77|76|76|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|76|77|77|76|76|76|77|77|77|77|77|77|77|77|77|76|76|77|77|77|77|77|77|77|77|77|77|76|76|76|77|77|77|77|77|77|76|77|77|77|76|77|77|77|77|76|76|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|76|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|76|77|77|76|77|77|77|77|76|77|76|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|77|76|77|77|77|77|77|77|77|77|77|77|77|77|77|78|78|78|78|78|78|78|78|78|78|77|78|78|77|78|77|77|77|78|78|78|78|78|78|77|78|77|78|78|78|78|78|78|77|78|78|78|77|78|77|78|78|78|77|78|77|78|78|78|78|78|77|78|78|78|78|78|78|78|78|78|77|78|78|78|77|78|78|78|77|77|78|78|78|78|78|78|78|78|78|78|78|78|78|77|77|78|77|77|78|77|78|78|78|78|78|78|78|78|77|77|78|78|78|77|77|78|78|78|78|78|78|78|78|78|78|78|78|77|78|78|78|78|78|78|77|78|78|78|78|77|78|78|78|78|77|77|78|78|78|78|78|78";
  t1 = HPTime();
  V = parse("["||substitute(ExampleStr,"|",",")||"]") ;
  t2 = HPTime();
  show((t2-t1)/1000); // takes about 0.9 milliSec

Quindi sostituisco le pipe con le virgole, quindi faccio sembrare la stringa una matrice aggiungendo un prefisso e un suffisso alle parentesi di matrice. Quella parte è veloce.

Dove passa la maggior parte del tempo è nella chiamata Parse().

Per questo esempio con 775 valori nella stringa delimitata da pipe, sono necessari circa 0,9 mSec per eseguire il codice precedente sul mio computer.

Potrebbe sembrare pochissimo tempo, ma ho bisogno che sia almeno un ordine di grandezza in meno. Perché la mia tabella di dati, nel mio esempio attuale, ha 762.000 righe di dati!

Non tutte le stringhe sono lunghe 775 valori, alcune sono più corte e non tutte le iterazioni richiedono 0,9 mS, ma in totale ci sono voluti quasi 10 minuti per esaminare la tabella dei dati e fare ciò che devo fare, che è qualcosa del genere:

 

dt << new column("P95_Value");
foreachrow(
 V = parse("["||substitute(:StrColumn,"|",",")||"]") ;
 :P95_Value = VQuantile(V,0.95); 
);

La chiamata VQuantile() non è un problema, è molto veloce. La maggior parte del tempo passa sulla linea parse().

Mi chiedevo solo se esiste un modo più intelligente per elaborare questa stringa e trasformarla in un vettore, idealmente in più di 0,09 milliSec o migliore!

Forse potrei aver bisogno di "coltivare" questa elaborazione in uno script C# o Python che potrebbe gestirlo più velocemente?

Accesso ai dati