Prestazioni di JMP v19 Graph Builder con tabelle di grandi dimensioni (oltre 13 milioni di righe)Sto riscontrando notevoli problemi di prestazioni con Graph Builder in JMP v19 quando lavoro con una tabella di grandi dimensioni (circa 13 milioni di righe). In JMP v18, ero in grado di interagire fluidamente con lo stesso set di dati: panning, zoom e cambio di variabili erano tutti gestibili. Si tratta di una singola tabella di circa 13 milioni di righe, con un paio di dozzine di colonne, su una workstation piuttosto pesante con 64 GB di RAM.
In JMP v19, tuttavia, riscontro frequenti ritardi a "clessidra" e messaggi "JMP non risponde" ogni volta che provo a creare o modificare grafici. Tornare a JMP v18 con gli stessi dati e le stesse impostazioni funziona di nuovo senza problemi.
Mi chiedevo se qualcun altro avesse notato un calo delle prestazioni in Graph Builder con tabelle di grandi dimensioni dopo l'aggiornamento a JMP v19. In tal caso, potrebbe valere la pena di dare un'occhiata a cosa è cambiato tra le versioni.
Qualcuno ha trovato soluzioni alternative o impostazioni utili (ad esempio, preferenze di memoria, impostazioni GPU, ecc.)?
Esplorazione e visualizzazione dei datiFinestreRe: Prestazioni di JMP v19 Graph Builder con tabelle di grandi dimensioni (oltre 13 milioni di righe)1,3 milioni di righe qui. La mia impressione è che GB risponda lentamente sia in JMP 18 che in JMP 19.
Re: Prestazioni di JMP v19 Graph Builder con tabelle di grandi dimensioni (oltre 13 milioni di righe)In passato ho riscontrato gravi problemi di prestazioni, spesso riconducibili a ricalcoli imprevisti delle formule delle colonne.
un problema grave che è stato risolto in JMP18:
Perché la selezione/deselezione delle righe attiva la rivalutazione delle formule delle colonne?
Un piccolo aiuto: nelle versioni di JMP fino alla 18 inclusa, tali ricalcoli sono indicati nella barra di stato.
In JMP 19, se desideri essere avvisato di un ricalcolo, puoi chiedere a JMP di informarti:
https://community.jmp.com/t5/Discussions/Undocumented-Secrets/mp/908936/highlight/true#M106749
Se questa non è la causa delle scarse prestazioni, puoi controllare il consumo di memoria. Se la memoria è condivisa tra i programmi e la scheda grafica, una memoria limitata potrebbe avere gravi conseguenze.
Per approfondire, potresti creare un file fittizio da analizzare?
A volte il problema riguarda specificamente un certo tipo di dati o di grafico.
Non c'è dubbio sul perché qualcosa sia cambiato in JMP19, ma sono d'accordo con @Ressel :
Per molti tipi di grafici, alcune righe Mio sono quelle in cui JMP inizia a rispondere lentamente.
JMP può gestire file di dati molto più grandi, ma a volte l'utente non vuole aspettare.
Se 0,5 secondi sono sufficienti per aspettare, 5 volte 0,5 secondi sono molto meno confortevoli. Quindi, ad esempio, se 1 milione di vogate sembrano fluide, 5 milioni di vogate non sono divertenti.
Re: Prestazioni di JMP v19 Graph Builder con tabelle di grandi dimensioni (oltre 13 milioni di righe)Non so se può essere d'aiuto, ma sto eseguendo JMP 18 su un computer da 16 GB. Ho appena testato Graph Builder su un file con 26 colonne e 3,5 milioni di righe e ha funzionato rapidamente, senza ritardi.
Re: Prestazioni di JMP v19 Graph Builder con tabelle di grandi dimensioni (oltre 13 milioni di righe)Penso che il numero di colonne non influisca sulla velocità.
Per quanto riguarda le righe, il tempo impiegato per il calcolo di un grafico a barre della media e di un grafico a punti di tutti i singoli punti dati è diverso.
Ad esempio, sul mio vecchio notebook ci vogliono circa 6 secondi per calcolare un box plot di sin() rispetto ai 2 secondi per un box plot di row(), e un tempo abbastanza simile in JMP 18 e JMP19.
Il calcolo di un grafico a punti richiede più tempo e sembra: un po' più di tempo con JMP19 che con JMP18?
E il tuo sistema?
New Table( "test",
Add Rows( 10000000 ),
New Table Variable( "categories", 20),
New Column( "row",
Formula( Row() )
),
New Column( "sin",
Formula( Sin( :row / 10 ) )
),
New Column( "rnd",
Formula( Random Integer( :categories ) )
)
)
Re: Prestazioni di JMP v19 Graph Builder con tabelle di grandi dimensioni (oltre 13 milioni di righe)5'' per tutte le colonne da popolare sulla mia macchina, più o meno.
il runtime del JSL stesso è <0,1''.
Va bene? Voglio dire, 10 milioni di righe, penso siano più che accettabili. Tuttavia, se si spostano queste colonne in GB, ci vuole un po' di tempo prima che rispondano. Comunque molto meglio che cercare di risolvere un problema del genere in (oserei dirlo) Excel.
Re: Prestazioni di JMP v19 Graph Builder con tabelle di grandi dimensioni (oltre 13 milioni di righe)rotonda e accettabile.
D'altro canto, immaginate quanti calcoli sono necessari per realizzare un gioco grafico in tempo reale.
Passo successivo: creare un grafico. Cosa è fluido, senza alcun ritardo, e cosa è un tempo di attesa eccessivo?
Per ottenere valori più precisi per la creazione della tabella, è possibile utilizzare hptime() .
e per tenere conto del calcolo delle formule di colonna, si può attendere dt << run formulas .
t0 = hp time ();
dt = New Table( "test",
Add Rows( 10000000 ),
New Table Variable( "categories", 20),
);
New Column( "row",
Formula( Row() )
);
New Column( "sin",
Formula( Sin( :row / 10 ) )
);
New Column( "rnd",
Formula( Random Integer( :categories ) )
);
dt << run formulas;
write("t(s): ", (hptime()-t0)/1000000)
