Qual è il modo migliore per risolvere un'analisi complessa delle serie temporali?Ciao,
ecco cosa voglio fare (la mia versione JMP è 19.0.3):
- Ho un set di dati con >10 milioni di righe, dati di serie temporali
- Devo eseguire un adattamento segmentato per >1000 segmenti
- So che posso farlo in R, ma non so come farlo in JMP
- il mio obiettivo ora è:
- avere i dati in JMP
- eseguire l'adattamento segmentato in R
- riassumere i dati in una nuova tabella
- trasferire nuovamente i dati a JMP
L'alternativa è lavorare completamente al di fuori di JMP per le tabelle di riepilogo, ma se ciò fosse possibile, vorrei provare a farlo all'interno di JMP e della sua integrazione con R.
Ciò che mi sarebbe utile sono: risorse di formazione/materiali di lettura per R in JMP e suggerimenti se hai già fatto qualcosa di simile.
Grazie!
OverviewOverviewOverviewOverviewOverviewOverviewOverviewOverviewOverviewOverviewPanoramica
ZoomZoomZoomZoomZoomZoomZoomZoomZoomZoomZoom
Deep ZoomDeep ZoomDeep ZoomDeep ZoomDeep ZoomDeep ZoomDeep ZoomDeep ZoomDeep ZoomDeep ZoomZoom profondo
Modellazione statistica avanzataRe: qual è il modo migliore per risolvere un'analisi complessa delle serie temporali?Se non ricordo male, in JMP19 l'integrazione di R avviene tramite Python Integration. Ecco una presentazione di quella registrazione dello Scripters Club: R è tornato in JMP 19 - Esplorare l'integrazione di R e Python.
Re: qual è il modo migliore per risolvere un'analisi complessa delle serie temporali?Grazie @jthi , è un buon punto di partenza!
Re: qual è il modo migliore per risolvere un'analisi complessa delle serie temporali?Ciao @PurpleBat ,
Per capire meglio cosa stai cercando di ottenere, cosa fa la segmentazione/qual è l'obiettivo finale? Segmento le zone in cui c'è attività (ad esempio, aumentare la media Phil T1)?
Se puoi commentare il processo in R o nel pacchetto, potresti semplicemente usare JMP o persino JSL per ottenere lo stesso risultato.
Grazie,
Ben
Re: qual è il modo migliore per risolvere un'analisi complessa delle serie temporali?Ciao Ben,
Voglio estrarre dai segmenti il minimo e il massimo, così come il tempo di salita (adattando come prima approssimazione un 1-exp(-t/tau)), e poi usare il parametro tau per descrivere la salita.
Una volta ottenuto questo, voglio osservare l'evoluzione della proteina tau nel tempo.
Questo ti è utile?
Re: qual è il modo migliore per risolvere un'analisi complessa delle serie temporali?Ciao @PurpleBat ,
Come definisci i segmenti? Hanno le stesse dimensioni (lunghezza di X)? Sono generati tramite un pacchetto set in R? Sono sicuro che questo si possa fare in JMP, ma ho bisogno di maggiori dettagli.
Per R in particolare, l'indice di scripting (Aiuto > Indice di scripting) contiene tutti i dettagli sull'integrazione di R e sui componenti necessari per eseguirla (vedere lo screenshot qui sotto)
Grazie,
Ben
Re: qual è il modo migliore per risolvere un'analisi complessa delle serie temporali?Ciao @PurpleBat ,
C'è anche questa pagina per lavorare con R in JMP: https://www.jmp.com/support/help/it/19.0/index.shtml#page/jmp/work-with-r.shtml#ww1284119
Grazie,
Ben
Re: qual è il modo migliore per risolvere un'analisi complessa delle serie temporali?Una volta etichettati singolarmente i segmenti, sarà possibile estrarre i tempi di salita utilizzando, ad esempio, la funzione "Fit Curve" di JMP. La parte più complicata è il rilevamento automatico dei segmenti. Fateci sapere come definite l'inizio e la fine di ogni segmento. Per ora, darò per scontato che ogni segmento inizi/finisca in corrispondenza di ogni massimo o minimo locale.
Ecco come puoi dire a JMP di trovare automaticamente e contrassegnare tutti i valori massimi e minimi locali ed etichettarli in una nuova colonna. Da lì, il passaggio successivo sarà uno script che utilizza questi marcatori per etichettare in modo univoco ogni segmento.
Se desideri caricare la tua tabella dati (o una tabella dati campione rappresentativa), potrei illustrarti come applicare questo approccio direttamente ai tuoi dati.
Re: qual è il modo migliore per risolvere un'analisi complessa delle serie temporali?Grazie sia a @christian-z che a @Ben_BarrIngh ,
I segmenti non sono regolari, ma partono da un minimo o da un massimo locale. Ho preso un piccolo esempio dal set di dati molto più ampio a scopo illustrativo (ho ridotto le dimensioni da 1,7 GB a ~500 kB).
Continuerò a lavorare anch'io su questo set di dati ridotto e poi vedrò come si adatta a quello più grande.
Grazie mille per i tuoi preziosi suggerimenti e per il tuo aiuto finora!
Re: qual è il modo migliore per risolvere un'analisi complessa delle serie temporali?@PurpleBat, ecco una versione aggiornata della tua tabella di esempio per iniziare. Ho aggiunto alcune colonne formula e salvato alcuni script nella tabella dati. Spero che sia autoesplicativo, ma fammi sapere se hai domande.
Consiglio di utilizzare il filtro dati per lavorare con un piccolo sottoinsieme della tabella durante il debug. Quindi, quando si è pronti per eseguire l'analisi completa, tenere presente che potrebbero essere necessari alcuni minuti per l'intero set di dati, con molte migliaia di curve.
Alcune idee per i passaggi successivi potrebbero essere quelle di filtrare solo le curve con pendenza negativa (supponendo che siano quelle interessanti), "allineare" i dati in modo che tutto inizi al tempo=0, normalizzare le curve se necessario, ecc.
