Questo componente aggiuntivo consente di creare colonne di convalida per i dati che potrebbero includere la correlazione tra le righe, a causa dell'autocorrelazione o di altri fattori, tra cui il rumore che influisce sulle righe sequenziali. I dati vengono raggruppati per riga, quindi i gruppi vengono assegnati all'addestramento o alla convalida. C'è anche un'opzione per utilizzare il raggruppamento e la convalida del punto di divisione insieme, quindi i gruppi di convalida vengono distribuiti nel tempo mentre le ultime righe sono nel set di test. All'utente viene presentata una raccomandazione predefinita che è probabilmente più utile durante l'analisi dei dati di processo continuo rispetto all'utilizzo della piattaforma di convalida standard. Se vengono selezionate le variabili target, vengono presentati dei grafici per aiutare l'utente a visualizzare la suddivisione addestramento/convalida.
Questo è stato creato con le versioni 16 e 17 di JMP Pro.Non è stato testato su versioni standard o precedenti di JMP.
Trova questo progetto su Git Hub , sentiti libero di inviare problemi o richieste pull lì.
Motivazione
Per impostazione predefinita, la piattaforma di convalida assegna le righe all'addestramento e alla convalida in modo casuale e individuale. Quando le righe sono indipendenti questo è l'ideale, tuttavia se una riga dipende dalla riga precedente questa divisione porterà ad aspettative irrealistiche del potere predittivo di un modello poiché le informazioni nel set di addestramento vengono essenzialmente utilizzate per convalidare e testare il modello.Nelle serie temporali, questo viene in genere risolto utilizzando la convalida del punto di divisione, infatti @ian_jmp E @giuliano ha sviluppato un ottimo componente aggiuntivo per questo: Crea colonna di convalida delle serie temporali .Per molti modelli esplorativi l'utilizzo delle righe più recenti non è tuttavia l'approccio migliore, in particolare quando le modifiche recenti hanno richiesto l'analisi.La selezione di gruppi di righe all'interno del set di addestramento aumenta la probabilità che i dati recenti siano ancora disponibili per il modello, riducendo al minimo la possibilità che singole fonti di rumore siano presenti sia nei gruppi di addestramento che in quelli di convalida.
Alternative
Altri due modi per analizzare i dati con correlazione tra righe sono migliori in alcune situazioni ma non sono sempre fattibili:
- Ridurre la tabella dati per avere righe veramente indipendenti, eliminando la possibilità che una riga sia correlata alla riga precedente.A volte è complicato o richiede tempo riepilogare efficacemente ciascuna colonna in righe indipendenti.Ad esempio, se un utente non sa già che un evento di 15 minuti in una variabile all'inizio di un tempo di permanenza di 2 giorni del processo influisce sul suo obiettivo, l'utente potrebbe non sapere come riassumere quella variabile su 2 o più giorni in per ottenere righe indipendenti.
- Modellare o prevedere l'autocorrelazione. La piattaforma delle serie temporali è un ottimo punto di partenza e l'inclusione di serie di variabili ritardate nei modelli multivariati può fornire molte informazioni aggiuntive sul processo.Per processi complessi con centinaia di variabili, ciò richiede tempo e complessità e tende ad andare oltre il set di competenze dei nuovi utenti.
L'interfaccia utente
L'utente seleziona le variabili di destinazione, se applicabile. Per impostazione predefinita, il primo di questi viene utilizzato per la stratificazione, sebbene ciò non influisca sempre sulla suddivisione a seconda del gruppo e delle dimensioni del tavolo.Il tipo di convalida predefinito è Raggruppamento e viene presentata una dimensione del gruppo consigliata.
Vengono visualizzate alcune informazioni sulle variabili target per aiutare l'utente a identificare una dimensione di gruppo appropriata.
Dettagli "Sotto il cofano".
La dimensione del gruppo consigliata si basa su un'analisi delle serie temporali di ciascuna variabile target.La piattaforma sceglie un tempo di ritardo in cui le righe successive hanno un'autocorrelazione inferiore a 0,1 e quindi garantisce un numero minimo di gruppi in tabelle piccole e aumenta la dimensione del gruppo in tabelle grandi.
I cambiamenti
Ecco gli aggiornamenti nell'ultima versione, un elenco completo delle modifiche è disponibile in CHANGELOG.md su github.
Aggiunto
- Visualizza il registro delle modifiche dall'interfaccia utente nella schermata Informazioni
Cambiato
- Calcola i limiti delle dimensioni del gruppo utilizzando solo le righe non escluse.
- Mostra solo colonne numeriche nell'elenco delle potenziali variabili Target e Startification.
Fisso
- Talvolta le colonne di destinazione vengono reimpostate sulle colonne selezionate nella tabella.
- Non è sempre stato utilizzato il nome corretto della colonna di convalida.
- Se l'opzione Aggiornamento automatico è disattivata, alcuni valori non vengono aggiornati.
Feedback
Stiamo cercando suggerimenti e idee, sia relativi a questa interfaccia utente che ad altri modi per risolvere questo problema. Per discussioni filosofiche, sentiti libero di creare un nuovo post nel Discussione forum e tag @ih E @DrewLuebe per attirare la nostra attenzione, che darà ampio spazio alla discussione.
@ih Non credo. Ti dispiacerebbe aprire un nuovo oggetto dei desideri? o devo?
@FN Sono d'accordo, questo renderebbe la convalida incrociata integrata molto più utile per questo tipo di dati. Non hai già inserito una voce nella lista dei desideri per questo, vero?
Questo è fantastico e spiegato molto bene. Credo che JMP debba supportare meglio i dati dei sensori.
Ad esempio, K-fold è di nuovo una divisione casuale.
https://community.jmp.com/t5/Discussions/k-fold-cross-validation-in-time-series-with-JMP-JMP-PRO/td-p/189094
Pur avendo una divisione di serie temporali aiuterà anche:
https://scikit-learn.org/stable/modules/cross_validation.html#time-series-split
