Questo componente aggiuntivo consente di creare colonne di convalida per i dati che potrebbero includere la correlazione tra le righe, a causa dell'autocorrelazione o di altri fattori, incluso il rumore che influisce sulle righe sequenziali. I dati vengono raggruppati per riga, quindi i gruppi vengono assegnati all'addestramento o alla convalida. C'è anche un'opzione per utilizzare il raggruppamento e la convalida del punto di taglio insieme, in modo che i gruppi di convalida siano distribuiti nel tempo mentre le ultime righe si trovano nel set di test. All'utente viene presentata una raccomandazione predefinita che è probabilmente più utile durante l'analisi dei dati di processo continui rispetto all'utilizzo della piattaforma di convalida standard. Se vengono selezionate le variabili target, vengono presentati dei grafici per aiutare l'utente a visualizzare la suddivisione di training/convalida.
Questo è stato creato con JMP Pro versione 16.Non è stato ancora testato su versioni standard o precedenti di JMP.
Trova questo progetto più avanti GitHub , sentiti libero di inviare problemi o inviare richieste lì.
Motivazione
Per impostazione predefinita, la piattaforma di convalida assegna le righe all'addestramento e alla convalida in modo casuale e individuale. Quando le righe sono indipendenti, questo è l'ideale, tuttavia se una riga dipende dalla riga precedente, questa divisione porterà ad aspettative non realistiche sulla potenza predittiva di un modello poiché le informazioni nel set di addestramento vengono essenzialmente utilizzate per convalidare e testare il modello.Nelle serie temporali questo viene in genere risolto utilizzando la convalida del punto di taglio, in effetti @ian_jmp e @giuliano sviluppato un ottimo componente aggiuntivo per questo: Crea colonna di convalida della serie storica .Per molti modelli esplorativi, tuttavia, l'utilizzo delle ultime righe non è l'approccio migliore, in particolare quando le modifiche recenti hanno richiesto l'analisi.La selezione di gruppi di righe all'interno del set di addestramento aumenta la probabilità che i dati recenti siano ancora disponibili per il modello, riducendo al minimo la possibilità che singole fonti di rumore siano presenti sia nei gruppi di addestramento che in quelli di convalida.
Alternative
Altri due modi per analizzare i dati con la correlazione tra le righe sono migliori in alcune situazioni ma non sono sempre fattibili:
- Riduci la tabella di dati per avere righe veramente indipendenti, eliminando la possibilità che una riga sia correlata alla riga precedente.A volte è complicato o dispendioso in termini di tempo riassumere in modo efficace ogni colonna in righe indipendenti.Ad esempio, se un utente non sa già che un evento di 15 minuti in una variabile all'inizio di un processo Tempo di permanenza di 2 giorni influisce sul proprio obiettivo, l'utente potrebbe non sapere come riassumere quella variabile su 2 o più giorni in per ottenere righe indipendenti.
- Modellare o prevedere l'autocorrelazione. La piattaforma delle serie temporali è un ottimo punto di partenza e l'inclusione di serie di variabili ritardate nei modelli multivariati può fornire molte informazioni aggiuntive sul processo.Per processi complessi con centinaia di variabili questo richiede tempo e complessità, e tendono ad essere al di là delle competenze dei nuovi utenti.
L'interfaccia utente
L'utente seleziona le variabili di destinazione, se applicabili. Per impostazione predefinita, il primo di questi viene utilizzato per la stratificazione, sebbene ciò non influisca sempre sulla divisione a seconda del gruppo e delle dimensioni della tabella.Il tipo di convalida predefinito è Raggruppamento e viene presentata una dimensione di gruppo consigliata.
Vengono visualizzate alcune informazioni sulle variabili di destinazione per aiutare l'utente a identificare una dimensione di gruppo appropriata.
Dettagli "Sotto il cofano".
La dimensione del gruppo consigliata si basa su un'analisi di serie temporali di ciascuna variabile target.La piattaforma seleziona un tempo di ritardo in cui le righe successive hanno un'autocorrelazione inferiore a 0,1 e quindi garantisce un numero minimo di gruppi nelle tabelle piccole e aumenta la dimensione del gruppo nelle tabelle di grandi dimensioni.
Feedback
Stiamo cercando suggerimenti e idee, sia relativi a questa interfaccia utente che ad altri modi per risolvere questo problema. Per discussioni filosofiche, sentiti libero di scrivere un nuovo post nel Discussione forum e tag @ih e @DrewLuebe per attirare la nostra attenzione, questo darà molto spazio alla discussione.
