338434_it-IT

liliconcom

Previsione del modello

CIAO

Sto lavorando su un database con circa 3000 record e circa 100 predittori. La risposta è un parametro elettrico con una buona distribuzione gaussiana. Il database è una serie temporale multivariata perché sia ​​la risposta che i predittori dipendono dal tempo. I predittori vengono raccolti lungo la linea di produzione in una particolare fase del processo mentre il parametro elettrico viene misurato circa 2 settimane dopo. L'idea qui è di prevedere la misurazione elettrica utilizzando i dati della macchina in linea (predittori).

Come primo modello ho usato una foresta casuale. L'R2 e l'errore erano davvero buoni sia per i gruppi di training che per quelli di test. Comunque quando ho provato a distribuire il modello in produzione su dati mai visti prima le prestazioni del modello erano pessime. Sono stato in grado di spiegare questo comportamento con la debolezza della foresta casuale da estrapolare. Quindi escludendo l'albero del modello basato sull'unica scelta rimaneva l'adattamento polinomiale e la rete neurale. Il primo non era accettabile in termini di R2 ed errore, mentre la NN con 2 livelli e 3 funzioni di attivazione era in grado di restituire un buon R2 ed errore sia sui dati di training che su quelli di test. Quindi una volta creato il modello l'ho distribuito in produzione su dati mai visti (asterisco nel generatore di grafici). Anche se la previsione di tendenza è corretta, i singoli valori non lo sono. In particolare la NN su dati mai visti mostra una variabilità molto elevata. Quindi alla fine di questa storia non ho nessun altro modello in JMP da testare. Almeno questo è quello che penso. Qualcuno può darmi qualche trucco o suggerimento per risolvere questo problema?

Nel ppt allegato tutti i grafici.

Grazie Felice

Esplorazione e visualizzazione dei datiRi: previsione del modello

Grazie a tutte le persone che hanno risposto al mio post. Tutte le giuste osservazioni. Ho provato a fare qualche semplice esperimento per capire meglio il problema.

Nel ppt allegato mie conclusioni e risultati.Ogni commento e suggerimento è benvenuto.

 

Felice

Ri: previsione del modello

Come affermi, non assegni in modo casuale le osservazioni all'addestramento, alla convalida e al test. Non ho visto nessuno dire che è stato assegnato un incarico casuale, ma se lo fosse, non dovrebbe essere fatto. Fai l'incarico in base al tempo. Il set di addestramento è il più vecchio, la convalida è il set successivo e il test è l'ultimo gruppo. In questo modo fornisce una buona indicazione della capacità di previsione.

 

I set di addestramento, convalida e test devono essere rappresentativi del processo stabile. Se si adattano bene l'addestramento e la convalida, ma non il test, ciò porta naturalmente a credere che sia successo qualcosa per alterare il set di test. Qualunque cosa sia avvenuta/modificata dovrebbe essere un altro predittore nel modello.

Ri: previsione del modello

Rimando agli altri commenti qui, poiché quelle persone ne sanno più di me su queste cose.Ma c'è un problema che non hanno menzionato e che ho pensato di sollevare.Poiché si tratta di dati di serie temporali multivariati, che senso ha utilizzare la convalida casuale e i set di dati di test?Questo non ignora la struttura temporale nei dati?Certo, puoi usare reti neurali, foreste casuali, ecc., Ma non mi aspetto che le prestazioni siano molto buone sui nuovi dati poiché quei modelli hanno ignorato la struttura temporale nei dati.Per i dati delle serie temporali, penso che i dati del test dovrebbero essere un intervallo contiguo di osservazioni, quindi la struttura temporale può essere modellata e testata.Quindi, è appropriato utilizzare questi metodi, con convalida casuale e set di dati di test, su dati di serie temporali come quelli che hai?

Ri: previsione del modello

Concordo su tutto @Dan_Obermiller E @statman raccomandare o dichiarare.

 

Un altro pensiero per te... dato che sembra che tu stia lavorando con dati e processi di produzione storici casuali, hai la capacità di eseguire esperimenti progettati? Il motivo per cui sto percorrendo questa strada è che se i tuoi modelli basati su informazioni storiche non sono particolarmente estendibili a osservazioni future, allora molto probabilmente potrebbero esserci altre importanti variabili causali che entrano nel sistema che i dati storici non stanno considerando da un punto di modellazione degli effetti di vista ... ma potresti essere in grado di includere alcuni di questi in un'indagine incentrata sul DOE.

 

Sei alla ricerca di alcuni aghi in un pagliaio e non conosco metodo più efficiente per trovarli del DOE. Ad esempio, forse c'è una variazione delle materie prime nella produzione di cui non stai tenendo conto con i dati storici del processo, ma in un'indagine di tipo DOE hai diverse opzioni per gestire questo genere di cose come il blocco. O se come @statman suggerisce che se è presente scarsità di effetti, forse un progetto di screening definitivo potrebbe funzionare?

 

L'idea qui è sfruttare il tuo lavoro di modellazione passato e ciò che hai imparato, con la tua conoscenza del processo, e usare il potere del DOE per aiutarti a trovare quel "modello utile".

 

Durante i miei giorni nell'industria, un saggio ingegnere con cui ho lavorato aveva un detto: "Fino a quando non possiamo attivare e disattivare una modalità di errore a piacimento, non capiamo il processo". È stato il DOE il metodo singolo più efficiente che ci ha portato a "... capire il processo".

Ri: previsione del modello

Qualche altro punto da considerare: ci sono più opzioni da considerare sui modelli che hai provato che potrebbero migliorare la vestibilità. Per la foresta casuale: quanti alberi hai usato? Hai provato di più? Quanto era grande ogni albero? Hai provato a farli crescere più grandi? Cosa ti fa pensare che la rete neurale con 3 nodi fosse sufficiente? Hai provato più viaggi? Hai provato a utilizzare una rete neurale potenziata? In tal caso, hai provato a modificare il tasso di apprendimento? Se vedi una differenza davvero grande tra la convalida e le prestazioni del set di test, è cambiato qualcosa che renderebbe il set di test così diverso? Potrebbe anche mettere in discussione il modo in cui dividi i tuoi dati tra addestramento, convalida e test.

 

Ma se ti senti a tuo agio con le creazioni di set di formazione, convalida e test e ritieni che siano tutte rappresentative, ci sono opzioni e modi per migliorare i modelli. Dato un numero sufficiente di nodi e iterazioni di ricerca, una rete neurale può fornire un adattamento perfetto perché è un approssimatore universale. Ma ciò non è auspicabile in quanto si adatterà solo a quei dati, non a dati futuri (vedi @statman commenti di). Quindi ricorda che aspettarsi una previsione "perfetta" non è realistico. Entrambi @P_Bartell E @statman indicare le cose da considerare. Non dovresti davvero aspettarti di fare meglio dell'errore del tuo sistema di misurazione. Ciò ti consente di impostare un obiettivo realistico per il tuo errore di previsione.

Ri: previsione del modello

Purtroppo sviluppare buoni modelli in termini di previsione non è un esercizio banale. R^2 è una statistica enumerativa. Si applica solo ai dati in mano. L'RMSE del modello è una statistica enumerativa e si applica solo al set di dati in questione. L'estrapolazione del modello non è un problema enumerativo (vedi Deming: problemi enumerativi vs. problemi analitici), ma un esercizio di acquisizione di dati che rappresentano condizioni future. Apparentemente i set di dati che stai utilizzando per modellare i dati esistenti non rappresentano le condizioni future. Nessun metodo statistico può aiutarti qui. Potrebbero esserci problemi con il tuo sistema di misurazione come @P_Bartell suggerisce o molti altri motivi per cui il tuo set di dati non rappresenta condizioni future. Il processo è stabile (secondo Shewhart)? Forse dovresti eseguire un campionamento diretto per comprendere il processo prima di provare a modellarlo. Dubito che tutte le 100 variabili predittive abbiano la stessa influenza sulle variabili di risposta pertinenti (vedi principio di scarsità di effetti).

Ri: previsione del modello

Ecco un paio di pensieri per te:

 

1. Cosa sai della variazione del tuo sistema di misurazione? Se vicino a "niente" ... devierei il tuo studio sulla modellazione causale / predittiva per includere uno studio sulla variabilità del sistema di misurazione. L'intervallo di due settimane tra la raccolta dei dati di produzione e la misurazione della risposta richiede un sistema di misurazione alla deriva o altamente variabile dall'addestramento/convalida all'estrapolazione a previsioni e risultati futuri.

 

2. Possiedi JMP Pro...l'esplorazione e l'analisi dei dati funzionali delle serie temporali è una delle funzionalità distintive di JMP Pro e il tuo studio è fatto su misura per l'esplorazione dei dati funzionali. Per maggiori dettagli suggerisco di guardare questo webinar on demand: Esploratore di dati funzionali