338434_it-IT

liliconcom

Previsione del modello

Ciao

Sto lavorando su un database con circa 3000 record e circa 100 predittori. La risposta è un parametro elettrico con una buona distribuzione gaussiana. Il database è una serie temporale multivariata perché sia la risposta che i predittori dipendono dal tempo. I predittori vengono raccolti lungo la linea di produzione in una particolare fase del processo mentre il parametro elettrico viene misurato circa 2 settimane dopo. L'idea qui è di prevedere la misura elettrica utilizzando i dati in linea della macchina (predittori).

Come primo modello ho utilizzato una foresta casuale. L'R2 e l'errore erano davvero buoni sia per i gruppi di allenamento che per i test. Comunque quando ho provato a distribuire il modello in produzione su dati mai visti prima le prestazioni del modello erano pessime. Sono stato in grado di spiegare questo comportamento con la debolezza della foresta casuale da estrapolare. Quindi escludendo il modello basato sull'albero l'unica scelta rimangono l'adattamento polinomiale e la rete neurale. Il primo non era accettabile in termini di R2 ed errore, mentre l'NN con 2 livelli e 3 funzioni di attivazione era in grado di restituire un buon R2 ed errore sia sui dati di addestramento che su quelli di test. Poi una volta costruito il modello l'ho distribuito in produzione su dati mai visti (asterisco nel generatore di grafici). Anche se la previsione del trend è corretta, i singoli valori no. In particolare il NN su dati mai visti mostra una variabilità molto elevata. Quindi, alla fine di questa storia, non ho nessun altro modello in JMP da testare. Almeno questo è quello che penso. Qualcuno può darmi qualche trucco o suggerimento per risolvere questo problema?

Nel ppt allegato tutte le trame.  

 

Grazie Felice

AnalyticsTabella datiOggetto: previsione del modello

Ecco un paio di pensieri per te:

 

1. Cosa sai della variazione del tuo sistema di misurazione? Se vicino a "nulla" ... Devo deviare il tuo studio sulla modellazione causale / predittiva per includere uno studio della variabilità del sistema di misurazione. Il ritardo di due settimane tra la raccolta dei dati di produzione e la misurazione della risposta richiede un sistema di misurazione variabile o molto variabile dall'addestramento / convalida all'estrapolazione per previsioni e risultati futuri.

 

2. Possiedi JMP Pro ... L'esplorazione e l'analisi dei dati funzionali delle serie temporali è una delle capacità distintive di JMP Pro e il tuo studio è fatto su misura per l'esplorazione funzionale dei dati. Per maggiori dettagli suggerisco di guardare questo webinar on demand: Data Explorer funzionale

Oggetto: previsione del modello

Sfortunatamente sviluppare buoni modelli in termini di previsione non è un esercizio banale. R ^ 2 è una statistica enumerativa. Si applica solo ai dati in mano. L'RMSE del modello è una statistica enumerativa e si applica solo al set di dati in mano. L'estrapolazione del modello non è un problema enumerativo (vedere Deming: problemi enumerativi e analitici), ma un esercizio di acquisizione di dati che rappresentano condizioni future. Apparentemente i set di dati che stai utilizzando per modellare i dati esistenti non rappresentano le condizioni future. Nessun metodo statistico può aiutarti qui. Potrebbero esserci problemi con il tuo sistema di misurazione come @P_Bartell suggerisce o molti altri motivi per cui il tuo set di dati non rappresenta condizioni future. Il processo è stabile (secondo Shewhart)? Forse dovresti eseguire un campionamento diretto per comprendere il processo prima di provare a modellarlo. Dubito che tutte le 100 variabili predittive abbiano la stessa influenza sulle variabili di risposta pertinenti (vedere il principio della scarsità di effetti).

Oggetto: previsione del modello

Alcuni punti in più da considerare: ci sono più opzioni da considerare sui modelli che hai provato che possono migliorare la vestibilità. Per la foresta casuale: quanti alberi hai usato? Hai provato di più? Quanto era grande ogni albero? Hai provato a farli crescere più grandi? Cosa ti fa pensare che la rete neurale con 3 nodi fosse sufficiente? Hai provato più viaggi? Hai provato a utilizzare una rete neurale potenziata? In tal caso, hai provato a modificare il tasso di apprendimento? Se vedi una differenza davvero grande tra la convalida e le prestazioni del set di test, è cambiato qualcosa che renderebbe il set di test così diverso? Potrebbe anche mettere in discussione il modo in cui dividi i tuoi dati tra addestramento, convalida e test.

 

Ma se ti senti a tuo agio con la formazione, la convalida e le creazioni del set di prova e ritieni che siano tutte rappresentative, ci sono opzioni e modi per migliorare i modelli. Dato un numero sufficiente di nodi e iterazioni di ricerca, una rete neurale può fornire un adattamento perfetto perché è un approssimatore universale. Ma ciò non è desiderabile in quanto si adatterà solo a quei dati, non a dati futuri (vedere @statman commenti di). Quindi ricorda che aspettarsi una previsione "perfetta" non è realistico. Tutti e due @P_Bartell e @statman indicare le cose da considerare. Non dovresti davvero aspettarti di fare meglio del tuo errore del sistema di misurazione. Ciò ti consente di impostare un obiettivo realistico per il tuo errore di previsione.

Oggetto: previsione del modello

Concordo con tutto @Dan_Obermiller e @statman consiglia o dichiara.

 

Un altro pensiero per te ... dato che sembri lavorare con processi e dati storici di produzione casuali, hai la capacità di eseguire esperimenti progettati? Il motivo per cui sto percorrendo questa strada è che se i tuoi modelli basati su informazioni storiche non sono particolarmente estensibili a osservazioni future, allora molto probabilmente potrebbero esserci altre importanti variabili causali che entrano nel sistema che i dati storici non prendono in considerazione da un punto di modellazione degli effetti di vista ... ma potresti essere in grado di includere alcuni di questi in un'indagine incentrata sul DOE.

 

Sei a caccia di alcuni aghi in un pagliaio e non conosco metodo più efficiente per trovarli di DOE. Ad esempio, forse c'è una variazione della materia prima nella produzione di cui non si tiene conto con i dati di processo storici, ma in un'indagine di tipo DOE sono disponibili diverse opzioni per gestire questo tipo di cose come il blocco. O se come @statman suggerisce che se è presente la scarsità di effetti, forse un progetto di screening definitivo potrebbe funzionare?

 

L'idea qui è sfruttare il tuo lavoro di modellazione passato e ciò che hai imparato, con la tua conoscenza del processo, e usare la potenza del DOE per aiutarti a trovare quel "modello utile".

 

Durante i miei giorni nell'industria, un saggio ingegnere con cui ho lavorato ha detto: "Finché non possiamo attivare e disattivare una modalità di guasto a nostro piacimento, non capiamo il processo". È stato DOE il metodo più efficiente che ci ha permesso di "... comprendere il processo".

Oggetto: previsione del modello

Rimando agli altri commenti qui, poiché quelle persone ne sanno più di me su queste cose.Ma c'è un problema che non hanno menzionato e che ho pensato di sollevare.Poiché si tratta di dati di serie temporali multivariati, che senso ha utilizzare la convalida casuale e i set di dati di test?Questo non ignora la struttura temporale nei dati?Naturalmente, puoi usare reti neurali, foreste casuali, ecc., Ma non mi aspetto che le prestazioni siano molto buone con i nuovi dati poiché quei modelli hanno ignorato la struttura temporale nei dati.Per i dati delle serie temporali, penserei che i dati del test dovrebbero essere un intervallo contiguo di osservazioni, quindi la struttura temporale può essere modellata e testata.Quindi, è appropriato utilizzare questi metodi, con convalida casuale e set di dati di prova, su dati di serie temporali come quelli che hai?