Conferma del modello Definitive Screen Design (DSD)Ciao a tutti,
Ho progettato un DSD con le seguenti informazioni:
- Design: 7 fattori continui e 1 categoriale, 22 run
- Valutazione del progetto su potenza e correlazione: molto buona
- Fit modello tramite Fit Definitive Screening: eccellente
- RMSE = 0,2803, RSq = 0,997, valore PV <0,001)
- Mancanza di adattamento: no (rapporto F 191, Prob> F = 0,0561)
- I residui residuali e quelli studenteschi sono tutti buoni
- Struttura del modello:
- Contiene 5 principali, 4 quadratici e 1 fattori di interazione
- Conferma del modello: prova alcune corse (punti) intorno alla desiderabilità massima
- alcuni concordano molto bene con la previsione
- alcuni mostrano grandi differenze
A causa della limitazione delle risorse, possiamo eseguire da 5 a 10 esecuzioni di conferma.
Si prega di avvisare:
- Le potenziali cause della differenza dicono underfit o overfit?
- Metodo o procedura per migliorare / ottimizzare il modello
Grazie.
DOEOggetto: conferma del modello DSD (Definitive Screen Design)Sarà molto difficile per noi aiutare. Renditi conto che le statistiche che segnali non hanno nulla a che fare con il futuro del modello. L'estrapolazione è ingegneristica o scientifica e dipende molto da quanto il tuo esperimento fosse rappresentativo delle condizioni future. Il progetto di screening definitivo è una strategia per gestire i fattori di progettazione, non il rumore (fattori che non sei disposto a controllare o gestire). Non dici niente su come hai gestito il rumore. Se i fattori di rumore vengono mantenuti costanti, lo spazio di inferenza è troppo piccolo e il modello si applicherà probabilmente solo ai dati in mano. Per la sperimentazione futura, il mio consiglio è di dedicare tanto tempo a considerare cosa farete con i fattori non inclusi nella struttura del progetto (rumore) quanto voi siete.
Oggetto: conferma del modello DSD (Definitive Screen Design)Ciao Statman,
Il DOE si è basato sui risultati del software di simulazione. Abbiamo riscontrato che un livello di fattore (-1,0, + 1) ha catturato l'intera gamma della variabile rappresentativa, ma fisicamente (0, 0,5, 1) o (-1, -0,5, 0) dovrebbe essere l'intervallo effettivo per l'obiettivo risposta.Quindi possiamo vedere questo fattore come un fattore di rumore e utilizzare lo stesso livello di fattore nella corsa di conferma.
Sulla base delle informazioni aggiuntive sopra, qualche consiglio per favore?
Grazie.
Oggetto: conferma del modello DSD (Definitive Screen Design)Non sono sicuro di poterti aiutare. Stai dicendo che i risultati dell'esecuzione degli esperimenti nel software di simulazione non sono ripetibili nel software di simulazione? O stai dicendo che i risultati dell'esperimento nel software di simulazione non si ripetono nella "vita reale"?
Penso che ci possano essere confusioni su cosa sia il rumore. Ha una serie di nomi diversi: fastidio, sfondo, et. al. Gli esempi includono: condizioni ambientali ambientali, usura o degrado dei materiali e delle apparecchiature, tecnica dell'operatore, in alcuni casi errore di misurazione, variazione da lotto a lotto dei materiali, ecc. Queste variabili non sono tipicamente manipolate in un esperimento e vengono mantenute costanti ( cattiva idea) o variare durante l'esecuzione dell'esperimento. Questi devono essere rappresentativi delle "condizioni" future affinché i risultati sperimentali siano applicabili in futuro (o affinché il modello possa prevedere le variabili di risposta in futuro).
Se stai utilizzando un software di simulazione, l'algoritmo è già contenuto nel software. Non lo sai? Non ho idea di come il tuo software di simulazione "simuli" il rumore.
Oggetto: conferma del modello DSD (Definitive Screen Design)Ciao Statman,
Grazie per la vostra pazienza.
Conosco il concetto di rumore. Ho iniziato a utilizzare il metodo Taguchi per molti anni. Quindi, nel mio caso, non dobbiamo preoccuparci dei rumori.
In breve, il DOE si è basato sui risultati dell'esecuzione del software di simulazione, tutto sembra a posto tranne che il modello funziona male con alcuni dati di conferma.
Per capire cosa può causare le conferme non così buone, le lepri sono alcune cose che sto provando ora:
1) Invece di utilizzare il modello generato da Run Model subito dopo Fit Definitive Screening, ho utilizzato Stepwise Regression per scegliere i termini utilizzando i criteri AICc e BIC. Quindi adeguo i termini selezionati con i minimi quadrati standard. Ho qualche miglioramento.
2. Posso anche adattare i termini selezionati sopra con esecuzioni di addizione supponendo che il modello sia inadeguato. Domanda: come si decide se un modello è underfit o overfit? Qual è la soluzione se è overfit?
3. Devo anche provare l'adattamento di regressione non lineare?
Grazie.
Oggetto: conferma del modello DSD (Definitive Screen Design)Sono felice di aiutarti se posso, ma non hai risposto alla mia prima domanda? Se stai eseguendo simulazioni, perché frazionare? A meno che il tempo di elaborazione non sia troppo lungo? L'esperimento è stato eseguito da un software di simulazione, le prove di conferma sono state eseguite anche dal software di simulazione?
Non sono sicuro di cosa abbia a che fare il Metodo Taguchi con questa discussione? Certamente non è stato il primo a identificare l'importanza del rumore nelle situazioni sperimentali (vedi Fisher). Se stai indicando l'array interno ed esterno, questo metodo è stato discusso per la prima volta negli anni '50 con Cox e array di prodotti incrociati. Non capisco cosa intendi con "non dobbiamo preoccuparci del rumore"? Ogni variabile che potrebbe eventualmente variare è stata studiata?
Esistono molti metodi / approcci per l'adattamento del modello. C'è l'approccio additivo che è quello che fa per gradi e c'è l'approccio sottrattivo che inizia saturo e rimuove i termini. Approcci diversi per situazioni diverse. Ci sono una serie di statistiche che possono fornire aiuto, ma nessuna statistica ti dà una risposta definitiva. Il mio primo consiglio è di usare l'ingegneria e la scienza per determinare se i fattori e i livelli suggeriti dal modello hanno senso, le statistiche utili includono: RMSE, RSquare-RSquare Adjusted delta (alcuni usano RSquares predetto), coefficienti, p-value, residui (molti trame), VIF, ecc.
