Conferma del modello Definitive Screen Design (DSD).Ciao a tutti,
Ho progettato un DSD con le seguenti informazioni:
- Design: 7 fattori continui e 1 categoriale, 22 run
- Valutazione della progettazione su potenza e correlazione: molto buona
- Idoneità del modello tramite Fit Definitive Screening: eccellente
- RMSE = 0,2803, RSq = 0,997, Valore P<0,001)
- Mancanza di adattamento: no (Razione F 191, Prob > F = 0,0561)
- I residui residui e studentizzati vanno tutti bene
- Struttura del modello:
- Contiene 5 fattori principali, 4 quadratici e 1 di interazione
- Conferma del modello: prova alcune corse (punti) per raggiungere la massima desiderabilità
- alcuni concordano molto bene con la previsione
- alcuni mostrano grandi differenze
A causa dei limiti delle risorse, possiamo eseguire da 5 a 10 esecuzioni di conferma.
Si prega di avvisare:
- Le potenziali cause della differenza dicono sottoadattamento o sovraadattamento?
- Metodo o procedura per migliorare/ottimizzare il modello
Grazie.
Progettazione di esperimentiOggetto: conferma del modello Definitive Screen Design (DSD).CIAO @P_Bartell ,
I tuoi commenti sono abbastanza illuminanti. Apprezzo molto che tu lo abbia sottolineato I DSD sono prima di tutto progetti di screening. Sì, quello era l'obiettivo principale prima che le persone volessero ottenere di più da esso.
Accoppiamento con @Mark_Bailey punto sulla determinazione del software di simulazione, ho intenzione di interrogarmi sulla necessità di un modello predittivo accurato mentre ora conosciamo la direzione da DSD e possiamo ottenere una risposta esatta dal software di simulazione.
Grazie per una scrittura così piacevole. Goditi le tue vacanze.
Oggetto: conferma del modello Definitive Screen Design (DSD).Ok... non posso resistere. Sono stato seduto in disparte su questo thread ... ma ora non posso farne a meno.@ZenCar La tua domanda nel tuo ultimo post è al centro di questa narrazione. I DSD sono prima di tutto progetti di schermatura. DOE per scopi predittivi è qualcosa di completamente diverso. Uno dei miei piccoli fastidi dei praticanti DOE è che iniziano con un problema pratico che è fondamentalmente un obiettivo di ottimizzazione per una serie di risposte ... e poi in qualche modo dimenticano il metodo provato e vero dell'esperimento sequenziale attraverso il ragionamento induttivo. George Box e altri ne hanno discusso per anni. È il modo di procedere. Questo è il cuore della differenza tra tutti i progetti di screening e altri progetti più abili nella previsione.
Anche a @statman i precedenti punti sul "rumore". Il rumore nel funzionamento futuro di un sistema si presenta in tutti i tipi di forme, forme e dimensioni. Molti non possono essere incorporati in esperimenti progettati. Ad esempio, quando lavoravo nell'industria, spesso i sistemi di produzione venivano chiusi per importanti manutenzioni e aggiornamenti di capitale. La regola empirica era "Non vuoi mai essere il primo a salire sulla macchina di rivestimento dopo una chiusura di capitale". La magia della fisica e della chimica che pensavi di aver capito ora potrebbe non essere applicata in base ai cambiamenti di processo che si sono verificati.' Come costruirai un importante aggiornamento dei sistemi di capitale in un DOE prima che avvenga l'aggiornamento? Non pratico e non si può fare.
Quindi, se il potere predittivo dei modelli basati su DOE cade a pezzi in futuro ... perché qualcuno è sorpreso? Significa solo che è necessario più lavoro per comprendere appieno il processo.
Inveire. Grazie per aver letto fino a qui se hai.
Oggetto: conferma del modello Definitive Screen Design (DSD).Segno,
Ci sono molti fattori che possono influenzare la risposta che vogliamo controllare. Vogliamo identificare quali sono i principali contributori. Grazie all'esperienza ingegneristica, siamo stati in grado di restringere il campo a otto fattori. Lo scopo del DOE è di restringere ulteriormente il campo e ottenere indicazioni pratiche su come migliorare la risposta. A questo scopo, penso che DSD faccia un ottimo lavoro.
Ho provato due cose:
1) All'interno della piattaforma DSD, ho rimosso alcuni termini non così significativi e ridotto il modello da 5 ME, 4 quadratici e 1 interazione fino a 4 ME, 1 quadratico e 1 interazione. Sono stato in grado di ottenere risultati di conferma più desiderabili.
2) Aggiungo semplicemente 4 delle 5 esecuzioni di conferma alla tabella DSD originale e utilizzo JMP Analyze: Fit Model: Standard Least Square alla stessa configurazione di 1) (4 ME, 1 quadratico e 1 interazione). Sono stato anche in grado di ottenere risultati di conferma più desiderabili con i restanti dati della corsa di conferma.
Domanda: posso dire che lo screening dei fattori efficaci e la generazione del modello predittivo sono due cose, ad esempio, il secondo potrebbe essere dovuto ad altri motivi come la mancanza di dati (esecuzioni) sufficienti per adattarsi al modello, tuttavia, i risultati dello screening sono ancora validi e applicabili ?
Il tuo punto sul design che riempie lo spazio è molto interessante. Lo esaminerò e tornerò indietro tra qualche giorno.
Grazie e Buone Feste!
Oggetto: conferma del modello Definitive Screen Design (DSD).Ciao Statmann,
Essere d'accordo. Ero un fan di Taguchi e invidio gli amici che hanno avuto un'interazione diretta con lui. Il metodo ha un profondo contributo per migliorare la qualità di molti molti settori.
Grazie per l'aiuto. Non esitate a continuare a inserire.
Oggetto: conferma del modello Definitive Screen Design (DSD).A proposito, non condanno le idee del dottor Taguchi. Ho avuto il privilegio di insegnare con lui a Tokyo molti anni fa. Ho trovato molto interessanti i suoi pensieri sull'applicazione dei metodi statistici, in particolare le sue idee sulla creazione di variabili di risposta appropriate. Un molto ingegneria approccio!
Come ho già commentato, non sono ancora sicuro di aver compreso la tua situazione. So che avere un RSquadro del 99% non significa praticamente nient'altro che il modello che hai usato spiega ~ 99% della variazione NEL SET DI DATI IN MANO. Ha poco a che fare con il fatto che il tuo modello sarà utile per la previsione.
Oggetto: conferma del modello Definitive Screen Design (DSD).Ciao Statmann,
Per ogni esecuzione, dobbiamo creare manualmente un modello CAD che richiede tempo prima di eseguire la simulazione, anch'essa richiede tempo. All'inizio, ci vorrebbero troppe risorse se si esegue un DOE FF. La prima esecuzione di DSD ha contribuito a ridurla a 8 termini (5 ME, 4 quadratici e 1 interazione). Forse posso ridurlo ulteriormente per eseguire un FF su 4 ME.
La mia comprensione del rumore proveniva dal metodo Taguchi. Prenderò il tuo da questo punto in poi.
Abbiamo impiegato del tempo all'inizio per identificare una potenziale variabile significativa in modo da decidere i livelli dei fattori.
Il DSD è stato progettato per avere una buona valutazione di potenza e alias. Abbiamo quindi studiato i risultati del DOE e determinato che ha identificato i significati dell'effetto corretti.
Come ho già detto, eseguo il modello subito dopo Fit Definitive Screening e ho ottenuto un modello "eccellente". Il Rsquare = 99%. Ma le corse di conferma non sono state molto buone.
Ho iniziato a ridurre i termini (diciamo usando 4 ME e termini quadratici e di interazione di 1 ME). Il risultato è migliorato molto. Questo mi sembra che il modello fosse overfit. Esaminerò le direzioni che hai indicato per il miglioramento. Se non è efficiente, posso perseguire un FF con 4 ME (3 livelli ^ 4 = 81 run?).
Grazie mille per i tuoi contributi.
Oggetto: conferma del modello Definitive Screen Design (DSD).So che il tuo sistema è una simulazione al computer. Stai progettando un esperimento al computer, presumibilmente per adattarsi a un surrogato. La tua simulazione non include alcun elemento stocastico, quindi gli stessi valori di input portano agli stessi output. Non stai selezionando gli input, per i quali è previsto il DSD. Conosci gli input perché puoi esaminare la simulazione. Presumo che la simulazione non sia pratica (ad esempio, il calcolo richiede troppo tempo per una grafica fluida), quindi si desidera utilizzare un buon surrogato.
Il DSD e molte altre piattaforme di progettazione sono destinate a esperimenti fisici in cui la risposta include componenti stocastiche. Avresti dovuto provare i design che riempiono lo spazio. Sono pensati per essere utilizzati con esperimenti al computer. Inoltre, supportano l'adattamento del modello del processo gaussiano, che in genere è un surrogato molto migliore del modello di regressione lineare.
Quindi penso che il pregiudizio nel modello di regressione lineare (cioè la mancanza di conferma) sia dovuto a una non linearità nella risposta che non può essere modellata bene con una funzione polinomiale.
Se si combinano i risultati DSD originali con i nuovi risultati di conferma e si adatta nuovamente il modello, l'adattamento e la risposta prevista migliorano?
Oggetto: conferma del modello Definitive Screen Design (DSD).Sono felice di aiutarti se posso, ma non hai risposto alla mia prima domanda? Se stai eseguendo simulazioni, perché frazionare? A meno che il tempo di elaborazione non sia troppo lungo? L'esperimento è stato eseguito dal software di simulazione, anche le esecuzioni di conferma sono state eseguite dal software di simulazione?
Non sono sicuro di cosa abbia a che fare il metodo Taguchi con questa discussione? Certamente non fu il primo a identificare l'importanza del rumore nelle situazioni sperimentali (vedi Fisher). Se stai puntando all'array interno ed esterno, questo metodo è stato discusso per la prima volta negli anni '50 con Cox e array di prodotti incrociati. Non capisco cosa intendi con "non dobbiamo preoccuparci del rumore"? Ogni variabile che potrebbe eventualmente variare è stata studiata?
Esistono molti metodi/approcci per l'adattamento del modello. C'è l'approccio additivo che è ciò che fa gradualmente e c'è l'approccio sottrattivo che inizia saturo e rimuove i termini. Approcci diversi per situazioni diverse. Ci sono una serie di statistiche che possono fornire aiuto, ma nessuna statistica ti dà una risposta definitiva. Il mio primo consiglio è di usare l'ingegneria e la scienza per determinare se i fattori e i livelli suggeriti dal modello hanno un senso, le statistiche utili includono: RMSE, RSquare-RSquare Delta aggiustato (alcuni usano RSquares previsti), coefficienti, p-value, residui (molti trame), VIF, ecc.
Oggetto: conferma del modello Definitive Screen Design (DSD).Ciao Statmann,
Grazie per la vostra pazienza.
Conosco il concetto di rumore. Ho iniziato usando il metodo Taguchi per molti anni. Quindi, nel mio caso, non dobbiamo preoccuparci dei rumori.
In breve, il DOE si basava sui risultati dell'esecuzione del software di simulazione, tutto sembra a posto tranne che il modello funziona male con alcuni dati di conferma.
Per capire cosa può causare le conferme non così buone, lepre sono alcune cose che sto provando ora:
1) Invece di utilizzare il modello generato da Esegui modello subito dopo Fit Definitive Screening, ho utilizzato Stepwise Regression per selezionare i termini utilizzando i criteri AICc e BIC. Quindi inserisco i termini selezionati con i minimi quadrati standard. Ho avuto qualche miglioramento.
2. Posso anche adattare i termini sopra selezionati con esecuzioni aggiuntive supponendo che il modello sia inadeguato. Domanda: come si decide se un modello è underfit o overfit? Qual è la soluzione è che è overfit?
3. Dovrei anche provare l'adattamento della regressione non lineare?
Grazie.
Oggetto: conferma del modello Definitive Screen Design (DSD).Non sono sicuro di poterti aiutare. Stai dicendo che i risultati dell'esecuzione degli esperimenti nel software di simulazione non sono ripetibili nel software di simulazione? O stai dicendo che i risultati dell'esperimento nel software di simulazione non si ripetono nella "vita reale"?
Penso che ci possano essere confusioni su cosa sia il rumore. Ha diversi nomi: fastidio, sfondo, ecc. al. Gli esempi includono: condizioni ambientali ambientali, usura o degrado di materiali e attrezzature, tecnica dell'operatore, in alcuni casi errore di misurazione, variazione da lotto a lotto dei materiali, ecc. Queste variabili non sono tipicamente manipolate in un esperimento e sono mantenute costanti ( cattiva idea) o variare durante l'esecuzione dell'esperimento. Questi devono essere rappresentativi delle "condizioni" future affinché i tuoi risultati sperimentali siano applicabili in futuro (o affinché il tuo modello preveda le variabili di risposta in futuro).
Se si utilizza un software di simulazione, l'algoritmo è già contenuto nel software. Non lo sai? Non ho idea di come il tuo software di simulazione "simuli" il rumore.
Oggetto: conferma del modello Definitive Screen Design (DSD).Ciao Statmann,
Il DOE era basato sui risultati del software di simulazione. Abbiamo riscontrato che un livello di fattore (-1,0,+1) ha catturato l'intero intervallo della variabile rappresentativa, ma fisicamente (0, 0,5, 1) o (-1, -0,5, 0) dovrebbe essere l'intervallo effettivo per l'obiettivo risposta.Quindi possiamo vedere questo fattore come un fattore di rumore e utilizzare lo stesso livello di fattore nell'esecuzione di conferma.
Sulla base delle informazioni aggiuntive di cui sopra, qualche consiglio per favore?
Grazie.
Oggetto: conferma del modello Definitive Screen Design (DSD).Sarà molto difficile per noi aiutarti. Renditi conto che le statistiche che riporti non hanno nulla a che fare con il fatto che il modello funzioni in futuro. L'estrapolazione è ingegneristica o scientifica e dipende molto da quanto il tuo esperimento fosse rappresentativo delle condizioni future. Il progetto di screening definitivo è una strategia per gestire i fattori di progettazione, non il rumore (fattori che non sei disposto a controllare o gestire). Non dici nulla su come hai gestito il rumore. Se i fattori di rumore sono mantenuti costanti, il tuo spazio di inferenza è troppo piccolo e il tuo modello probabilmente si applicherà solo ai dati in mano. Per la sperimentazione futura, il mio consiglio è di dedicare tanto tempo a considerare cosa farai con i fattori non inclusi nella struttura del progetto (rumore) quanto quelli che sei tu.
