Perché la convalida non è inclusa nel DOE?Ciao a tutti, sto imparando il corso online ora. Nella parte di modellazione predittiva, la convalida viene utilizzata per valutare le prestazioni del modello sui nuovi dati e impedire la scelta del modello di overfitting.
La convalida richiede dati aggiuntivi. Tuttavia, nella parte DOE, questi dati extra non sono inclusi. Tutti i dati raccolti vengono utilizzati per addestrare il modello. Anche i punti centrali vengono utilizzati per valutare gli effetti quadratici nel modello.
Prendi la superficie di risposta DOE come esempio. L'obiettivo di questo DOE è trovare il punto ottimale, che di solito sono "nuovi dati" (rispetto ai punti in DOE). Perché in questo caso non è incluso un set di validazione? Non è importante?
AnaliticaDOERe: Perché la convalida non è inclusa nel DOE?La convalida del modello è un passaggio importante. Utilizzare il modello selezionato per trovare i livelli dei fattori di interesse (ad es. si prevede che forniscano una risposta desiderata e una risposta indesiderabile), quindi impostare alcune esecuzioni (5-6) e confrontare la risposta media delle nuove esecuzioni con quella prevista risposta media. Consiglio di utilizzare un test di equivalenza, non di differenza.
Questi dati, validati da soli, possono essere combinati con l'esperimento originale, se si desidera migliorare le stime dei termini del modello.
Re: Perché la convalida non è inclusa nel DOE?Per aggiungere un po' @markbailey Il consiglio con cui sono d'accordo... filosoficamente il DOE come metodo di risoluzione dei problemi ha l'efficienza della raccolta di conoscenze come principio fondamentale. Uno dei miei istruttori DOE degli anni '80 definì "efficienza nel DOE" come il desiderio di ottenere le informazioni richieste con il minimo dispendio di risorse. Al giorno d'oggi possiamo dire che, con tattiche DOE ottimali guidate dal modello, il modello è la nostra "informazione richiesta". Pertanto, i metodi DOE ottimali forniscono quell'efficienza che rende necessaria ogni singola combinazione di trattamento. Non sono richieste corse aggiuntive.
Ma come suggerisce Mark, e di solito seguono tutti i professionisti del DOE, è che una volta che abbiamo il modello, conduciamo ulteriori corse per verificare che il modello sia effettivamente utile per il problema pratico a portata di mano. Quindi il processo DOE include la convalida (alcuni la chiamano conferma o verifica) come passaggio obbligatorio... accade semplicemente in un momento diverso, dopo la sperimentazione iniziale.
Re: Perché la convalida non è inclusa nel DOE?D'accordo con i commenti di Mark e Pete... i risultati dell'esperimento e il modello creato come risultato dell'analisi (qualunque statistica o giudizio pratico tu usi per farlo) sono una funzione dello spazio di inferenza dell'esperimento. Se l'esperimento non rappresenta le condizioni future, il modello, per quanto "statisticamente significativo" nell'analisi, non produrrà risultati utili ripetibili.
“Purtroppo, gli esperimenti futuri (prove future, produzione di domani) saranno influenzati da condizioni ambientali (temperatura, materiali, persone) diverse da quelle che influenzano questo esperimento... È solo dalla conoscenza dell'argomento, eventualmente aiutato da ulteriori esperimenti (corsivo aggiunto) per coprire una gamma più ampia di condizioni, che si possa decidere, con il rischio di sbagliare, se le condizioni ambientali del futuro saranno abbastanza vicine a quelle di oggi da consentire l'utilizzo dei risultati in mano”.
Dott. Deming
Re: Perché la convalida non è inclusa nel DOE?Forse è importante verificare cosa tutti intendono per "convalidare".
In genere, nella modellazione di dati ad hoc, la convalida del modello utilizzando un set di dati di controllo è davvero una buona idea. Le statistiche di adattamento dei dati di controllo vengono utilizzate per valutare la qualità del modello dai dati di addestramento. Nella modellazione di dati ad hoc, stiamo cercando di costruire stime sulla popolazione sottostante, lavorare con piccoli set di dati mina la capacità di addestrare e valutare il modello. Massimizzare il numero di osservazioni sul sistema che stiamo modellando è importante per stime migliori.
I dati per un DOE sono pianificati e raccolti con molta attenzione prima dell'analisi. Questo progetto supporta l'inclusione/l'uso di termini del modello che sono specificati a priori in contrasto con la modellazione dei dati sulla casualità in cui potremmo non sapere quali termini possono essere inclusi nel modello fino a quando non vengono valutati.
Nel caso di un DOE nessuno dei dati è trattenuto per la convalida del modello perché tutti i dati sono necessari per stimare i coefficienti del modello in base alla progettazione. Un obiettivo chiave del DOE è generare la minor quantità di dati necessaria per modellare i fenomeni fisici. Il termine "convalida" nel caso di un DOE implica che ulteriori esecuzioni verranno completate al termine dell'esperimento. Le esecuzioni di "validazione" verranno confrontate con i valori previsti per valutare la qualità delle previsioni del modello DOE. Spesso il numero di esecuzioni di convalida è piccolo, forse solo 1-3. Queste esecuzioni forniscono prove per supportare le modifiche a un sistema fisico che genererà quindi molte esecuzioni/osservazioni con le stesse impostazioni di input. Il modello verrà utilizzato per ottimizzare il sistema/processo fisico in futuro.
DOE World utilizza metodi simili a Modeling World ma l'approccio è molto diverso.
Re: Perché la convalida non è inclusa nel DOE?Ben messo Byron. Ho trascurato di differenziare la convalida poiché hai fatto così bene.
