Perché la convalida non è inclusa nel DOE?Ciao a tutti, sto imparando il corso online ora. Nella parte di modellazione predittiva, la convalida viene utilizzata per valutare le prestazioni del modello su nuovi dati e impedire la scelta del modello di overfitting.
La convalida richiede dati aggiuntivi. Tuttavia, nella parte DOE, questi dati extra non sono inclusi. Tutti i dati raccolti vengono utilizzati per addestrare il modello. Anche i punti centrali vengono utilizzati per valutare gli effetti quadratici nel modello.
Prendi la superficie di risposta DOE come esempio. L'obiettivo per questo DOE è trovare il punto ottimale, che di solito sono "nuovi dati" (rispetto ai punti in DOE). Perché in questo caso non è incluso un set di validazione? Non è importante?
AnaliticaDAIRe: Perché la validazione non è inclusa nel DOE?Ben messo Byron. Ho trascurato di differenziare la convalida come hai fatto così bene.
Re: Perché la validazione non è inclusa nel DOE?Forse è importante verificare cosa intendono tutti per "convalidare".
In generale, nella modellazione di dati ad hoc, la convalida del modello utilizzando un set di dati di controllo è davvero una buona idea. Le statistiche di adattamento dei dati di controllo vengono utilizzate per valutare la qualità del modello dai dati di addestramento. Nella modellazione di dati ad hoc, stiamo cercando di costruire stime sulla popolazione sottostante, lavorare con piccoli set di dati compromette la capacità di addestrare e valutare il modello. Massimizzare il numero di osservazioni sul sistema che stiamo modellando è importante per stime migliori.
I dati per un DOE sono pianificati e raccolti con molta attenzione prima dell'analisi. Questo design supporta l'inclusione/l'uso di termini del modello che sono specificati a priori in contrasto con la modellazione di dati casuali in cui potremmo non sapere quali termini possono essere inclusi nel modello fino a quando non vengono valutati.
Nel caso di un DOE nessuno dei dati viene tenuto per la convalida del modello perché tutti i dati sono necessari per stimare i coefficienti del modello in base alla progettazione. Un obiettivo chiave del DOE è generare la minor quantità di dati necessari per modellare i fenomeni fisici. Il termine "convalida" nel caso di un DOE implica che ulteriori esecuzioni saranno completate dopo il completamento dell'esperimento. Le esecuzioni di "convalida" verranno confrontate con i valori previsti per valutare la qualità delle previsioni del modello DOE. Spesso il numero di esecuzioni di convalida è ridotto, forse solo 1-3. Queste esecuzioni forniscono prove per supportare le modifiche a un sistema fisico che genererà quindi molte esecuzioni/osservazioni con le stesse impostazioni di input. Il modello verrà utilizzato per mettere a punto il sistema/processo fisico in futuro.
DOE World utilizza metodi simili a Modeling World ma l'approccio è molto diverso.
Re: Perché la validazione non è inclusa nel DOE?Concordando con entrambi i commenti di Mark e Pete ... i risultati dell'esperimento e il modello creato come risultato dell'analisi (qualunque statistica o giudizio pratico tu usi per farlo) sono una funzione dello spazio di inferenza dell'esperimento. Se l'esperimento non rappresenta condizioni future, allora il modello, sia pure "statisticamente significativo" in analisi, non produrrà risultati utili ripetibili.
“Sfortunatamente, gli esperimenti futuri (prove future, produzione di domani) saranno influenzati da condizioni ambientali (temperatura, materiali, persone) diverse da quelle che influenzano questo esperimento... È solo per conoscenza dell'argomento, eventualmente aiutato da ulteriori esperimenti (corsivo aggiunto) per coprire una gamma più ampia di condizioni, che si può decidere, con il rischio di sbagliare, se le condizioni ambientali del futuro saranno abbastanza vicine a quelle di oggi per consentire l'uso dei risultati in mano.
Dottor Deming
Re: Perché la validazione non è inclusa nel DOE?Per aggiungere un po' a @Mark_Bailey Il consiglio di con cui sono d'accordo ... filosoficamente DOE come metodo di risoluzione dei problemi ha l'efficienza della raccolta delle conoscenze come principio fondamentale. Uno dei miei istruttori DOE degli anni '80 definì "efficienza nel DOE" come il desiderio di ottenere le informazioni richieste con il minimo dispendio di risorse. Al giorno d'oggi possiamo dire, con tattiche DOE ottimali guidate dal modello, il modello è la nostra "informazione richiesta". Pertanto, i metodi DOE ottimali forniscono quell'efficienza che rende necessaria ogni singola combinazione di trattamento. Non sono necessarie corse aggiuntive.
Ma come suggerisce Mark, e tutti i validi praticanti del DOE di solito seguono, è una volta che abbiamo il modello, conduciamo ulteriori analisi per verificare che il modello sia effettivamente utile per il problema pratico in questione. Quindi il processo DOE include la convalida (alcuni la chiamano conferma o verifica) come passaggio obbligatorio ... accade solo in un momento diverso, dopo la sperimentazione iniziale.
Re: Perché la validazione non è inclusa nel DOE?La validazione del modello è un passo importante. Utilizzare il modello selezionato per trovare i livelli dei fattori di interesse (ad esempio, si prevede che forniscano una risposta desiderata e una risposta indesiderata), quindi impostare alcune serie (5-6) e confrontare la risposta media delle nuove serie con quella prevista risposta media. Raccomando di utilizzare un test di equivalenza, non uno di differenza.
Questi dati, validati da soli, possono essere combinati con l'esperimento originale, se si vogliono migliorare le stime dei termini del modello.
