Perché includere le repliche nel DoE? (Confronto di progettazione)CIAO,
Ho capito il concetto di cosa dovrebbero fare le repliche di progetto (Aiuto con). Le repliche di esecuzione consentono di comprendere l'errore sperimentale generale (Rumore?).
Tuttavia, confrontando i progetti personalizzati generati con e senza repliche (mantenendo lo stesso numero totale di esecuzioni), si scopre che nella maggior parte dei casi (se non in tutti), il progetto senza repliche ha prestazioni migliori del progetto con repliche.
Ho creato due Design:
- Progetto 1 (Repliche)
- #3 Fattore, interazione del 2° ordine e quadratiche
- 13 corse totali
- 2 Repicates
- Design 2 (No Replicates)
- #3 Fattore, interazione del 2° ordine e quadratiche
- 13 corse totali
- 0 repliche
Confrontando i progetti, la valutazione indica quanto segue:
- Analisi di potenza: Progetto 2 > Progetto 1
- In grado di rilevare più facilmente le quadratiche
- Frazione dello spazio di progettazione: Progettazione 2 > Progettazione 1
- La varianza della previsione è inferiore nello spazio di progettazione
- Correlazioni: Design 2 > Design 1
- Fattore di correlazione inferiore
- Esiste una ragione quantificabile per scegliere un progetto con repliche rispetto a uno senza repliche (quando si limita il numero di tirature)?
Ovviamente, eseguire un numero di esecuzioni più elevato (Progetto 2 + repliche) porterebbe a un progetto migliore, ma se così fosse, perché non lascerei che JMP ottimizzasse nuovamente per il progetto migliore senza repliche con un numero di esecuzioni più elevato?
2. Il concetto di inclusione di repliche è un artefatto dei progetti classici, mentre la piattaforma di progettazione personalizzata più recente può generalmente fornire algoritmicamente un progetto migliorato?
Progettazione degli esperimentiFinestreRe: Perché includere le repliche in DoE? (Confronto di progettazione)Ciao @MetaLizard62080 ,
Chiaramente non sono sorpreso dalla situazione e dal paragone che stai mostrando. Cominciamo a spiegare perché:
Innanzitutto, è importante distinguere tra Replicate ed Esecuzioni di Replica . In JMP ci sono due opzioni:
- In un "disegno classico", JMP visualizza " Numero di repliche ", ovvero il numero di volte in cui eseguire ciascuna esecuzione (quindi il numero di volte in cui eseguire l'intero disegno, oltre alle esecuzioni/disegno originali). È disponibile anche questa opzione nella piattaforma "Augment": Replica un disegno
- In un "Progetto personalizzato" JMP visualizza " Numero di esecuzioni replicate ", ovvero il numero di esecuzioni da ripetere. Stai utilizzando questa opzione nel tuo post.
Quindi, per quanto riguarda le impostazioni, hai progetti con 3 fattori e un modello di Superficie di Risposta presunto (con tutti gli effetti principali, le interazioni e gli effetti quadratici). Per 3 fattori, ciò significa che devi stimare 10 termini: 1 intercetta, 3 effetti principali, 3 interazioni a due fattori e 3 effetti quadratici. Quindi, il progetto con un numero minimo di esecuzioni dovrebbe includere almeno 10 esecuzioni.
Con le 3 corse extra che hai, ci sono effettivamente 2 opzioni:
- Utilizzare queste esecuzioni come esecuzioni replicate, per migliorare la stima di alcuni effetti e avere la possibilità di eseguire un test di mancanza di adattamento .
- Lascia che il progetto personalizzato scelga quali altri fattori aggiungere al progetto, tra le 27 combinazioni uniche possibili; poiché si assume un modello RSM completo, ogni fattore può essere visto a 3 livelli, dando un numero di combinazioni di fattori uniche pari a 3^3 = 27.
L'opzione 1 consentirà di stimare alcuni effetti leggermente meglio rispetto all'assenza di repliche. Nel tuo progetto, le esecuzioni 2 e 5, e le esecuzioni 6 e 11 sono esecuzioni replicate. Se controlli il report di confronto dei progetti, puoi vedere che questa opzione di progetto 1 consente di avere un errore standard relativo leggermente inferiore nelle stime per gli effetti di interazione (quindi un'efficienza di stima relativa leggermente superiore a 1 per questi effetti). Inoltre, avrai accesso al test di mancanza di adattamento poiché disponi di esecuzioni replicate, che può aiutarti a valutare l'adeguatezza del tuo modello (tra le altre visualizzazioni come Effettivo per Previsto e analisi/visualizzazione dei residui).
L'opzione 2 consente di testare combinazioni di fattori diverse dalle 10 assolutamente necessarie per la stima degli effetti del modello. Ciò consente di ridurre le correlazioni tra i termini e di ottenere una migliore copertura dello spazio di progettazione, riducendo così la correlazione tra i termini ( mappa a colori sulle correlazioni ) e riducendo globalmente la previsione della varianza media.
Per quanto riguarda le tue domande, non esiste una risposta definitiva, poiché dipende dalle tue esigenze (e abitudini):
- Potresti sentirti più sicuro nell'includere esecuzioni replicate per poter eseguire il test di mancanza di adattamento e valutare l'adeguatezza del tuo modello, oppure includere esecuzioni replicate per stimare con maggiore precisione termini di effetto specifici. Nota per quest'ultimo punto che i progetti A-ottimali potrebbero essere un'opzione più adatta, definendo tramite i pesi dei parametri di A-ottimalità gli effetti che desideri stimare con maggiore precisione rispetto ad altri. Vedi Perché la potenza dei fattori quadratici nel DoE è così bassa per maggiori informazioni.
- Potresti voler ridurre il più possibile le correlazioni tra gli effetti per garantire una stima relativamente imparziale di tali effetti, quindi ha senso lasciare che il design personalizzato scelga quelli più rilevanti tra tutte le combinazioni possibili.
Per la tua seconda domanda, penso che dipenda dal tuo ambito di attività: alcuni domini utilizzano sempre esecuzioni replicate, o addirittura repliche, poiché la variabilità dei sistemi è molto elevata (ad esempio i sistemi biologici). Quindi dipende dal rapporto segnale/rumore previsto per le tue risposte. In alcuni settori, le esecuzioni replicate/replicate sono fortemente raccomandate o imposte per gli studi.
Ma da un punto di vista generale, il design personalizzato fornirà il design ottimale in base ai tuoi parametri, quindi se non hai forti incentivi a utilizzare esecuzioni replicate, lascerei che l'algoritmo scegliesse le esecuzioni più informative.
Spero che questa risposta ti sia d'aiuto,
Re: Perché includere le repliche in DoE? (Confronto di progettazione)Ho un paio di commenti che potresti voler ignorare. Innanzitutto, fai attenzione a non dare troppo peso alle statistiche di valutazione del progetto. Sono tutte a priori per una realtà potenzialmente sconosciuta. In secondo luogo, esiste più di un modo per eseguire le repliche. Se usi RCBD o BIB, puoi aumentare contemporaneamente lo spazio di inferenza migliorando la precisione del progetto.
Re: Perché includere le repliche in DoE? (Confronto di progettazione)Grazie per la risposta @Victor_G ,
Lavoro nell'area di sviluppo dei processi farmaceutici. Ho utilizzato con successo entrambi i tipi di progettazione (quelli in cui il modello fornisce risultati significativi che portano a miglioramenti di processo). Per questo motivo, non sono sicuro di quale sia l'approccio "migliore". La mia opinione personale è che se possiamo fidarci della valutazione della progettazione JMP, allora sono propenso a optare per l'opzione 2. @statman suggerisce (giustamente) che questa sia effettivamente un'ipotesi.
In generale, molti dei miei colleghi non sono affatto d'accordo con l'idea che sia possibile trarre conclusioni statistiche senza replicare le esecuzioni. Credo che ciò derivi dalla natura intuitiva di ciò che fornisce un'esecuzione replicata e dalla difficoltà con le idee astratte che JMP Custom Designer utilizza. Per essere chiari, nessuno di noi è uno statistico e abbiamo diversi livelli di comprensione degli approcci statistici (che vanno da un interesse significativo e un utilizzo intensivo a una generale paura/sfiducia nei confronti della statistica).
Per curiosità, alla fine della tua affermazione, suggerisci che l'opzione 2 sia la migliore. Perché la tua reazione istintiva/abitudine ti porta a propendere per questa direzione?
Re: Perché includere le repliche in DoE? (Confronto di progettazione)Ciao @MetaLizard62080 ,
Capisco perfettamente la tua situazione e mi sento anch'io in una situazione simile (anche per quanto riguarda il mio background, sono un ingegnere chimico).
Alcuni dei miei colleghi che creano e raccomandano progetti per i laboratori si sentono anche più sicuri nel raccomandare un progetto con repliche; in questo modo, si ottiene un modo semplice e molto visivo per valutare l'errore puro/la riproducibilità degli esperimenti.
Capisco le loro argomentazioni, ma non sono sicuro al 100% di questa situazione, perché anche se spiegassimo la logica alla base delle repliche, alcuni eseguono misurazioni ripetute invece di replicare le serie, per risparmiare tempo e perché pensano che replicare un esperimento sia uno spreco di tempo/materiali. Quindi, alla fine, ciò che potremmo visualizzare/analizzare non è l'errore puro/la riproducibilità totale dell'apparato sperimentale (con errore sperimentale + errore di misura), ma solo l'errore di misura, il che porta a una valutazione falsamente ottimistica dell'errore puro.
Nel caso di un design senza repliche (come il design 2 nel tuo caso), l'utilizzo di altre esecuzioni combinate per le esecuzioni aggiuntive consente di esplorare più combinazioni nello spazio di design, aumentare la potenza, ridurre la varianza di previsione nella maggior parte dello spazio di design e, se il budget sperimentale è sufficiente per l'argomento e il modello non è troppo complesso, queste esecuzioni aggiuntive consentiranno di stimare approssimativamente l'errore/la varianza. Per quanto riguarda la valutazione del modello, il mancato utilizzo di esecuzioni replicate o repliche impedirà di eseguire un test di mancanza di adattamento, ma ci sono sufficienti strumenti e visualizzazioni per valutare l'adeguatezza di un design. Inoltre, in alcuni casi di design (come il design di screening definitivo), le esecuzioni replicate non possono essere aggiunte, poiché potrebbero portare all'aggiunta di correlazioni tra termini (come effetti principali e interazioni) e alcuni metodi di analisi non saranno disponibili (come lo screening definitivo di adattamento) , poiché la struttura del design viene modificata.
Quindi, alla fine, è più una questione di ipotesi e abitudini, e di conoscenza del setup sperimentale e del sistema di misura. Tendo a preferire raccomandare un approccio sequenziale con progetti di Scoping (test preliminari) per valutare la variabilità, la curvatura e la riproducibilità del setup, prima di raccomandare un progetto che esplori a fondo l'argomento (nei limiti del budget sperimentale).
Non esiste una risposta "buona" su questo argomento, ma spero che questa risposta ti aiuti a determinare cosa è meglio per i tuoi casi d'uso.
