Sono stati condotti numerosi studi che dimostrano l’efficacia delle strategie nell’ottimizzazione dei processi. I confronti più comuni effettuati riguardano solitamente gli esperimenti "un fattore alla volta" o OFAT e l'approccio "progettazione di esperimenti". Di fronte a uno spazio di processo non familiare e ad alta dimensione (ad esempio > 10 fattori), i ricercatori spesso ricorrono ai metodi OFAT poiché sono facili da interpretare. In generale, sarebbe proibitivo in termini di costi e impegnativo dal punto di vista logistico condurre più esperimenti mirati allo stesso obiettivo solo per valutare quale strategia supera le altre. Per aggirare questi problemi, abbiamo utilizzato un simulatore di reazione a catena della polimerasi (PCR) con 12 fattori continui e categorici non familiari per esplorare queste domande.
Il nostro team proviene da decenni di esperienza nell'ottimizzazione dei processi nel settore dei materiali elettronici (ex dipendenti di Apple e altri). Abbiamo intenzionalmente cercato e selezionato un simulatore proveniente da un'area di ricerca a noi completamente sconosciuta che abbia la capacità di simulare un gran numero di fattori e le loro complesse interazioni su molte risposte. Per automatizzare la sperimentazione, abbiamo utilizzato uno script di automazione web Python. Utilizzando un simulatore e il nostro script, possiamo eseguire molti esperimenti imitando i vincoli della vita reale e i budget sperimentali visti nelle nostre carriere professionali. Pur rispettando le regole del budget, confrontiamo l'efficienza e l'accuratezza di cinque strategie; due strategie di tipo OFAT comunemente utilizzate nel settore e 3 strategie del genere DOE e DOE avanzato. JMP viene utilizzato per tutte le analisi sperimentali e la modellazione e viene fatto un tentativo oggettivo di confrontare le strategie.
