Se han realizado numerosos estudios que demuestran la eficacia de las estrategias en la optimización de procesos. Las comparaciones comunes que se hacen suelen ser entre los experimentos de "un factor a la vez" o OFAT y un enfoque de "diseño de experimentos". Cuando se enfrentan a un espacio de proceso desconocido y de alta dimensión (por ejemplo, >10 factores), los investigadores suelen recurrir a los métodos OFAT, ya que son fáciles de interpretar. En general, sería prohibitivo en términos de costos y logísticamente desafiante realizar múltiples experimentos orientados hacia el mismo objetivo solo para evaluar qué estrategia supera a otras. Para sortear estos problemas, utilizamos un simulador de reacción en cadena de la polimerasa (PCR) con 12 factores continuos y categóricos desconocidos para explorar estas preguntas.
Nuestro equipo proviene de décadas de experiencia en optimización de procesos en la industria de materiales electrónicos (antiguos empleados de Apple y otros). Buscamos y seleccionamos intencionalmente un simulador de un área de investigación completamente desconocida para nosotros que tenga la capacidad de simular una gran cantidad de factores y sus complejas interacciones en muchas respuestas. Para automatizar la experimentación, utilizamos un script de automatización web de Python. Al utilizar un simulador y nuestro guión, podemos realizar muchos experimentos mientras imitamos las limitaciones de la vida real y los presupuestos experimentales como se ven en nuestras propias carreras profesionales. Si bien nos atenemos a las reglas presupuestarias, comparamos la eficiencia y precisión de cinco estrategias; dos estrategias tipo OFAT comúnmente utilizadas en la industria y 3 estrategias del género DOE y DOE avanzado. JMP se utiliza para todos los análisis y modelos experimentales y se realiza un intento objetivo de comparar las estrategias.