Introducción
¡Bienvenidos al cierre de nuestra serie sobre el diseño de optimización de espacios! Tras establecer nuestro marco y metodología de evaluación en las publicaciones anteriores, presentamos ahora los resultados exhaustivos de nuestro estudio comparativo. Los hallazgos ofrecen una guía clara sobre cuándo y cómo seleccionar el diseño de optimización de espacios más adecuado para su aplicación específica.
Resumen de los principales hallazgos
Nuestro análisis, que abarca cuatro tipos de diseño, tres configuraciones de dimensionalidad y tres condiciones de tamaño de muestra por factor, revela varias ideas interesantes en términos de rendimiento del diseño y tiempo de cálculo.
Como se mencionóEn la publicación anterior de esta serieEl análisis de los resultados se realiza mediante dos metodologías diferentes: una clasificación de los tipos de diseño en función de diferentes configuraciones de dimensionalidad y tamaño de muestra (Figura 1), y un enfoque de modelado donde la discrepancia de respuestas, MaxPro y las respuestas de tiempo se modelan de acuerdo con los factores (Figura 2).
Figura 1: Resultados de la clasificación para todas las respuestas.
Figura 2: Perfilador de predicción e importancia de las variables para todas las respuestas.
Como era de esperar, no existe un diseño óptimo que optimice el espacio en todas las configuraciones probadas. El contexto determina la elección óptima y, en particular, la dimensionalidad y el número de puntos por factor influyen significativamente en el rendimiento del diseño, así como en el tiempo de cálculo necesario.
El llenado rápido y flexible es el mejor diseño para las propiedades de proyección (criterio MaxPro).
El diseño uniforme es el mejor por sus propiedades de cobertura espacial/uniformidad (criterio de discrepancia), pero el tiempo de generación necesario para calcularlo es el más alto y puede volverse prohibitivo rápidamente.
Curiosamente, el rendimiento del diseño depende en gran medida de las interacciones entre el tamaño de la muestra y la dimensionalidad, ya que el rendimiento relativo puede cambiar con el número total de ejecuciones para un número específico de factores.
Resultados de la clasificación de los tipos de diseño
Utilizando los guiones presentados en la segunda publicación de esta serie, las respuestas continuas se pueden transformar en clasificaciones, donde el rendimiento de los cuatro diseños para cada escenario de dimensionalidad y tamaño de muestra se califica de 1 (mejor diseño) a 4 (peor diseño).
- Comparación de la propiedad de cobertura espacial (discrepancia):
- Los diseños uniformes muestran el mejor rendimiento de cobertura espacial en todas las configuraciones de dimensionalidad y tamaño de muestra. No es sorprendente, dado que los diseños uniformes tienden a distribuir los puntos para seguir una distribución uniforme lo más cerca posible.como se vio en la primera publicación de esta seriePor lo tanto, se espera que su desempeño en lo que respecta a la métrica de discrepancia sea bueno.
- Los diseños de hipercubo latino, que distribuyen los puntos imitando una distribución uniforme, ocupan el segundo lugar por su buen rendimiento en la cobertura del espacio.
- Finalmente, los diseños rápidos y flexibles, que equilibran la cobertura del espacio y las propiedades de proyección, y los diseños de empaquetamiento de esferas, que distribuyen los puntos tanto como sea posible dentro de la región de diseño, se encuentran en tercer y último lugar, respectivamente (Figura 3).
Figura 3: Clasificación de discrepancias de los diseños para todas las configuraciones de prueba de dimensionalidad y tamaño de muestra (cuanto menor sea el valor, mejor).
- Comparación de la propiedad de proyección (MaxPro):
- Los diseños de llenado rápidos y flexibles ofrecen el mejor rendimiento de proyección para cualquier situación.
- Para tamaños de muestra medianos (20 ensayos por factor) y grandes (100 ensayos por factor), los diseños uniformes muestran un mejor rendimiento que los diseños de hipercubo latino.
- Los diseños de empaquetamiento de esferas tienen una estadística MaxPro indefinida porque los puntos pueden tener valores idénticos para una dimensión, por lo que no aparecen en las clasificaciones (Figura 4).
Figura 4: Clasificación MaxPro de los diseños para todas las configuraciones de prueba de dimensionalidad y tamaño de muestra (cuanto menor sea el valor, mejor).
- Comparación de la generación en tiempo de diseño:
- Los diseños de hipercubo latino muestran el tiempo de generación de diseño más rápido en casi todas las configuraciones de dimensionalidad y tamaño de muestra.
- Para tamaños de muestra medios (20 ensayos por factor) a grandes (cientos de ensayos por factor), el diseño rápido y flexible también es una opción muy competitiva por su velocidad de generación de diseños.
- Los diseños de empaquetamiento de esferas generalmente son más lentos de calcular, y los diseños uniformes son los más lentos de calcular (Figura 5).
Figura 5: Clasificación del tiempo de generación de diseños para todas las configuraciones de prueba de dimensionalidad y tamaño de muestra (cuanto menor sea el valor, mejor).
Resultados del modelado
Utilizando el script del modelo modificado presentado en la segunda publicación de esta serie, los modelos se ejecutan sobre las tres respuestas: discrepancia, MaxPro y tiempo. Para cada una de estas respuestas, podemos observar que el ajuste del modelo no parece adecuado (Figura 6).
Figura 6: Gráfico de valores reales frente a valores predichos para el modelo de discrepancia de respuesta inicial.
Además, en los residuos se puede observar un patrón no normal y no aleatorio (Figura 7).
Figura 7: Visualizaciones de residuos que muestran patrones no aleatorios y no normales.
Se supone que los valores residuales se distribuyen aleatoriamente alrededor de cero, de modo que la variación de la respuesta se explique completamente por los efectos incluidos en el modelo. Si existe un patrón no aleatorio, la naturaleza de este puede indicar posibles problemas con el modelo. En este caso, un efecto de curvatura, la falta de normalidad de los residuos y la heterocedasticidad (varianza no homogénea) pueden indicar que se recomienda una transformación de datos para abordar estos problemas. Dado que los datos abarcan un rango de escala muy diferente (Figura 8), una transformación logarítmica (o una transformación de Box-Cox con λ=0) parece apropiada.
Figura 8: Resultados de una distribución lognormal ajustada a la respuesta de discrepancia.
Esta evaluación se confirma con la evaluación de la transformación de Box-Cox proporcionada por JMP, que muestra un valor recomendado para λ muy cercano a 0 (Figura 9).
Figura 9: Resultado del panel de transformaciones de Box-Cox para la respuesta de discrepancia.
Debajo del triángulo rojo de Transformaciones de Box-Cox (disponible en el triángulo rojo junto a Respuesta […] en Perfilado de factores > Transformación de Box-Cox Y ), seleccionamos Reemplazar con Transformación y un valor lambda de 0 para reemplazar automáticamente el ajuste del modelo por uno al que se le haya aplicado la transformación logarítmica a nuestros datos. Los modelos ahora parecen adecuados para analizar los datos de los experimentos.
- Resultados del modelado de la respuesta a la discrepancia:La mayor parte de la variación en la respuesta de discrepancia se explica por la relación factor/exp y el tipo de diseño. La dimensionalidad (número de factores) también es un factor importante, pero con una importancia relativamente menor que los dos factores mencionados anteriormente (Figura 2). Se detectan efectos de interacción, pero su impacto en la variación de la discrepancia es relativamente bajo en comparación con los efectos principales. Se detecta un efecto cuadrático muy importante para la relación factor/exp (Figura 10).
Figura 10: Gráfico del tamaño del efecto para la respuesta de discrepancia.
El impacto de la elección del tipo de diseño en el valor de la discrepancia se puede visualizar simplemente mostrando el valor de la discrepancia medido por la relación exp/factores para cada escenario de número de factores analizado en el DOE (Figura 14).
- Resultados del modelado de la respuesta de MaxPro:La mayor parte de la variación en la respuesta de MaxPro se explica por la relación factor/exp y el tipo de diseño. La dimensionalidad (número de factores) también es un factor importante, pero con una importancia relativamente menor que los dos factores mencionados anteriormente (Figura 2). El modelo detecta efectos de interacción moderados que involucran a los tres factores. Se detecta un efecto cuadrático muy importante para la relación factor/exp (Figura 11).
Figura 11: Gráfico del tamaño del efecto para la respuesta de MaxPro.
El impacto de la elección del tipo de diseño en la métrica MaxPro se puede visualizar simplemente mostrando el valor MaxPro medido por la relación exp/factores para cada número de escenarios de factores analizados en el DOE (Figura 14).
- Resultados de la modelización del tiempo de generación del diseño:Los tres factores (tipo de diseño, número de factores y relación exp/factores) tienen una importancia similar y elevada en la respuesta del tiempo de generación del diseño (Figura 2). Se detectan interacciones importantes entre los tres factores, lo que demuestra cómo la diferencia en el tipo de método de generación de puntos puede afectar el tiempo de generación del diseño (Figura 12). El diseño de hipercubo latino parece estar especialmente adaptado a escenarios de alta dimensionalidad y gran tamaño de muestra (número de puntos por factor), mientras que los diseños uniformes podrían ser más adecuados para escenarios de baja dimensionalidad y pequeño tamaño de muestra.
Figura 12: Gráfico del tamaño del efecto para la respuesta temporal.
El impacto de la elección del tipo de diseño en el tiempo de generación del diseño se puede visualizar simplemente mostrando el tiempo de generación del diseño medido por la relación exp/factores para cada escenario de número de factores analizado en el DOE (Figura 13).
Figura 13: Evolución del tiempo de generación del diseño en función de los factores tipo de diseño, número de factores y relación exp/factores.
Ideas clave
Las fortalezas específicas del diseño se hacen más evidentes con tamaños de muestra mayores. A medida que aumenta el tamaño de la muestra, se presentan menos brechas en las distribuciones de cada factor, lo que reduce la discrepancia. Sin embargo, a medida que aumenta el número de puntos, las distancias entre ellos se reducen, lo que incrementa el valor del criterio MaxPro. Curiosamente, existe un compromiso entre la discrepancia y el criterio MaxPro, dependiendo del número de ejecuciones por factor. Este compromiso se observa claramente en el rango entre 60 y 80, donde se debe priorizar el criterio de rendimiento del diseño entre la discrepancia y las métricas MaxPro (Figura 14).
En el caso de la modelización MaxPro, se puede observar un cambio con respecto al rendimiento de los diseños de hipercubo latino y de llenado flexible rápido en relación con la dimensionalidad (número de factores): cuando la proporción de experimentos por factor ronda los 70, ambos diseños presentan valores MaxPro que aumentan con el número de factores.
Figura 14: Evolución de la discrepancia y los valores de MaxPro en función de los factores de diseño.
Los diseños uniformes resultan computacionalmente prohibitivos para dimensionalidades altas o muestras de gran tamaño. La relación rendimiento-velocidad favorece distintos diseños según el escenario. Para resumir las ventajas y desventajas de cada diseño, se incluye una tabla con los resultados (Tabla 1).
Directrices prácticas de selección/Marco de decisión
Paso 1: Evalúe su contexto experimental.
- Dimensionalidad del espacio factorial (número y tipo de factores)
- Características de respuesta esperadas (nivel de ruido)
- Restricciones en el tamaño de la muestra
- Recursos computacionales disponibles
Paso 2: Aplicar las reglas de selección
- Alta dimensionalidad:Evite los diseños uniformes
- Tipos de factores mixtos y/o presencia de restricciones:Utilice diseños de llenado rápidos y flexibles.
- Respuesta ruidosa:Se recomienda priorizar los diseños de empaquetamiento de esferas o utilizar primero un diseño de experimentos (DOE) basado en modelos o de selección.
- Tamaño de muestra pequeño: CrearDiseños de hipercubo uniformes o latinos
- Se necesita un tiempo de generación de diseño rápido: GenerarHipercubo latino o diseños de llenado rápido y flexible
Resumen: Comparación de diseños que aprovechan el espacio
Tabla 1: Resumen de resultados por tipo de diseño de relleno de espacio.
Tenga en cuenta que un tratamiento del diseño factorial completo (diseño uniforme con nueve factores y 100 ensayos por factor) no se pudo realizar debido al alto tiempo de cálculo (Figura 15):
Figura 15: Mensaje de JMP mostrado para el diseño uniforme combinado, compuesto por nueve factores y 100 ejecuciones por factor.
Este cálculo de diseño se interrumpió antes de completarse para esta configuración. Aun si este experimento no estuviera incluido en el diseño factorial completo, el análisis podría realizarse sin problemas.
Limitaciones y direcciones futuras
Limitaciones del estudio
- Las limitaciones computacionales restringieron las pruebas de mayor dimensión.
- Céntrese en factores continuos sin restricciones para permitir la prueba de varios tipos de diseño.
Investigación futura
- Integración con estrategias de aprendizaje activo (optimización bayesiana)
- Comparación del rendimiento con diferentes modelos de aprendizaje automático
- Robustez/sensibilidad al ruido en la respuesta
Conclusiones y recomendaciones
Nuestra evaluación exhaustiva proporciona pruebas claras de que la selección del diseño de relleno de espacio debe basarse en características experimentales específicas en lugar de opciones predeterminadas.
Conclusiones clave
- No existe un ganador universal; el contexto determina la elección óptima.
- La dimensionalidad es crucial.
- El diseño de llenado rápido y flexible es el mejor diseño para las propiedades de proyección (criterio MaxPro).
- El tipo de respuesta es importante; las superficies lisas y las complejas requieren enfoques diferentes.
- Interacciones del tamaño de la muestra; cambios en el rendimiento relativo con las ejecuciones disponibles.
Recomendación final:Utilice nuestro marco de decisión como punto de partida, pero siempre que sea posible, valide la elección del diseño con estudios piloto.
Con esto finaliza nuestra serie de tres partes sobre diseños de experimentos que llenan el espacio:
- Introducción a los tipos comunes de diseños que llenan el espacio
- Marco comparativo y métricas de evaluación
- Resultados, análisis y directrices para la selección del diseño(esta publicación)
¡Gracias por seguir esta serie! Espero que estas ideas les ayuden a tomar decisiones más acertadas sobre el diseño de espacios en sus propios proyectos.
Recursos y lecturas adicionales
- Configuración utilizada para el estudio:
- Procesador: Intel(R) Core(TM) i9-11900H de 11.ª generación a 2,50 GHz (2,50 GHz)
- Memoria RAM instalada: 64,0 GB (63,7 GB utilizables)
- Tipo de sistema: Sistema operativo de 64 bits, procesador x64
- Scripts de JMP para la generación y evaluación de diseños.
- Tablas de resultados ampliadas y visualizaciones
- Referencias:
- “ Diseño de experimentos y aprendizaje automático para la innovación de productos: una revisión sistemática de la literatura ”, por Rosa Arboretti, Riccardo Ceccato, Luca Pegoraro, Luigi Salmaso,https://doi.org/10.1002/qre.3025
- “ Elección de diseño y desempeño del modelo de aprendizaje automático ”, por Rosa Arboretti, Riccardo Ceccato, Luca Pegoraro, Luigi Salmaso,https://doi.org/10.1002/qre.3123
- “ Diseños que llenan el espacio para experimentos informáticos: una revisión ”, por Joseph VR, Qual Eng. 2016; 28: 28-35.https://doi.org/10.1080/08982112.2015.1100447
- Portal de conocimiento estadístico:Supuestos del modelo de regresión | Introducción a la estadística | JMP
Hola @Victor_G ,
Gracias por sus artículos; fueron realmente útiles.
Tengo una pregunta relacionada con la selección entre el diseño de hipercubo latino y el diseño rápido y flexible para simulación por computadora.
Considere los factores siguientes:
A: rango: 0-1 (valores continuos)
B: rango: 1-100 (todos los valores enteros dentro del rango)
C: rango: 1-5 (todos los valores enteros dentro del rango)
Pregunta: JMP recomienda usar el diseño FFF para factores discretos. Sin embargo, los factores B y C son técnicamente discretos, pero todos los puntos enteros deberían estar en ese rango (1, 2, 3, 4,..., 100). Simplemente no quiero que tomen valores decimales para la simulación. ¿Qué diseño debería usar?
JMP ofrece una opción para configurar la anchura de los valores de los factores, lo que me permite eliminar el decimal en el hipercubo latino. No estoy seguro de si esto afecta al análisis.
¿Puedo tratar los factores como continuos en LHD y ajustar el ancho, o usar algún tipo de redondeo para obtener valores enteros?
La documentación JMP proporcionada para el hipercubo latino considera una entrada continua, pero la tabla de diseño final tiene valores enteros.
https://www.jmp.com/support/help/es/19.0/index.shtml#page/jmp/ejemplo-de-creacion-de-un-diseño-de-hipercubo-latino.shtml#
Hola @Divya123rama ,
Gracias por tu amable comentario.
Respecto a tu pregunta, aquí están mis pensamientos:
Como ya habrá leído en la primera parte de esta serie de blogs "Explorando diseños de relleno de espacio, parte 1: Introducción a los tipos comunes de relleno de espacio..." - Comunidad de usuarios de JMP , los diseños de hipercubo latino crean un número de contenedores igual al número de ejecuciones deseadas en el diseño final. Dependiendo del número de ejecuciones deseadas en el diseño final, esto afectará el número de contenedores para los factores y el grado en que el redondeo de los valores pueda afectar al diseño. En el ejemplo que muestra de la Ayuda de JMP, el diseño incluye 8 ejecuciones para factores del 1 al 8, por lo que el hipercubo latino crea contenedores de ancho 1, de modo que cada uno de los 8 contenedores se utiliza en el diseño. Cuando el rango de factores es igual al número de ejecuciones, los contenedores se convierten en valores enteros discretos.
En su caso, tiene dos rangos de factores muy diferentes: normalmente, para el factor con un rango discreto pequeño (1-5), el número de intervalos siempre puede ser mayor que el número de valores posibles para elegir dentro de ese rango (5). Por lo tanto, usaría un factor numérico discreto para este caso, ya que podría generar muchos valores repetidos al redondear los valores en el diseño, lo que podría afectar la cobertura y la proyección del diseño.
Ejemplo con diseño de hipercubo latino con 30 ejecuciones y solo factores continuos (B y C se redondean después de la generación del diseño para tener solo valores enteros):
Ejemplo con diseño de llenado rápido y flexible con 30 ejecuciones, factores continuos A y B (B se redondea hacia arriba después de la generación del diseño) y C es numérico discreto:
Ejemplo con diseño de llenado rápido flexible con 30 ejecuciones, A continua, B y C numérica discreta:
Parece que la distribución de las ejecuciones entre la segunda y la tercera situación es bastante similar, y ambas utilizan el diseño de llenado rápido y flexible debido a la presencia de al menos un factor numérico discreto. La primera situación se obtiene forzando una generación de LHD con solo factores continuos, antes de redondearlos. Esta situación no parece óptima, ya que la distribución de puntos parece agrupada, con huecos en el borde del espacio experimental.
Recomendaría utilizar el diseño de relleno flexible rápido en este caso, ya sea con la opción 2 o 3.
Espero que esta respuesta te ayude.
Víctor, tu serie de 3 partes sobre diseños que llenan el espacio fue clara y útil.
Para muchas aplicaciones, un diseño FFF con análisis progresivo de los datos de respuesta con métodos ML, como los modelos de conjuntos autovalidados, parece una excelente opción para procesos con superficies de respuesta que se sabe o se espera que sean complejas.
Una ventaja significativa de los diseños de relleno de espacio es que se reduce la necesidad de probar el modelo predictivo debido a los espacios vacíos relativamente pequeños en el espacio de diseño. Los espacios vacíos en el diseño CCD u óptimo típico se asemejan a un Rub' Al Khali en comparación con los espacios vacíos en un diseño de relleno de espacio. Esta ventaja se traduce en un flujo de trabajo de DOE más sencillo y una mejor economía de DOE.
¡Gracias!
Stephen Czupryna, Instituto Pyzdek, Prescott Valley, AZ, EE. UU.
Hola @SteveCz ,
¡Muchas gracias por tus amables comentarios y retroalimentación!
Estoy de acuerdo, los diseños de llenado rápido y flexible son excelentes opciones, con buenos desempeños de proyección y discrepancia, una gran variedad de aplicaciones debido al manejo de varios tipos de factores y restricciones, y un bajo tiempo de generación computacional.
Sí, con diseños de relleno de espacio y modelado de aprendizaje automático, se busca un modelo capaz de interpolar fluidamente (según el algoritmo elegido y el supuesto de comportamiento de respuesta) entre los puntos de diseño. Para validar la relevancia y la utilidad del modelo ajustado, se pueden utilizar métodos de validación específicos como "Leave One Out" y modelos de conjunto autovalidados. Para algunos modelos simples, como bosques aleatorios y máquinas de vectores de soporte, también se pueden comprobar los valores de algunos hiperparámetros clave (profundidad de árbol para RF, penalización y curvatura para SVM) para prevenir y evaluar el riesgo de sobreajuste y seleccionar los valores de hiperparámetros relevantes.
Por último, nada supera las ejecuciones de validación, siempre es una buena idea confirmar la validez del modelo ejecutando nuevos experimentos en ubicaciones interesantes (mejores/peores resultados, área con mayor distancia a los puntos de diseño, etc.)
Mejor,
