Introducción
¡Bienvenidos de nuevo a nuestra serie sobre el aprovechamiento del espacio mediante el diseño de soluciones de optimización de espacios! En la primera parte, exploramos los fundamentos y los tipos más comunes de estos diseños. Ahora, nos adentramos en el núcleo de nuestro estudio comparativo: establecer un marco sólido para evaluar y comparar estos diseños en diferentes escenarios.
Marco de estudio comparativo
Para evaluar de forma justa los diseños que aprovechan el espacio, necesitamos condiciones estandarizadas y métricas significativas. Nuestro enfoque evalúa los diseños en múltiples dimensiones de rendimiento.
- Respuestas
Respuesta de uniformidad/métrica de cobertura espacial
- Discrepancia: Se utiliza para medir la desviación de la distribución uniforme teórica. El objetivo es minimizar la diferencia entre la distribución generada por el diseño y una distribución uniforme para cada factor. La respuesta de discrepancia permite evaluar la cobertura espacial y la uniformidad de la distribución de los puntos de diseño: cuanto menor sea la discrepancia, más uniforme será la distribución de los puntos de diseño (y mejor será la cobertura del espacio experimental).
Una vez introducidos los factores en la plataforma Space Filling y seleccionado el tipo de diseño, el valor de la discrepancia se puede consultar en el panel Design Diagnostics (Figura 1).
Figura 1: Panel de diseño de llenado de espacio. Diagnóstico de diseño de un diseño de llenado rápido y flexible para dos factores con 20 ejecuciones. Los valores de discrepancia (rojo) y MaxPro (azul) se muestran después de la generación del diseño en el panel de Diagnóstico de diseño .
Para comprender mejor el valor de la discrepancia y cómo se relaciona con las distancias entre los puntos de diseño, comparemos dos diseños de llenado de espacio (hipercubo latino y llenado flexible rápido) creados para seis factores con 60 ejecuciones cada uno (Figura 2).
Figura 2: Visualización de la distancia mínima entre puntos para un llenado rápido y flexible y un diseño de hipercubo latino.
Si comparamos la distancia mínima entre puntos para ambos diseños, podemos observar claramente que el diseño de hipercubo latino proporciona una distribución de valores muy estrecha para dicha distancia. Este comportamiento demuestra la mayor discrepancia del diseño de hipercubo latino con respecto al diseño de llenado flexible rápido para esta dimensionalidad y número de puntos específicos, donde los puntos de diseño se distribuyen uniformemente, lo que resulta en una distancia mínima estable entre ellos.
Respuesta de la propiedad de proyección
- MaxPro: Evalúa las propiedades de llenado del espacio en proyecciones a todos los subconjuntos posibles de factores. El objetivo es minimizar el criterio MaxPro para asegurar que las distancias entre puntos sean máximas en todas las dimensiones, garantizando así buenas proyecciones de los puntos de diseño en espacios de menor dimensión. Por lo tanto, la única forma de minimizar este criterio con éxito es asegurar que no haya dos puntos con valores de coordenadas similares en ninguna dimensión.
Una vez introducidos los factores en la plataforma Space Filling y seleccionado el tipo de diseño, el valor MaxPro se puede encontrar en el panel de Diagnóstico de diseño (Figura 1).
La estadística MaxPro no está definida para el diseño de empaquetamiento de esferas porque los puntos pueden tener valores idénticos para una dimensión.
Para comprender mejor el valor de MaxPro y cómo se relaciona con la propiedad de proyección de los diseños, comparemos dos diseños de llenado de espacio (hipercubo latino y llenado flexible rápido) creados para seis factores con 60 ejecuciones cada uno.
Si proyectamos los puntos de diseño de estos dos diseños que llenan el espacio en dos dimensiones, podemos comparar las diferencias en la proyección (Figura 3).
Figura 3: Visualización de la propiedad de proyección de dos diseños de llenado de espacio con seis factores y 60 ejecuciones. Nótese cómo los enlaces de Waern conectan todos los puntos de diseño en el escenario del hipercubo latino en función de sus proximidades reales, pero no en el diseño de llenado rápido y flexible.
En el diseño de hipercubo latino de la izquierda, las distancias entre los puntos de diseño son homogéneas y pequeñas. Esta distancia reducida y homogénea disminuye la dispersión de los puntos en todas las proyecciones, lo que aumenta el valor del criterio MaxPro. En el diseño de llenado rápido y flexible de la derecha, las distancias entre los puntos de diseño son heterogéneas y mayores, lo que implica un menor riesgo de que estos puntos colapsen al proyectarse en menos dimensiones.
Al considerar diferentes tamaños de muestra, la discrepancia y los valores de MaxPro presentan una fuerte correlación negativa. Un diseño con una discrepancia muy baja puede mostrar un valor de MaxPro alto: debido al gran tamaño de la muestra, las distancias entre los puntos de diseño son pequeñas, lo que aumenta el riesgo de que estos puntos se encuentren cerca unos de otros en un espacio de menor dimensión. Por lo tanto, los criterios de discrepancia y MaxPro se utilizan principalmente para comparar diferentes diseños con el mismo tamaño de muestra.
Complejidad de la generación del diseño
- Tiempo HP():La función HP Time() devuelve un valor de tiempo de alta precisión en microsegundos. Dado que esta función solo es útil cuando se usa en relación con otro valor de HP Time(), se incluye en el script de generación del diseño. El ejemplo que se muestra aquí crea un diseño de empaquetamiento de esferas con 60 ejecuciones para tres factores, y el registro y la visualización del tiempo de generación son el resultado de las dos funciones HP Time():
t1 = HP Time();
DOE(
Space Filling Design,
{Add Response( Maximize, "Y", ., ., . ),
Add Factor( Continuous, -1, 1, "X1", 0 ),
Add Factor( Continuous, -1, 1, "X2", 0 ),
Add Factor( Continuous, -1, 1, "X3", 0 ),
Set Random Seed( 138892707 ),
Space Filling Design Type( Sphere Packing, 60 ), Simulate Responses( 0 ),
Set Run Order( Randomize ), Make Table}
);
t2 = HP Time();
Show( t2 - t1 ); The generation time (t2-t1) can be seen in the log (Figure 4).
Figura 4: Resultado del registro del script con la visualización del tiempo de generación.
A transformed response column Time (s) is used for the response, as the units (seconds) are much more understandable and comparable between designs and enable the design generation time to be assessed more easily. The column Time (s) is created with the following formula:
Time (s) = HP Time (µs) / 1000000
- Factores
Dado que queremos abarcar las mayores diferencias en las generaciones de diseños que llenan el espacio, necesitamos especificar diferentes factores que ayudarán a crear diseños diversos en términos de métodos de generación de diseño, dimensionalidad y densidad de puntos.
- Tipo de diseño:Como ya se vio en la primera publicación de esta serie , existen diferentes métodos de generación de diseños para rellenar espacios, con distintos énfasis distribucionales o geométricos según los casos de uso y los beneficios que ofrecen. En el contexto de este estudio, exploramos los métodos más comunes para generar diseños que rellenan espacios, utilizando diseños uniformes , de empaquetamiento de esferas , hipercubos latinos y diseños de relleno flexible rápido .
- Dimensionalidad (número de factores):A medida que aumenta la dimensionalidad (número de factores), el rendimiento de los diseños de relleno de espacio puede disminuir, ya que se vuelve más complejo y requiere más tiempo mantener una distribución uniforme para cada factor y buenas propiedades de proyección. Para estudiar el impacto de la dimensionalidad en las diferentes respuestas enumeradas, estudiamos el aspecto de la dimensionalidad a través de tres niveles:
- De baja dimensiónTres factores
- De dimensión media: Seis factores
- Alta dimensiónNueve factores
- Variaciones en el tamaño de la muestra (número de ensayos/factores):Por defecto, JMP proporciona una proporción predeterminada de ejecuciones por factor igual a 10, lo que permite un buen rendimiento del diseño y facilita el modelado. Sin embargo, dependiendo del presupuesto experimental asignado, el rendimiento de los diseños de llenado de espacio puede variar considerablemente, ya que puede resultar complejo mantener una distribución uniforme para cada factor o buenas propiedades de proyección para un número reducido de puntos de diseño. Para tener en cuenta este factor, probamos varios tamaños de muestra:
- Pequeño: Tres puntos de diseño por factor, una situación similar a la que se puede obtener con los diseños compuestos centrales clásicos (CCD), donde la distribución de los puntos se realiza de manera que cada factor se pruebe en sus valores mínimo, medio y máximo.
- Medio: Veinte puntos de diseño por factor, cerca de la proporción predeterminada de JMP de 10 puntos de diseño por factor.
- Grande: Cien puntos de diseño por factor, lo que corresponde a la necesidad de construir modelos altamente predictivos, gracias a una alta densidad de puntos en el espacio de diseño.
- Procedimiento experimental: Elección del diseño
Queremos utilizar un diseño muy simple que permita comparar fácilmente los diferentes niveles de los factores. Además, como la semilla de generación del diseño no es fija, queremos estimar la variabilidad del algoritmo y separar esta variabilidad aleatoria de cualquier efecto de los factores. Asimismo, algunas combinaciones podrían ser difíciles de implementar para ciertas configuraciones de diseño, por lo que buscamos un diseño que permita un análisis robusto incluso en presencia de posibles valores atípicos o valores faltantes.
Por todas estas razones, se elige un diseño factorial completo. Para crear un diseño factorial completo en JMP, el proceso es sencillo: en el menú DOE, seleccione Clásico y luego Diseño factorial completo (Figura 5).
Figura 5: Menú DOE para crear un diseño factorial completo.
Siguiendo las respuestas y la definición de factores que se enumeraron anteriormente, podemos crear nuestro diseño para evaluar y comparar diferentes configuraciones de llenado de espacio (Figura 6).
Figura 6: Creación de un diseño factorial completo para evaluar y comparar diferentes escenarios de llenado de espacio.
Dado que un diseño factorial completo puede realizar todas las combinaciones posibles de niveles de factores, se necesitan 36 ensayos (4x3x3).El script para generar el diseño factorial completo es:
DOE(
Full Factorial Design,
{Add Response( Minimize, "Discrepancy", ., ., . ),
Add Response( Minimize, "MaxPro", ., ., . ),
Add Response( Minimize, "Time", ., ., ., ., ., "s" ),
Add Factor(
Categorical,
{"Fast Flexible", "Uniform", "Sphere Packing", "Latin Hypercube"},
"Type",
0
), Add Factor( Continuous, {3, 6, 9}, "Factors", 0 ),
Add Factor( Continuous, {3, 20, 100}, "Ratio exp/factors", 0 ),
Set Random Seed( 31068506 ), Make Design, Simulate Responses( 0 ),
Set Run Order( Randomize ), Make Table}
);
La tabla de datos obtenida con este script se puede ver en la Figura 7.
Figura 7: Tabla de diseño factorial completo
Evaluación de respuesta
Para cada fila del diseño, se crea un diseño de relleno de espacio con los valores de parámetros correspondientes especificados: número de factores continuos, número de puntos por factor y tipo de diseño. Se registran los valores de discrepancia y de la métrica MaxPro para todas las configuraciones de diseño.
Marco de análisis
Para analizar los resultados de este estudio exhaustivo sobre diseños que aprovechan el espacio, se consideran dos enfoques:
-
Enfoque de análisis de clasificaciónPara simplificar la comparación del rendimiento del diseño de tipo llenado de espacio en diferentes configuraciones (dimensionalidad y tamaño de la muestra) para las tres respuestas, se realiza una clasificación, del 1 (mejor diseño) al 4 (peor diseño).
Para respuestas donde el objetivo es minimizar el valor, como la discrepancia y el tiempo, el script utilizado involucra la función Col Rank, que devuelve el rango que va desde 1 como el más bajo. El <
- Fórmula para la clasificación de discrepancias:
Col Rank( :Discrepancy, :Factors, :"Ratio exp/factors"n, <
<TIE></TIE> <CODE class=" language-jsl">
<SPAN>Fórmula para la clasificación por tiempo:<BR /></SPAN> <CODE class=" language-jsl">Col Rank( :Time, :Factors, :"Ratio exp/factors"n, <
<TIE></TIE> <SPAN><BR /></SPAN><SPAN>Fórmula para la clasificación MaxPro:</SPAN><SPAN><BR /></SPAN> <CODE class=" language-jsl">Col Rank( :MaxPro, :Factors, :"Ratio exp/factors"n, <
<TIE></TIE>
<CODE class=" language-jsl"><CODE class=" language-jsl">
<CODE class=" language-jsl"><CODE class=" language-jsl">
<CODE class=" language-jsl"><CODE class=" language-jsl">
<UL>
<LI><STRONG><SPAN>Enfoque de modelado</SPAN></STRONG><SPAN><SPAN>El enfoque de modelado se realiza mediante el script adjunto a la tabla de datos tras la generación del diseño. Dado que el diseño del estudio es un diseño factorial completo, el modelo a priori predeterminado especificado en este script incluye todos los efectos principales (tipo de diseño, número de factores y proporción de experimentos por factor) y todas las interacciones de dos factores (Figura 8).<BR /><BR /></SPAN></SPAN><SPAN class="lia-inline-image-display-wrapper lia-image-align-inline" image-alt="FitModel1.svg" style="width: 888px;"><SPAN class="lia-inline-image-display-wrapper" image-alt="FitModel1.svg" style="width: 888px;"><span class="lia-inline-image-display-wrapper" image-alt="FitModel1.svg" style="width: 888px;"><img src="https://us.v-cdn.net/6038925/uploads/images/86065i17D7A66B8EE3BEA4/FitModel1.svg" width="888" height="499" role="button" title="FitModel1.svg" alt="FitModel1.svg" /></span></SPAN></SPAN><BR /><EM style="font-size: 1em;">Figura 8: Lanzamiento del modelo de ajuste predeterminado.</EM><EM style="font-size: 1em;">La opción <STRONG>Ajustar por separado</STRONG> está marcada para ajustar modelos separados para cada variable de respuesta.</EM><BR /><EM style="font-size: 1em;"><EM style="font-size: 1em;"><BR /></EM></EM> <P><SPAN>Dado que se utilizan tres niveles para los factores continuos, el script de modelado se modifica para tener en cuenta los efectos de curvatura debidos a los efectos cuadráticos de los factores continuos (Figura 9).<BR /></SPAN></P> <SPAN class="lia-inline-image-display-wrapper lia-image-align-inline" image-alt="FitModel2.svg" style="width: 889px;"><SPAN class="lia-inline-image-display-wrapper" image-alt="FitModel2.svg" style="width: 889px;"><span class="lia-inline-image-display-wrapper" image-alt="FitModel2.svg" style="width: 889px;"><img src="https://us.v-cdn.net/6038925/uploads/images/86066i67BC3913B034FFA6/FitModel2.svg" width="889" height="500" role="button" title="FitModel2.svg" alt="FitModel2.svg" /></span></SPAN></SPAN><EM style="font-size: 1em;"><EM style="font-size: 1em;">Figura 9: Lanzamiento del modelo de ajuste modificado. El script del modelo se modifica añadiendo efectos cuadráticos para los factores continuos. Seleccione los dos factores continuos y, a continuación, haga clic en <STRONG>Macros</STRONG> > <STRONG>Polinomio a grado</STRONG> para añadir los dos efectos cuadráticos.<BR /><BR /></EM></EM> <P><SPAN>El modelo utilizado para analizar las respuestas de rendimiento de los diseños que llenan el espacio incluye efectos principales, interacciones de dos factores y efectos cuadráticos para los factores continuos.</SPAN></P> </LI>
</UL> <BR /> <H2 style="font-weight: 400;" id="toc-hId-227218614" id="toc-hId-227305846" id="toc-hId-227305846"><STRONG>Próximamente</STRONG></H2> <P><SPAN>En nuestra última publicación, revelamos los resultados de esta exhaustiva comparación. Mostramos qué diseños que llenan el espacio destacan en diferentes escenarios y proporcionamos pautas prácticas para la selección de diseños en función de los objetivos y las limitaciones experimentales.</SPAN></P> <P><EM><SPAN>Esta es la segunda parte de una serie de tres partes sobre diseños de experimentos que llenan el espacio:</SPAN></EM></P>
<OL>
<LI><SPAN><A href="https://community.jmp.com/t5/JMP-Blog/Part1-Introduction-to-common-types-of-space-filling-designs/ba-p/906541" target="_blank">Introducción a los tipos comunes de diseños que llenan el espacio</A>. </SPAN></LI>
<LI><STRONG><SPAN>Marco comparativo y métricas de evaluación</SPAN></STRONG><SPAN>(esta publicación).</SPAN></LI>
<LI><A href="https://community.jmp.com/t5/JMP-Blog/Exploring-space-filling-designs-part-3-Results-analysis-and/ba-p/915402" target="_self"><EM><SPAN>Resultados, análisis y directrices para la selección del diseño</SPAN></EM></A><SPAN>.</SPAN></LI>
</OL>
Hola Víctor, ¡muchas gracias por la interesante publicación! ¿Es posible que JMP calcule los diagnósticos de diseño de relleno de espacios, por ejemplo, la discrepancia y los criterios de MaxPro, para diseños de relleno de espacios no generados por JMP? Parece que Evaluate Design no ofrece estas estadísticas como opción; solo tengo curiosidad por saber si existe otra forma sencilla de realizar esta evaluación.
Hola @ktbrickey22 ,
¡Muchas gracias por los comentarios positivos!
Actualmente no, no es posible calcular ningún diagnóstico de diseño de relleno de espacio (discrepancia y MaxPro) para diseños generados fuera de JMP. También me surgió esta pregunta al realizar mis experimentos para este blog: Obtener el valor de MaxPro para cualquier diseño de relleno de espacio. Como por el momento no parece posible calcular estos valores fácilmente, creé una lista de deseos para este tema: Plataforma de comparación de diseños para diseños de relleno de espacio.
Por el momento, si necesito comparar discrepancias entre dos diseños que llenan el espacio, utilizo la función de discrepancia de SciPy , que no proporciona los mismos valores que en JMP, pero me permite comparar cualquier diseño. SciPy ofrece otras métricas y visualizaciones útiles, como el árbol de expansión mínimo, para visualizar la distancia mínima entre puntos.
Para MaxPro, es un tema más complejo y no he encontrado una solución satisfactoria (todavía).
Espero que esta respuesta pueda ayudarte 
@Victor_G , tengo una pregunta rápida. Respecto al enfoque MaxPro que mencionas, indicas que " el objetivo es maximizar el criterio MaxPro para asegurar buenas proyecciones de los puntos de diseño en espacios de menor dimensión". Sin embargo, en la ayuda se indica que la idea es minimizar el criterio MaxPro. ¿Podrías aclararlo, por favor?
Hola @charlie_whitman ,
Muchas gracias por su lectura atenta y su comentario, y por detectar este posible error. Lo lamento profundamente; creo que me confundí al leer sobre el criterio MaxPro. Este criterio está diseñado para evaluar las propiedades de proyección del diseño, por lo que cuanto mayor sea la propiedad de proyección, mejor, ya que ayuda a maximizar la información y a tener un diseño espaciado de manera eficiente incluso en presencia de factores inactivos o de baja importancia. Influye en este espaciado maximizando el producto de las distancias entre los posibles puntos de diseño. Sin embargo, en la fórmula del criterio MaxPro en la Ayuda de JMP, esta distancia entre los puntos de diseño se encuentra en el denominador, por lo que, efectivamente, parece que este criterio debería minimizarse. Esto también se repite en el Diagnóstico de Diseño de la Ayuda de JMP: " Valores más pequeños son mejores" .
Aunque esté escrito en la Ayuda de JMP, sigo confundido, y aún más al ver la opción Maximizar criterio MaxPro en la plataforma de Optimización Bayesiana. ¿Cuál es el beneficio de maximizar el criterio MaxPro (tener ejecuciones que pueden estar agrupadas o "apiladas" al observar subespacios más pequeños del espacio experimental)? La Ayuda en esta sección menciona: " Esta opción es una exploración del espacio de factores sin modelo que evita la replicación de cualquiera de las configuraciones de factores tanto en los datos de entrenamiento como en el lote actual. Use esta opción para cualquier tamaño de lote cuando uno o más de los modelos no se ajusten bien". Si el objetivo es explorar más porque el modelo no se ajusta bien, ¿debería esta opción intentar minimizar los nuevos valores de los puntos de diseño de MaxPro (para aumentar la distancia entre los puntos de diseño y explorar el espacio experimental) en lugar de maximizarlos, para asegurar una buena cobertura de las ejecuciones recién agregadas?
Si alguien del equipo del Departamento de Energía de JMP pudiera ayudarme a resolver esta confusión, ¡se lo agradecería enormemente!
Corregiré lo antes posible las partes 2 y 3 de esta serie de publicaciones del blog.
