Optimización bayesiana: Maximizar el criterio MaxProHola queridos expertos de la comunidad y de JMP,
Me confunde la denominación de una de las opciones en el personalizador de lotes para la optimización bayesiana.Una de las opciones se llamaCriterio de maximización de MaxProEn la plataforma de Optimización Bayesiana, la Ayuda en esta sección menciona: " Esta opción permite una exploración del espacio de factores sin modelo, evitando la replicación de cualquier configuración de factores tanto en los datos de entrenamiento como en el lote actual. Utilice esta opción para cualquier tamaño de lote cuando uno o más modelos no se ajusten correctamente. "
En cuanto a la definición de este criterio MaxPro en la sección de ayuda Detalles de diseño de llenado flexible rápido , " El criterio MaxPro maximiza el producto de las distancias entre los puntos de diseño potenciales de una manera que involucra a todos los factores. Esto respalda el objetivo de proporcionar buenas propiedades de llenado de espacio en las proyecciones de los factores ". También se menciona que el criterio MaxPro " se esfuerza por encontrar puntos en los clústeres que minimicen el siguiente criterio" ( antes de examinar la fórmula):
Dado que el producto de las distancias al cuadrado se encuentra en el denominador de la fórmula, minimizar este criterio maximiza las distancias entre los posibles puntos de diseño. Por lo tanto, maximizar el criterio MaxPro puede, de hecho, resultar en distancias menores entre los puntos, lo que aumenta el riesgo de que las ejecuciones se agrupen o se "apilen" al analizar subespacios más pequeños del espacio experimental.Al observar el Perfilador de Optimización Bayesiana, parece que la fórmula utilizada detrás de esta función de adquisición no usa distancias (al cuadrado) en el denominador (como en el criterio MaxPro original), sino en el numerador, ya que podemos ver un perfil de deseabilidad cóncavo que coincide con una fórmula de tipo -X² que involucra distancias entre los puntos de diseño originales. La función de adquisición MaxPro alcanza su máximo donde las distancias entre el nuevo punto y los puntos de diseño originales son mayores.
¿Podría alguien aclarar esta confusión entre el criterio de "minimizar MaxPro" de los diseños de relleno de espacio y el criterio de "maximizar MaxPro" de la optimización bayesiana? ¿Utiliza el criterio MaxPro en la plataforma de optimización bayesiana la misma fórmula que en la plataforma de relleno de espacio? ¿Cuál es la fórmula que se muestra en la función de adquisición del criterio MaxPro de relleno de espacio?
Gracias de antemano !
Modelado estadístico avanzadoDiseño de experimentosRe: Optimización bayesiana: Maximizar el criterio MaxPro¿Existe alguna posibilidad de obtener una respuesta de la gente de JMP o de usuarios avanzados sobre esta pregunta/confusión específica?
Espero que se amplíe la documentación de JMP BayesOpt, ya que carece de información básica, por ejemplo, sobre la fórmula y las figuras de los tipos de kernel/correlación continua. Ya existe buena documentación sobre los tipos de funciones involucradas en la selección del kernel.
https://fr.mathworks.com/help/stats/kernel-covariance-function-options.html
https://www.comsol.fr/support/learning-center/course/surrogate-modeling-theory-271/more-on-covariance-functions-96531
https://indico.cern.ch/event/1407896/contributions/6068668/attachments/2947366/5179857/Lecture_2_vkain_BO.pdf
...
Re: Optimización bayesiana: Maximizar el criterio MaxProHola @Victor_G ,
Estoy totalmente de acuerdo con tu evaluación y tus preguntas sobre la nueva plataforma BeysOp. Llevo queriendo probarla con mis compañeros de trabajo desde que supe de ella a principios de este año, pero también estoy sopesando los posibles beneficios frente al uso de recursos y tiempo, y no quiero abrumar a mis compañeros con información innecesaria sin antes intentar comprender los fundamentos de cómo JMP implementa BayesOp; esta parte ha sido la más complicada.
Aquí hay algunos tutoriales web aceptables sobre las primeras etapas del desarrollo y la reciente incorporación a JMP 19 Pro:
https://community.jmp.com/t5/Phil-Kay-s-Blog/Active-Learning-in-JMP-Chris-Gotwalt-ENBIS-Workshop/ba-p/835262
https://community.jmp.com/t5/Learn-JMP-Events/Developer-Tutorial-Bayesian-Optimization/ev-p/894910
Son bastante buenos dando una descripción general de cómo funcionan las cosas (útil para la gestión, especialmente el segundo, hasta aproximadamente el minuto 20), pero aún no he podido encontrar explicaciones más detalladas, ni mucha información sobre cómo ajustar los algoritmos de las funciones de optimización y adquisición para la tarea específica en cuestión.
En los tutoriales, reconocen el riesgo de quedarse estancado en máximos locales, pero también afirman que su método permite superar esta situación gracias a un equilibrio entre la exploración y la optimización. La explicación es vaga, y entiendo que no pueden revelar todos los detalles, pero sería útil contar con información más completa. Especialmente para quienes trabajamos en la industria y valoramos este enfoque, pero también deseamos comprenderlo a fondo para que, si las cosas no salen como se espera (lo cual ocurre casi siempre), podamos adaptarnos y seguir obteniendo información valiosa del trabajo realizado.
Estas son solo algunas de mis reflexiones tras intentar aprender más sobre esta nueva plataforma de JMP.
¡Gracias por los enlaces y recursos adicionales!
DS
Re: Optimización bayesiana: Maximizar el criterio MaxProHola, gracias por tu interés en la optimización bayesiana de JMP Pro. Entiendo tu confusión con la frase "Maximizar MaxPro". En realidad, JMP maximiza el recíproco del criterio MaxPro. Esto se hizo para que todas las opciones de adquisición de datos se presentaran como maximizaciones, en lugar de que algunas fueran minimizaciones y otras maximizaciones. En retrospectiva, una mejor formulación habría sido "Maximizar criterio de llenado del espacio" e incluir en la documentación los detalles de que estábamos maximizando el recíproco del criterio MaxPro.
Re: Optimización bayesiana: Maximizar el criterio MaxPro¡Gracias @chris_gotwalt1 !
Supe que algo era diferente (y posiblemente invertido) al observar la función de adquisición del criterio MaxPro del analizador de optimización bayesiana y la ecuación de la sección de diseño de relleno de espacio. Gracias por la aclaración.
Entiendo la forma simplificada de maximizar cualquier función de adquisición, pero la misma denominación para este criterio que para el diseño de llenado de espacio me confundió.
Espero que la documentación se revise y se enriquezca para evitar confusiones y brindar a los usuarios más información sobre las posibilidades de la plataforma BayesOpt.
Mejor,
Re: Optimización bayesiana: Maximizar el criterio MaxProHola @SDF1 ,
Gracias por tu respuesta y los enlaces complementarios.
Si bien estos enlaces pueden ser útiles para comenzar a usar BayesOpt de forma práctica, no ofrecen una visión más profunda de algunas opciones técnicas como el núcleo, las formas de la función de adquisición (y ecuaciones), etc.
No hay garantía de alcanzar el óptimo global. Ya presenté un caso de uso en el Seminario Discovery sobre BO donde, utilizando solo un modo "automático" (siguiendo ciegamente las recomendaciones de la plataforma para la adición de las siguientes ejecuciones), obtengo un resultado subóptimo en comparación con lo que puedo obtener al forzar la exploración desde el principio, o incluso mejor, al comenzar con ejecuciones iniciales creadas con un enfoque de llenado de espacio:
Por lo tanto, soy un poco escéptico sobre las afirmaciones que mencionas: si se ha alcanzado el objetivo durante los bucles de BO (sin importar si se trata de un óptimo local o global), entonces la plataforma recomendará replicar el punto y terminará aquí.
El tema del óptimo global frente al óptimo local fue una pregunta frecuente en este seminario de JMP Discovery, así como "cómo usar/confiar en las reducciones del modelo", donde mostré que calcular los índices de importancia/sensibilidad de las características basándose en el proceso gaussiano utilizado durante el bucle BO puede ser muy engañoso: https://www.linkedin.com/posts/victorguiller_bayesianoptimization-designofexperiments-activity-7475080705866174465-e3uV
Este tipo de método de explicabilidad solo proporcionará una explicación del camino seguido por el algoritmo, no necesariamente la importancia/sensibilidad "real" de los factores.
¡Muchas gracias por la conversación y los enlaces!
Mejor,
Re: Optimización bayesiana: Maximizar el criterio MaxProHola @Victor_G ,
Sí, estoy completamente de acuerdo contigo respecto a las preocupaciones sobre el algoritmo y si las iteraciones están explorando con precisión el espacio de diseño para encontrar rápidamente lo que, con suerte, sea un máximo global (o incluso máximos agrupados). Para ser claros, no hice ninguna afirmación sobre sus capacidades, simplemente repetí algunas afirmaciones que se hicieron en los seminarios web. Como mencioné en mi respuesta original, son buenos seminarios web para empezar, pero no profundizan en la metodología ni en los algoritmos ni en cómo ajustarlos; definitivamente están más orientados a usuarios más "casuales" de JMP y la metodología DOE.
Hasta cierto punto, estoy de acuerdo y entiendo lo que se comunica y demuestra en las presentaciones sobre la plataforma BO: en la industria, a menudo no es tan crucial tener un conocimiento fundamental profundo de cómo interactúa cada factor con los demás ni contar con un modelo perfecto. Basta con saber que se ha avanzado un 85 % o un 90 % y que se dispone de un proceso estable para generar la respuesta deseada. El 10 % o 15 % restante se puede optimizar con pequeños ajustes cuando se está cerca del óptimo. Sin embargo, es muy deseable poder acercarse rápidamente a ese óptimo desde el principio, cuando aún se desconoce mucho sobre el entorno operativo.
Ninguno de los ejemplos ha mostrado qué sucede si se empieza cerca de un óptimo. ¿Qué ocurre con el algoritmo de exploración frente al de explotación si ya se ha realizado una optimización de optimización bayesiana y se ha encontrado un "máximo"? ¿Qué pasa si se reinicia el proceso utilizando un par de puntos cercanos a ese máximo? ¿Se bloquea o sigue explorando el espacio de diseño? Se me ocurren varios escenarios en los que podría haber al menos dos máximos globales que se pueden alcanzar mediante dos configuraciones diferentes, una de las cuales podría ser más práctica desde el punto de vista de la producción. Pero si el algoritmo de optimización bayesiana siempre se bloquea en uno de los máximos locales sin explorar lo suficiente, entonces se podría estar perdiendo información importante.
Gracias por compartir tus comparaciones sobre la ejecución de BO en modo automático frente a supervisado y la eficacia de los diferentes enfoques para alcanzar el objetivo deseado. Al igual que con otros métodos experimentales, lo veo más como un enfoque iterativo y una herramienta más. Los seminarios web casi dan a entender que podría convertirse en el nuevo sustituto del DOE, aunque los presentadores afirmen que no es así; sin embargo, subyace un tono que sugiere que es la próxima gran novedad. Como con todo, ¡úsalo con precaución!
Una conclusión importante que he extraído es que, con cualquier modelo asistido por computadora (ya sea ML, IA o gen-AI, como sea), la supervisión del proceso es fundamental. El modelado o la generación asistida por computadora sin supervisión pueden generar alucinaciones con facilidad. He dado instrucciones a varias plataformas de IA para que generen siluetas de personas realizando diferentes tareas, bastante sencillas, sin detalles, solo una silueta. Pues bien, las distintas IA fácilmente añaden extremidades adicionales a los humanos: tres piernas o cuatro brazos. Incluso después de indicar que hubo un error en la generación de la IA, la siguiente iteración seguirá siendo una alucinación. El proceso aún requiere una supervisión humana bastante intensa. Actualmente, la plataforma BO también parece necesitar una supervisión cuidadosa.
Simplemente un sano escepticismo.
DS
Re: Optimización bayesiana: Maximizar el criterio MaxProHola DS,
Disculpen el malentendido. Entendí que las reclamaciones provenían del equipo de JMP, no de ustedes (disculpen cualquier confusión en mi respuesta).
Tienes razón, los puntos de partida iniciales (dispersión y ubicación) son tan importantes como las decisiones que tomes después de iniciar el bucle de optimización bayesiana (BO). Dependiendo de la proximidad de los puntos iniciales al óptimo, podemos pensar que el algoritmo puede sentirse atraído por esta área, especialmente si coincide con tu objetivo. Para forzar la exploración, añadir ejecuciones con un criterio de llenado del espacio (MaxPro) puede ser útil, ya que generará puntos con las distancias máximas a los puntos ya presentes (o añadir ejecuciones con una función de adquisición que haga hincapié en la incertidumbre, como la desviación estándar multimodelos o el límite superior de confianza) . Las decisiones del usuario al utilizar BO pueden tener un gran impacto en los resultados del proyecto.
Exactamente, BO es otra metodología de "experimentación inteligente" en la caja de herramientas. También creo que, en la práctica, puede ser más efectivo tener varias ejecuciones en cada iteración (no solo una por iteración) y seguir variando el tipo de ejecuciones agregadas con diferentes funciones de adquisición, para asegurar la diversidad en el lote de ejecuciones y evitar la detención prematura de la exploración. Podríamos, por ejemplo, pensar en 5 ejecuciones por iteración, con una o dos ejecuciones de explotación, dos ejecuciones de exploración (o más) y otras en un modo "equilibrado". Veo BO con funciones de adquisición como una opción para crear un tipo de experimentación DoE "pequeño", donde las funciones de adquisición son similares a la optimalidad del diseño, y donde el aumento del "diseño" es altamente flexible en términos de tamaño de las ejecuciones. Pero esto se produce en detrimento de algunos de los "mecanismos" estadísticos y salvaguardas como el bloqueo u otras técnicas de reducción de ruido, por lo que las dos metodologías no son exactamente intercambiables. Estoy de acuerdo, "úsalo con precaución", comienza con la configuración y las restricciones experimentales, y LUEGO elige la metodología de experimentación.
Sí, los modelos informáticos como el aprendizaje automático son excelentes para encontrar patrones y pueden ampliar las opciones de modelado, pero los resultados siempre deben considerarse con precaución, ya que algunos algoritmos pueden ser propensos al sobreajuste (o a las alucinaciones en el caso de la IA general). Por lo tanto, siempre utilice el conocimiento del dominio, el pensamiento crítico y una mentalidad estadística para evaluar los resultados del modelo.
Muchas gracias por la conversación. Tengo muchas ganas de ver cómo evolucionará la plataforma BayesOpt (¡y su documentación!) en las futuras versiones.
Mejor,
Re: Optimización bayesiana: Maximizar el criterio MaxProGracias por el interesante debate. Simplificando demasiado, creo que esto se reduce a dos enfoques fundamentalmente diferentes de la experimentación.
Un enfoque es algorítmico. El objetivo es simplemente encontrar la configuración que produzca el resultado deseado. En gran medida, no importa si se comprenden los mecanismos subyacentes, siempre y cuando el algoritmo converja de forma fiable a una solución satisfactoria.
El segundo enfoque considera la experimentación como un proceso de aprendizaje. El objetivo no es solo identificar configuraciones óptimas, sino comprender por qué funcionan. Esta comprensión mecanicista nos permite predecir el rendimiento en nuevas situaciones, reconocer cuándo han cambiado las condiciones, transferir el conocimiento a diseños futuros y desarrollar productos y procesos más robustos.
Ninguna de las dos filosofías es intrínsecamente correcta o incorrecta; simplemente optimizan objetivos diferentes. Si el único objetivo es optimizar un sistema concreto lo más rápido posible, la optimización bayesiana puede resultar sumamente atractiva. Si el objetivo es generar conocimiento científico o de ingeniería que trascienda el problema actual, entonces la experimentación debe diseñarse para revelar mecanismos, no simplemente para buscar un óptimo.
Mi preocupación es que a veces evaluamos estos métodos simplemente preguntándonos: "¿Encontramos una mejor solución?". Creo que una pregunta igualmente importante es: "¿Qué aprendimos que aún será útil en el próximo proyecto?". No siempre son lo mismo.
Los datos permiten identificar dónde existe un punto óptimo. Comprender los mecanismos explica por qué existe. Solo esto último nos permite predecir qué sucederá cuando el mundo cambie inevitablemente.
