Aprenda de los comentarios de nuestro taller sobre JMP Pro con Chris G. en HeidelbergAquí describo mis aprendizajes del Taller de Heidelberg con Chris Gotwalt sobre Optimización Bayesiana:
Algunos datos breves:
- 48 inscritos - alrededor de 40 en la sala
- Tema Optimización bayesiana
- mucho interés
- alrededor del 60% tenía JMP Pro
- La mayoría está familiarizada con DoE y se ha enfocado en optimizar procesos más rápido y con menores costos.
Suposiciones y confirmaciones sobre situaciones exóticas:
- Múltiples respuestas, 𝑦_𝑖 (𝑥)
- Todas las manos se levantaron pidiendo que se confirmara que es importante para ellos y que lo necesitan.
- Aumento por “lotes” de más de una ejecución
- Casi todos tienen situaciones en las que necesitan experimentar con lotes, es decir, no solo con el siguiente, sino, por ejemplo, con los siguientes 4, 6 o cualquier otro número. Esto se debe, en la mayoría de los casos, a...
- El experimento duró demasiado como para esperar la siguiente sugerencia.
- Pero también la falta de material (no siempre disponible) es otra razón.
- Expectativas mencionadas:
- Cómo acortar el tiempo de desarrollo
- Objetivo del departamento analítico (usuario experto en diseño)
- Para persuadir a los colegas de utilizar el DOE es más fácil, ya que dicen que no se pueden realizar muchas ejecuciones.
- Darle a los usuarios opciones para algo más que DOE, ¿por qué debería hacer experimentos que no me aportan nada? Solo quiero un buen resultado.
- Costo -> menos ejecuciones
- ¿Qué esperas conseguir?
Preguntas de la audiencia:
- ¿Qué pasa si los factores no son importantes?
- Respuesta: Ignorará los factores que no tienen impacto. La opción de importancia de la variable ayudará a mostrar los factores ordenados por potencia.
¿Se pueden ponderar las respuestas? (otro caso "exótico")
- Respuesta: Sí, se aplicará en la deseabilidad de Bayes Opt en el generador de perfiles. Se pueden gestionar objetivos contrapuestos o escasez compleja, así como el objetivo de coincidencia/límite de especificación.
¿Cómo se manejarán los problemas locales de mínimos y máximos?
- Respuesta: Compárelo un poco con Newton, esto podría suceder, pero si no está satisfecho, puede explorar fácilmente otras regiones, por ejemplo, con alta varianza.
¿Puedo usar respuestas/factores categóricos? (otro caso "exótico")
- Respuesta: Sí, pero la correlación no se basará en la distancia como en las respuestas continuas.
¿Qué pasa si sé que la respuesta será muy ruidosa? ¿Cómo puedo solucionarlo? (Otro caso "exótico")
- Respuesta: Necesita desarrollar estrategias: primero haga un MSA para evaluar la varianza y use réplicas para promediar la varianza.
¿Puedo añadir nuevos factores? (otro caso "exótico")
- Responde sí, incluso en medio del proyecto.
Casos de uso:
- Chris G.: Las formulaciones y mezclas son el caso de uso principal, ya que las confusiones y restricciones ya no representan un problema. ¡Porque depende de la distancia y no del espacio de diseño! Los factores de inflación no importan en absoluto.
- Clientes mencionados:
- Ajuste del controlador PID: una ejecución demora entre 15 y 30 minutos, pero es complicado entrar y salir cada vez, por lo que las ejecuciones por lotes son muy importantes para ellos (en comparación con las soluciones bayesianas opt básicas con solo la siguiente ejecución)
- Entrenamiento y modelado de hiperparámetros
- Entorno GMP en el que no se puede variar demasiado y está limitado, por ejemplo, a ejecutar 2 lotes a la vez.
- Puede tener un efecto enorme en la investigación (farmacéutica), pero puede ser menor en, por ejemplo, la caracterización de procesos.
- Persuadir a los colegas de utilizar DOE, ya que es más fácil y se pueden superar los que dicen que muchas carreras no se pueden hacer.
Sugerencias: @chris_gotwalt1 @DanielValente
- P&G/BASF: Sería fantástico tener la opción de agregar información previa (por ejemplo, de reacciones químicas/fórmulas conocidas o que sepa con certeza que es un modelo lineal) para influir en la curva de deseabilidad.
Resumen general:
- Gran interés
- Nuestra plataforma parece encajar bien en el panorama entre Bofire (para programadores de Python) y soluciones de desarrollo propio (muy fáciles para gente de negocios).
- Es mucho más de lo que la mayoría de las herramientas de optimización bayesiana pueden hacer: hablemos de las situaciones "exóticas" de Bayes Opt.
Más comentarios:
- ¿Cómo abordar preguntas sobre la selección y las matemáticas subyacentes?
- La gente quiere eso y ve que ayuda a muchos usuarios de JMP y quiere tenerlo en JMP. Esa es una razón importante para hablar del valor que podrían obtener si todos esos usuarios lo usaran y realizaran un cálculo del ROI para comparar un ELA/cierto número de licencias Pro. Por ejemplo, que el promotor muestre la diferencia con experimentos anteriores sobre qué habría pasado si hubiéramos implementado BO después de la primera experimentación. ¿Condujo a otra ruta/encontró la solución antes/cuándo fue el punto en el que nos equivocamos? Se trata de convencer a otros (los mismos ingenieros que realizan la experimentación una y otra vez con sus suposiciones).
Re: Aprenda de los comentarios de nuestro taller sobre JMP Pro con Chris G. en HeidelbergUn comentario más: Es probable que las organizaciones ya tengan algún tipo de solución en uso, por ejemplo, BoFire (paquete de Python) o algo más sencillo. La mayoría no incluyen todas las situaciones exóticas en sus herramientas o son para programadores.
Estamos ahí para ocupar una buena parte del mercado con lo que tenemos ahora.
Re: Aprenda de los comentarios de nuestro taller sobre JMP Pro con Chris G. en HeidelbergExcelente resumen de los comentarios. Solo algunas preguntas y respuestas más que he anotado.
¿Qué pasa si la mesa viene de otro lugar?
- Respuesta: No te preocupes, puedes agregar todas las restricciones en el generador de perfiles.
¿Un ejemplo para mostrar cómo evoluciona el generador de perfiles a través de las ejecuciones?
Respuesta: ¡Sí, sería genial! Chris dijo que quizás lo añadirán en el futuro. En su presentación, logró mostrar esta evolución del generador de perfiles manualmente usando varias diapositivas, pero fue mucho trabajo.
¿También das pesos cuando optimizas?
- Respuesta: Sí, tal como lo hacemos en el generador de perfiles, puede cambiarlos sobre la marcha y, si cambia la deseabilidad (por ejemplo, maximizar en el caso de abrasión), las deseabilidades para bayes opt se ajustarán automáticamente.
¿Qué pasa si los rangos no son lo suficientemente buenos o son estrechos?
- Respuesta: Puedes simplemente cambiar los rangos en el generador de perfiles y luego los tiene en cuenta.
¿Podemos guardar el generador de perfiles de fórmulas/predicciones?
Respuesta: No hay una forma directa de hacerlo. Hay que volver a la tabla de datos y abrir la plataforma de Proceso Gaussiano, donde se podrá guardar el modelo (tenga en cuenta que será una fórmula/modelo diferente al creado en la plataforma de Optimización Bayesiana).
Re: Aprenda de los comentarios de nuestro taller sobre JMP Pro con Chris G. en HeidelbergGracias por compartir, Martin. ¿Qué opinas sobre el desarrollo del taller? ¿Mostraste un ejemplo y luego pediste al público que lo analizara contigo? ¿Crees que deberíamos añadir o cambiar alguno de los ejemplos para hacer un lote de cuatro ejecuciones a la vez en lugar de una sola?
Re: Aprenda de los comentarios de nuestro taller sobre JMP Pro con Chris G. en HeidelbergGracias a todos por compartir sus ideas sobre BayesOpt. Comparto una inquietud expresada por algunos asistentes al taller de Londres: muchos científicos desean probar la optimización bayesiana, pero me preocupa que cometan errores al aplicar el método. Esto me hizo preguntarme si algunos de nuestros usuarios avanzados son guardianes estadísticos y podrían desalentar su uso por parte del público general.
La perfección es una meta noble y difícil de alcanzar. Ayudar a científicos e ingenieros a abandonar la experimentación basada en prueba y error es el resultado loable que podríamos buscar. Ayudar a científicos e ingenieros a lograr un trabajo más satisfactorio y a obtener resultados comerciales más predecibles y, a menudo, mejores (que los enfoques basados en prueba y error). ¿Sería posible animar a nuestros guardianes estadísticos a centrarse menos en la perfección en la aplicación de métodos de experimentación estadística y más en apoyar a científicos e ingenieros en su evolución hacia el cambio, de una manera que funcione para la mayoría? Como parte de la evolución, científicos e ingenieros podrían descubrir que necesitan tanto DoE como BayesOpt, pero el punto de partida debería estar en ellos y en su gerente.
Por favor, estén atentos al guardián estadístico. Intente ayudarlos a reflexionar sobre el desafío de ayudar a los científicos e ingenieros a desarrollar sus enfoques experimentales de la manera más atractiva para ellos. Si el guardián estadístico no desea evolucionar, quizás debamos encontrar otros compradores influyentes que sí tengan una necesidad urgente de cambiar los enfoques de prueba y error. Encuentren la manera de ganar impulso, mientras la optimización bayesiana despierta interés en la comunidad científica.
Re: Aprenda de los comentarios de nuestro taller sobre JMP Pro con Chris G. en Heidelberg@malcolm_moore1 - Es interesante que menciones eso. Un par de mis cuentas tienen este tipo de personas. Algunos de nosotros en la costa este hemos estado posicionando BayesOpt como una herramienta que es mejor usar por los expertos en la materia que realizan los experimentos, con ellos mismos, en lugar de presentarla como una técnica para los equipos de estadística. La idea es que sugiere posibles nuevos experimentos para ayudar a los expertos en la materia a comprender la naturaleza multidimensional de los datos de fabricación. También parece funcionar muy bien con algo como un DSD como conjunto de semillas, lo que sugiere una estrategia híbrida de DOE que podría encajar bien con los equipos de fabricación. Dado que utiliza técnicas (principalmente) automatizadas en JMP.
Re: Aprenda de los comentarios de nuestro taller sobre JMP Pro con Chris G. en Heidelberg@MikeD_Anderson , me parece muy lógico centrarnos en las pymes cuando encontramos resistencia por parte del guardián estadístico, que probablemente se encuentre en las grandes empresas. Por favor, cuéntanos cómo te va con BayesOpt entre las pymes.
Tal vez no sea mejor darse por vencido con las empresas más grandes antes de intentar encontrar a los compradores influyentes que sí necesitan BayesOpt y están contentos con una mejora incremental en comparación con su día a día antes de BayesOpt.
Re: Aprenda de los comentarios de nuestro taller sobre JMP Pro con Chris G. en HeidelbergHola Pete,
El flujo del flujo de trabajo fue Chris sobre Bayes Opt en general, primer ejemplo, almuerzo, Chris más detallado, segundo ejemplo práctico, tercer ejemplo breve, resumen.
Creo que el primer ejemplo (uno simple) es un buen punto de partida para la mayoría. El segundo caso en el que trabajan es más práctico; según los comentarios, fue positivo para la mayoría. No creo que sea realmente necesario adaptar el caso de uso, siempre y cuando se mencione la opción. Chris también mostró esa parte en algunas diapositivas, así que está cubierta.
Sin embargo, para nuestras demostraciones/inspiraciones de SE, sería bueno tener el caso de uso por lotes como un ejemplo completo listo para mostrar.
Dicho esto, sigo creyendo que deberíamos mostrar una breve presentación de la plataforma y hablar/debatir más sobre los posibles casos de uso de los clientes para aplicarlos. Principalmente en la dirección que ya mencionaron Malcolm y Mike.
Re: Aprenda de los comentarios de nuestro taller sobre JMP Pro con Chris G. en Heidelberg@malcolm_moore1 - A mí también me pareció interesante. Sospecho que a estos guardianes también les preocupa que su experiencia en el Departamento de Energía (DOE) se vuelva redundante. He oído que ya se está probando la optimización bayesiana, pero lo hacen utilizando diversos recursos de código abierto, lo cual es muy preocupante para el guardián. Suponiendo que hayamos generado confianza y credibilidad con el guardián, habilitar BayesOpt para los experimentadores en JMP Pro debería ser una solución más atractiva.
¿Qué preferirías?
- ¿Quiere guiar a sus colegas para explorar las posibilidades de este nuevo y apasionante enfoque en JMP Pro?
- ¿Dejar que tus colegas experimenten con la optimización bayesiana por su cuenta en Python?
Estoy de acuerdo en que en otros casos, encontrar formas de eludir al guardián será lo correcto.
Re: Aprenda de los comentarios de nuestro taller sobre JMP Pro con Chris G. en Heidelberg¡Qué bueno ver el éxito de BayesOpt! Si a alguien le interesa una forma sencilla de demostrarlo para la optimización de hiperparámetros:
1. Ejecute XGBoost con la opción Autotune activada.
2. En la parte inferior de la salida hay una tabla con las estadísticas de cada ejecución. Haga clic derecho > Convertir en tabla de datos.
3. Ejecute BayesOpt en esta tabla para determinar los siguientes mejores hiperparámetros candidatos.
4. Vuelva a cargarlos en XGBoost manualmente o utilice la opción Tabla de diseño en Avanzado.
Re: Aprenda de los comentarios de nuestro taller sobre JMP Pro con Chris G. en HeidelbergGracias @malcolm_moore1 . Esto es algo que me he encontrado varias veces en las últimas semanas. Encontré dos razones (ambas con el mismo resultado de "control de acceso"):
1. Miedo a perder el control/poder (porque es su especialidad en ese momento, etc.)
2. Temen que la gente haga experimentos aleatorios en lugar de DOE (han estado predicando que la gente haga DOE en lugar de OFAT, etc.)
Se trataba de dos personajes diferentes, pero ambos tipos estaban más o menos en contra de un uso más amplio de BO.
En ambos casos, los usuarios decían: "En realidad, así es exactamente como operamos y hacemos nuestros experimentos (iterativos, con lotes pequeños): deberíamos usar BO".
Para el segundo grupo de "guardianes", podemos hacerles sentir más cómodos haciéndoles saber que la OB es, en realidad, una forma sencilla de introducir a las personas en la toma de decisiones basada en datos. Porque si no saben mucho, al usar la OB, básicamente hacen DOE (sin saber). Demuestre la OB con una tabla de factores como punto de partida (2-3 ejecuciones). De esta manera, les ayuda en su misión de que más personas usen DOE o lo que yo llamaría métodos de experimentación inteligente.
Para el primer grupo, sí, probablemente sea mejor encontrar a alguien más con quien hablar.;)
Re: Aprenda de los comentarios de nuestro taller sobre JMP Pro con Chris G. en HeidelbergGran aporte, Florian. Para el cuarto trimestre, sugiero que nos centremos en los usuarios potenciales de BayesOpt que están motivados y tienen urgencia por cambiar. Cierremos estas oportunidades y luego ayúdelos a demostrar su éxito.
Cuando tengamos más tiempo (el año que viene), quizá podamos explorar las ventajas personales de los responsables de la gestión. He oído hablar de reducciones de personal en algunos equipos de estadística de nuestras cuentas más grandes. Con este panorama, una idea para explorar con los responsables de la gestión es cómo BayesOpt ayuda al equipo de estadística a permitir que los científicos e ingenieros aporten mayor valor organizacional y a que su empresa comprenda el valor que aporta el equipo. Hacer algo que mejore los resultados ahora es mejor que esforzarse por alcanzar la perfección (algo que rara vez ocurre).
Re: Aprenda de los comentarios de nuestro taller de JMP Pro con Chris G. en HeidelbergHola,
Tras conversar con la alta dirección (responsable de MSAT, director de la planta, etc.), un caso de uso importante que resultó muy relevante fue cuando el cliente tuvo que trabajar con otros clientes que no estaban dispuestos a realizar un experimento completo al desarrollar o implementar un proceso. En todas las reuniones, plantearon muchas preguntas y asintieron cuando les pregunté si eso les resultaría útil en comparación con su metodología actual.
Pensé que podría ser de interés para todos ustedes.;)
