| Vocero |
Transcripción |
| David.Wong-Pascua |
Bueno, entonces. |
| |
La secuencia y la constancia son la clave. Hola a todos, soy David y científico sénior en CatSci. ¿Qué es CatSci? |
| |
CatSci es un socio de innovación para procesos químicos integrales, investigación y desarrollo. Colaboramos con organizaciones como JMP UK para garantizar que todas nuestras decisiones se basen en datos. |
| |
Para nosotros se trata de hacer las cosas bien la primera vez y siempre; formular soluciones personalizadas y perfectas para cada proyecto; y nuestro objetivo absoluto es cumplir con las expectativas de nuestros clientes. |
| |
Trabajamos en diversas áreas, incluyendo el desarrollo en etapas tempranas y avanzadas. Contamos con experiencia en procesos, una larga trayectoria en catálisis, que siempre ha sido un rasgo fundamental de nuestra identidad, y contamos con excelentes capacidades en química analítica y ciencia de materiales. |
| |
En CatSci, uno de los desafíos que enfrentamos es la selección de variables categóricas antes de la optimización del proceso. |
| |
Esta dificultad es más evidente en nuestro trabajo de selección de catalizadores. |
| |
En las imágenes de la diapositiva podemos ver algunos de los aparatos e instrumentos que utilizamos para realizar el cribado de catalizadores. |
| |
A la izquierda, tenemos kits de catálisis prefabricados que contienen 24 combinaciones predosificadas de precursor de metal y ligando. |
| |
En el centro hay un hidrogenador que alberga una placa de 48 pocillos, que se puede ver a la derecha. |
| |
Esto permite realizar 48 experimentos individuales simultáneamente. |
| |
Estos instrumentos están diseñados para alto rendimiento y pequeña escala, y no es raro ejecutar 10 o más de estas placas para nuestros clientes, lo que suma un total de casi 500 experimentos. |
| |
Entonces, ¿por qué necesitamos realizar una cantidad relativamente grande de experimentos y cuáles son los beneficios de mejorar la eficiencia? |
| |
Así que, en primer lugar, el espacio químico que necesita ser explorado es extremadamente grande. |
| |
Para cualquier reacción, cualquier reacción química, hay muchos factores que pueden tener un efecto, como la temperatura, la concentración y la estequiometría. |
| |
Sin embargo, lo que hace que la exploración sea particularmente desafiante para una reacción catalítica es que hay muchos factores categóricos importantes; estos incluyen el precursor del metal, el ligando, el reactivo, el solvente y el aditivo. |
| |
Otra característica de las reacciones catalíticas es que frecuentemente hay interacciones de alto orden, lo que significa que, para un sistema catalizador (una combinación particular de precursor metálico y ligando), |
| |
Es necesario realizar pruebas exhaustivas de disolventes y aditivos para medir el rendimiento. |
| |
No es correcto descartar una determinada combinación de precursor metálico y ligando justo antes... solo porque su rendimiento en un disolvente determinado sea bajo. Podría darse el caso de que no se cuente con el disolvente o el aditivo adecuados. |
| |
Por último, una de las formas más fáciles de explicar el beneficio de un método de cribado más eficiente es observar el precio de los materiales. |
| |
Muchos de nuestros proyectos de catálisis involucran metales preciosos, como platino, paladio, rutenio, iridio y rodio. Algunos de estos metales se encuentran entre los elementos más raros de la corteza terrestre, lo que se refleja en su precio. |
| |
Con solo una rápida búsqueda de precios en Google, se puede ver que el precio del rodio es más de un orden de magnitud más caro que el del oro. |
| |
Otro gasto importante en el cribado catalístico son los ligandos. Si bien existen ligandos económicos, muchos de los de mayor rendimiento para la síntesis asimétrica son ligandos patentados, como Josiphos de Solvias. |
| |
Y uno de los más disponibles y más baratos, el J001, todavía cuesta el doble del oro. |
| |
Por lo tanto, reducir el número de experimentos puede reducir el coste de los consumibles, pero el mayor impacto se crea cuando encontramos la solución óptima para un cliente con un proceso de fabricación de varias toneladas. |
| |
En estos casos, una reducción de diez veces en la carga del catalizador o el descubrimiento de un catalizador alternativo más barato (por ejemplo, cambiar un catalizador de rodio por uno de rutenio) puede ahorrar millones de dólares al año. |
| |
Y ahora le damos la palabra a Ben, quien hablará sobre cómo el equipo de JMP Reino Unido ha abordado este problema. |
| Ben Francis |
Así que muchas gracias, David. |
| |
Así que está claro que |
| |
CatSci y muchas otras empresas similares a CatSci enfrentan grandes desafíos con grandes espacios de formulación, |
| |
que pueden tener interacciones de orden muy alto. Por lo tanto, la ciencia es muy compleja, y lo que hacemos para experimentar y desentrañar esa complejidad es importante. |
| |
Lamentablemente, la opción de simplemente probar cada combinación no es realmente sensata ni viable, debido a los costos que David describió allí. |
| |
Y, en última instancia, necesitamos adoptar algún tipo de enfoque que involucre la ciencia de datos para comprender las relaciones numéricamente. |
| |
Entonces, para poder proceder y aplicar la formulación elegida a un escenario de fabricación múltiple, necesitamos saber que funcionará cada vez, como dijo David. |
| |
Así que buscamos literatura, porque en JMP estamos muy interesados en la aplicación del DOE, y sentimos que esta era una situación particular del DOE. |
| |
Y como bien lo llamamos, es un gran DOE. Así que buscamos un estudio de caso al que aplicar un enfoque de gran DOE y encontramos un artículo de Perera et al. |
| |
Publicado en 2018, y analizaron una plataforma para este cribado de reacciones. Lo interesante de este escenario es que contaban con cinco factores categóricos. |
| |
Y esto puede no parecer demasiado. Tuvieron que analizar los reactivos 1 y 2, el ligando, los reactivos y el disolvente, pero la complejidad de lo presentado en este artículo residía en los niveles de cada factor. |
| |
Cuatro, tres, doce, ocho y cuatro niveles, respectivamente, todos combinados juntos dan como resultado 4.608 combinaciones distintas. |
| |
Ahora, en el artículo de Perera et al., probaron cada uno de ellos, lo que obviamente no es una solución viable en términos de todas las empresas del mundo, solo probaron cada combinación, como David describió anteriormente. |
| |
Aquí, en el mapa de calor, se puede ver que pudieron tener una idea de que hay algunas regiones de alto rendimiento. |
| |
Y algunos con menor rendimiento, y otros también muy bajos. Así que se realizaron muchas pruebas para finalmente llegar a una comprensión deficiente del proceso. |
| |
y un coste experimental muy elevado. |
| |
Así que esto finalmente terminó en una situación en la que encontraron una combinación, llegaron a una combinación, que luego pudieron procesar en el documento y decir, miren, esto es, estos son los generales. |
| |
Fue correcto la primera vez, pero ¿lo fue siempre, a partir de entonces, si se aplicara a un escenario de fabricación de varias toneladas? ¿Seguiría cumpliendo las especificaciones requeridas? |
| |
¿La gran solución DOE reduce los requisitos de recursos? |
| |
¿Acierta a la primera y siempre? Y la forma en que podemos medir estas cuestiones y nuestro desempeño. |
| |
En primer lugar, para reducir los requisitos de recursos, solo pudimos diseñar un experimento con un total de 480 ejecuciones. Esto simulaba 1048 placas de trabajo, lo que representa aproximadamente el 10 % de las ejecuciones realizadas en el artículo. |
| |
¿Es correcto a la primera? Se midió observando cuántas de las combinaciones de alto rendimiento identificadas en el documento, las 80, se probaron o predijeron. |
| |
por el modelo generado. Y, finalmente, con un 10% de ejecuciones, esperábamos obtener al menos ocho combinaciones de alto rendimiento de nuestras... de nuestras DOE. |
| |
(y un alto rendimiento se indica aquí con un valor superior al 95%). |
| |
Finalmente, y de manera crucial, ¿corrige siempre la medición al observar el diagnóstico general del modelo, el R cuadrado? Y, en última instancia, ¿podemos analizar esto y determinar si tenemos una visión del proceso? ¿Tienen sentido las relaciones? ¿Tienen sentido las combinaciones e interacciones? |
| |
Entonces, lo que hicimos para darnos un punto de referencia aquí también fue mirar el conjunto de datos completo de 4608 y encontramos que el R cuadrado de esto era .89, y esto fue con un método de árbol potenciado. |
| |
Ahora le cederé la palabra a Phil, quien describirá el primer gran enfoque del DOE que adoptamos. |
| Phil Kay |
Gracias, Ben; gracias, David, por la presentación tan bien hecha. Así que analizamos tres enfoques diferentes. |
| |
Para abordar esto y ver si podemos tomar un número reducido de esas ejecuciones que realmente se probaron en ese documento y aún así obtener la misma información útil que Ben describe. |
| |
Así que voy a hablar sobre dos de esos tres enfoques, dos de los más extremos: uno conservador y otro ambicioso. Después, Ryan hablará sobre el enfoque híbrido y equilibrado que, en nuestra opinión, probablemente funcionaría mejor a la larga. |
| |
Así que, según el enfoque conservador, este es un enfoque estándar del Departamento de Energía (DOE). Diseñamos un diseño personalizado de 480 pasadas con 10 bloques, lo que representa 10 placas en el equipo de cribado de catalizador que nos mostró David. |
| |
Y los resultados principales fueron que, a partir de ese experimento de 480 ejecuciones, pudimos predecir correctamente que 13 de las combinaciones de mayor rendimiento serían de alto rendimiento. |
| |
Y pudimos construir un modelo a partir de ese conjunto de datos de 480 ejecuciones que, cuando lo probamos con datos que no se habían utilizado en ese experimento, |
| |
El R cuadrado fue de aproximadamente 0,73, bastante bueno en realidad. Obtenemos un modelo bastante bueno, una comprensión bastante buena del sistema en su conjunto a partir de ese experimento más pequeño... a partir del experimento más grande que se publicó. |
| |
Obtuvimos información muy interesante de esto: necesitábamos usar aprendizaje automático para obtener modelos útiles a partir de estos datos, lo cual nos sorprendió un poco. Lo explicaré con más detalle. |
| |
Y obtuvimos una buena comprensión de los datos recopilados mediante este enfoque conservador. Esto nos permitió comprender bien todo el espacio factorial y por qué ciertas combinaciones funcionan bien. |
| |
Nos permitió identificar regiones alternativas, por lo que si encontramos una combinación de alto rendimiento, pero no es práctica porque es demasiado costosa, |
| |
Los catalizadores son demasiado caros, o quizás son peligrosos o tóxicos y no son susceptibles de un proceso industrial, entonces tenemos muchas alternativas porque comprendemos todo el espacio. |
| |
Entonces, ¿cómo lo hicimos? |
| |
Diseño personalizado en JMP. Nosotros |
| |
Diseñé un diseño óptimo de 480 series, en este caso, en 10 bloques. De nuevo, los 10 bloques representan 10 placas de 48 pocillos cuyo equipo David nos mostró. |
| |
Cabe destacar aquí que especificamos un modelo en diseño personalizado que es para los efectos principales. |
| |
Para las interacciones de segundo y tercer orden. Y con las interacciones de tercer orden y todos esos niveles de estos factores categóricos, |
| |
Hay una gran cantidad de parámetros que deben estimarse, por lo que no pudimos diseñar un experimento para estimarlos todos explícitamente. Necesitamos incluir las interacciones de tercer orden, si es posible. Este es un diseño bayesiano I óptimo con 480 ejecuciones. |
| |
Como se puede ver en esta imagen, estamos mirando las diferentes rondas de experimentos, de las diferentes... 10 placas diferentes. |
| |
Y puedes ver cómo, con la incorporación de la siguiente placa en el experimento, estamos ampliando nuestra exploración del espacio factorial en su conjunto. |
| |
No nos centramos en ninguna región específica; simplemente estamos completando los espacios en nuestro conocimiento sobre todo ese espacio factorial. |
| |
En nuestro experimento usamos 480 ejecuciones y las 4128 filas restantes de ese conjunto de datos publicado. Podemos usar estos datos de prueba para ver qué tan bien se comparan nuestros modelos con un conjunto de datos retenido. |
| |
Ahora esperábamos, a partir de nuestra experiencia y antecedentes en el Departamento de Educación, que |
| |
Cuando diseñamos un experimento para un modelo determinado, las técnicas de regresión estándar nos proporcionarán los modelos más útiles. |
| |
Entonces, aquí usamos JMP Pro y usamos regresión generalizada para ajustar un modelo completo de tercer orden. |
| |
Usamos una distribución beta, que oscila entre cero y uno, por lo que convertimos el rendimiento porcentual a una escala de cero a uno. Es un pequeño truco que, al modelar datos de rendimiento como este, podría ser útil con JMP Pro. |
| |
Y utilizamos selección hacia adelante, con AICc como método de validación, de modo que seleccionaremos los efectos importantes. |
| |
Y repetimos esto después de cada ronda, así que con la primera ronda de 48 carreras, luego la segunda ronda de 96, luego la tercera con 144, hasta la décima ronda donde tenemos las 480 carreras completas. |
| |
Aquí puedes ver el filtro establecido en el registro general solo para ver las primeras tres rondas allí. |
| |
Entonces, para las primeras tres rondas, este es el modelo que obtenemos usando gen reg, selección avanzada y validación AICc. |
| |
Y no es un gran modelo, creo, simplemente por nuestra comprensión intuitiva de lo que esperaríamos de la química. Solo vemos dos de los factores involucrados en el modelo, por lo que solo se seleccionaron dos efectos principales como significativos. |
| |
Así que podemos guardar ese modelo en la tabla de datos y luego podemos ver qué tan bien ese modelo predice los datos retenidos, nuestro conjunto de prueba. |
| |
Las 4128 filas restantes que no estaban en nuestro experimento. Podemos hacer lo mismo en cada ronda. Lo hicimos en cada ronda, así que tenemos 10 modelos que construimos usando gen reg. |
| |
Como alternativa, pensamos que valdría la pena analizar algunos métodos de aprendizaje automático. Aquí, solo analizamos las tres primeras rondas. |
| |
Y como una forma muy rápida de ver muchas técnicas de modelado diferentes, usamos el filtrado de modelos en JMP 16 Pro. |
| |
Simplemente completamos el rendimiento y los factores en Y y X allí. Tenemos una columna de validación de retención configurada para retener el 25% de los datos aleatoriamente para su validación. |
| |
Haga clic en Aceptar y se ejecutarán todas estas diferentes técnicas de modelado, por lo que ahora obtenemos un informe que nos dice |
| |
Qué bien funcionan estas... todas estas diferentes técnicas de modelado, incluidos algunos modelos de registro genético, redes neuronales y diferentes métodos de árbol. |
| |
Seleccionamos los dos mejores. De hecho, en todas las rondas del experimento, descubrimos que los modelos de redes neuronales potenciadas y el bosque bootstrap fueron los de mejor rendimiento. |
| |
Entonces, nuevamente, podemos guardar las fórmulas de predicción y usar aquellas en el conjunto de datos de prueba que no estuvieron involucrados en el experimento para compararlas y ver qué tan bien funcionan nuestros diferentes modelos en comparación con ese conjunto de datos de prueba. |
| |
Y aquí utilizamos la comparación de modelos y JMP Pro, por lo que comparamos todos nuestros modelos de registro general, nuestros modelos de red neuronal y nuestros modelos de bosque bootstrap. |
| |
Ahora, puede visualizar el R cuadrado con respecto a ese conjunto de datos de prueba. ¿Qué tan bien se ajustan esos modelos al conjunto de datos de prueba retenido? |
| |
Y puedes ver el gen reg, los modelos de regresión estándar que usan selección hacia adelante en rojo allí, comenzando |
| |
En la primera ronda, ese era el mejor modelo, pero no mejoraba mucho, y de repente empeoró mucho alrededor del quinto, antes de volver a ser realmente bueno en la siguiente. Por lo tanto, era muy inestable y hacia el final empeoraba, probablemente por sobreajuste. |
| |
Los métodos de aprendizaje automático, por otro lado, son, |
| |
Después de la tercera ronda, su rendimiento es el mejor, superior al de nuestras técnicas de regresión estándar, y están mejorando constantemente. De hecho, |
| |
Puedes ver que las redes neuronales comienzan mejor en verde allí y hacia el final, el bosque bootstrap supera a los modelos de redes neuronales potenciados. |
| |
Así que el método para llevar a casa aquí es que, incluso con esto, lo que podría considerarse una situación relativamente simple, realmente necesita los métodos de aprendizaje automático en JMP Pro para obtener los mejores modelos, los modelos más confiables para este tipo de sistemas o procesos. |
| |
Ahora solo analizamos los gráficos de los resultados de rendimiento reales de las 4608 ejecuciones publicadas, comparándolos con las predicciones de nuestro mejor modelo al final de la décima ronda, tras las 480 ejecuciones completas. A la derecha, se muestra un bosque bootstrap. |
| |
Y no está mal, como pueden ver, los comportamientos importantes que está detectando. Está identificando las regiones de bajo rendimiento y las de mayor rendimiento. Así que... |
| |
Particularmente en la parte superior derecha, están usando un reactivo de yodo (?) y el ácido borónico y el éster borónico. |
| |
reactivos allí. |
| |
Entonces, comparamos esto con el otro enfoque extremo. La primera ronda de 48 ejecuciones fue exactamente la misma; comenzamos con las mismas 48 ejecuciones. Luego, construimos un modelo y lo usamos para determinar cuál, de todas las ejecuciones restantes, |
| |
De las 4.560 ejecuciones restantes, ¿cuál predice el modelo que tendrá el mayor rendimiento? Y luego seguimos haciendo lo mismo en todas las rondas siguientes hasta 10. |
| |
Y en este caso predecimos correctamente más del alto rendimiento y las combinaciones, pero cuando obtenemos el modelo final después de 10 rondas y lo comparamos con los datos |
| |
Que no hemos usado en el experimento, el R cuadrado es pésimo. Es 0,33. Así que, en realidad, el modelo que obtenemos no hace buenas predicciones sobre el sistema en su conjunto. |
| |
Así que estamos comprendiendo bien una región de alto rendimiento y encontrando combinaciones, encontrando configuraciones de los factores que funcionan bien, pero esto no nos permite comprender el sistema en su conjunto. No estamos... |
| |
No estamos reduciendo nuestra variabilidad en nuestra comprensión del sistema como un todo. |
| |
Entonces, solo para mostrarles cómo funciona ese sistema, ese enfoque, estas son nuestras 4608 ejecuciones completas, todas las combinaciones posibles. Y, como mencioné en la Ronda 1, es lo mismo que en la Ronda 1 usando el enfoque conservador, así que es un método óptimo. |
| |
conjunto de puntos allí, y puedes ver que están distribuidos uniformemente en todo el espacio factorial. |
| |
Ajustamos un modelo a los datos de esas 48 ejecuciones. |
| |
Y usamos ese modelo para predecir el rendimiento de todas las demás combinaciones posibles y luego seleccionamos de ellas las 48 predicciones con mayor rendimiento. |
| |
¿Cuáles son esos? Como pueden ver, se centran en la región de mayor rendimiento... ya no exploramos todo el espectro factorial. |
| |
Y si pasamos de las rondas 1, 2, 3 y hasta la ronda 10, pueden ver que cada vez que añadimos ejecuciones al experimento se encuentran justo en la zona de alto rendimiento en la esquina superior izquierda. Así que realmente solo nos centramos en una región del espacio factorial. |
| |
Y si comparamos lo real con lo previsto aquí, puedes ver que está haciendo un buen trabajo en esa región en la parte superior izquierda. |
| |
Pero en otros lugares, las predicciones son bastante desastrosas, como cabría esperar; probablemente no sea tan sorprendente. No hemos realizado experimentos en todo el sistema. En realidad, nos hemos centrado en la región de alto rendimiento. |
| |
Y si lo comparas con nuestro enfoque conservador en el lado izquierdo (ya has visto el gráfico en el lado izquierdo), si observas cómo el modelo |
| |
mejoramos a través de las rondas uno a diez, y luego en cada ronda usamos nuevamente la plataforma de selección de modelos para encontrar el mejor modelo. |
| |
Resultó que, en cada etapa, la red neuronal potenciada fue el mejor modelo. Como pueden ver, es algo inestable, como el gen reg del enfoque conservador. |
| |
A veces está bien, pero nunca... nunca es competitivo con nuestros mejores modelos del experimento conservador. |
| |
Así que esos son los dos extremos, y voy a pasarle la palabra a Ryan, quien va a hablar sobre un enfoque más equilibrado o híbrido para este problema. |
| Ryan Lekivetz |
Así que gracias por eso Phil. Y |
| |
Justo en medio de una presentación, quiero agradecer a Phil, Ben y David por permitirme participar. Como desarrollador, es bastante divertido experimentar un poco. Soy desarrollador en las plataformas DOE de JMP. |
| |
Entonces, como Phil mencionó aquí, el enfoque que estoy considerando aquí es un enfoque híbrido. |
| |
Muy bien, la idea aquí es que analizaremos esta idea de optimización versus exploración. |
| |
Entonces, si piensas en el enfoque ambicioso del que habló Phil, eso es realmente optimización. Voy a buscar estrictamente lo mejor; en eso me centraré. Mientras que ese enfoque conservador se centraba solo en la exploración. |
| |
Así que la idea aquí es si podemos llegar a un punto intermedio para... |
| |
¿Quizás optimizar, mientras seguimos explorando un poco el espacio? |
| |
Les contaré lo que hice aquí... De hecho, comencé con tres placas de pocillos preparadas con antelación. Hice esos tres bloques de tamaño 48 y, si era posible, apliqué los efectos principales con dos FI. |
| |
La razón es que a veces desconfiaba de los modelos con solo 48 pasadas. Pensé: "Bueno, vamos a probarlo un poco. Probemos con las placas de 144 pocillos, o de tres pocillos, para que así pueda confiar un poco más en el modelo". |
| |
Porque, en cierto sentido, incluso considerando ese enfoque ambicioso, si tu modelo era malo, terminarías en zonas desfavorables. No te ayudará mucho. |
| |
Y nuevamente, como antes, todavía voy a hacer 10 placas de pocillos en total o 10 bloques en total al final. |
| |
Hablaré un poco sobre esto en las próximas diapositivas, pero de hecho usé XGBoost todo el tiempo. Así que predije que usaría XGBoost, y hay una razón por la que hablaré... |
| |
por hacer eso. |
| |
Pero la idea aquí era básicamente tomar el valor predictivo. Así que, en lugar de centrarme únicamente en los mejores 48, dije: «Voy a establecer un umbral». |
| |
Bien, entonces después de los primeros tres, comencé con 50. Entonces dije, denme los valores predictivos que sean mayores a 50 y a medida que continúe con más placas de pocillos, aumentaré cinco en cada ronda. |
| |
Quiero decir que eso fue bastante arbitrario; parte de eso fue saber que solo teníamos 10 rondas en total, y eso también se debe a que pude ver, en base a la predicción, cuán grande era ese conjunto. |
| |
Bien, entonces dependiendo de los datos, si pareciera que ese conjunto todavía fuera enorme, que el pronóstico era de alrededor de 50, se podría modificar eso. |
| |
Así que la idea aquí es simplemente comenzar a explorar lentamente lo que esperamos sean las regiones con mayor rendimiento. |
| |
¿Y entonces, estábamos en lo cierto? Bueno, en este caso, obtuvimos 27 de las 80 combinaciones con mayor rendimiento, las superiores a 95, lo que no se alejaba mucho del enfoque codicioso. |
| |
Y si piensas en el R cuadrado, de nuevo, con todos esos datos de reserva, el R cuadrado de la prueba final fue de 0,69, lo cual no se aleja mucho del enfoque conservador. Así que... |
| |
Quizás quieras ser cauteloso ahora mismo, solo mirando esas dos cifras, pero basándonos en eso, este híbrido realmente parece ser lo mejor de ambos mundos. Es decir, estás haciendo un intercambio, pero estás obteniendo algo bueno. |
| |
Algunas ideas sobre este enfoque. En realidad, diría que, al final, logramos una mejor comprensión de los espacios factoriales asociados con el alto rendimiento. |
| |
Creo que los codiciosos, si puedes recordar dónde estaban esos puntos, estaban realmente concentrados en esa esquina superior izquierda, por lo que realmente no exploraron mucho más ese espacio. |
| |
Y os podéis imaginar si... |
| |
Si de repente algo allí cuadruplica su precio de la noche a la mañana, ya no sabes nada más sobre el resto de la región. |
| |
Correcto, y con este enfoque híbrido, obtenemos más de ese cómo y por qué, algunas de las combinaciones, y nos brinda mejores alternativas. |
| |
De nuevo, tal vez si tienes otras cosas que tener en cuenta, estés dispuesto a sacrificar un poquito del rendimiento porque hay mejores alternativas, basadas en otras mediciones. |
| |
Y entonces, realmente, la idea aquí... sí, déjenme explicarles cómo se hizo esto en el diseño personalizado. El enfoque que tomé fue... |
| |
utilizando covariables en el diseñador personalizado, algo que creo que a veces se subestima. |
| |
Pero, entonces la idea es que simplemente tomé ese conjunto de datos completo, es decir, las 4.608 ejecuciones, |
| |
Y para cada ronda... como pueden imaginar, al principio, tomé el diseño de 144 ejecuciones, y luego pensé: "Bueno, voy a tomar un subconjunto de ese conjunto completo de datos". Si ya lo elegí en un diseño anterior, necesito asegurarme de que esté incluido. |
| |
Y luego también, denme los rendimientos previstos por encima de ese cierto valor, así que, de nuevo, para el cuarto diseño, que se inició en 50 y 55, 60, etc. |
| |
Entonces, en la tabla de datos |
| |
Ahora, lo que hago es seleccionar los puntos de diseño que se usaron en experimentos anteriores. Me aseguro de que estén resaltados. Y luego, en el diseño personalizado, al ir a "Añadir factor", hay una opción llamada "Covariable". Y, de nuevo, creo que... |
| |
Mucha gente nunca ha visto realmente las covariables antes y lo mencioné aquí, porque creo que probablemente podría dedicar una charla entera solo a hablar de covariables, |
| |
Pero en realidad habrá un par de entradas de blog (si no están publicadas cuando veas este video, probablemente estarán disponibles dentro de unos días cuando veas esto) |
| |
Aquí hablaré un poco más sobre cómo usar realmente las covariables. Pero la idea es que, quizás ya hayas oído hablar de algo llamado conjunto candidato, así que la idea es... |
| |
Aquí está este conjunto de datos que fue el subconjunto del elegido previamente y todo eso, y le está diciendo al diseñador personalizado que solo puede elegir estos puntos de diseño. |
| |
No se puede hacer de la forma estándar; vamos a intentar cambiar las coordenadas y cosas así. Le dice al diseñador personalizado de JMP que debe usar estas ejecuciones en su diseño y, en particular, |
| |
Una de las opciones que se pueden usar al usar covariables es que se pueden forzar puntos de diseño previamente elegidos, por lo que de esta manera es como hacer una ampliación del diseño. |
| |
Utilizando candidatos después de utilizar covariables. |
| |
Y, claro, porque en este caso no puedo descartar los puntos de diseño con los que ya he experimentado. En realidad, solo queremos elegir los siguientes 48. |
| |
Y también debería mencionar aquí que, si piensas en el diseño personalizado... |
| |
Entonces, en cada uno de estos, lo que estaba haciendo era... las interacciones de dos factores y luego las interacciones de tres factores, si era posible. |
| |
Pero había... eso era más bien un mecanismo para explorar el espacio de diseño, ¿no? El modelo que estaba ajustando... |
| |
Estaba usando XGBoost después del hecho, así que quiero decir que el diseño no estaba optimizado para un modelo XGBoost ni nada por el estilo. |
| |
Esto fue más bien una alternativa para explorar el espacio de diseño donde el rendimiento previsto es favorable y, especialmente, dado que se trataba de factores categóricos, se asegurará de lograr un buen equilibrio. Otra cosa que mencionar: |
| |
Si quisieras... de nuevo, dado que no se utiliza el modelo subyacente, el XGBoost ni nada parecido, podrías usar la respuesta. En este caso, predijeron el rendimiento como otra covariable, y lo que eso haría es intentar lograr un mejor equilibrio entre el rendimiento alto y el bajo. |
| |
respuestas cuando está intentando realizar el diseño. |
| |
Así que no exploramos eso aquí, pero creo que sería algo válido para hacer en el futuro. |
| |
En cuanto al rendimiento previsto, como mencioné... creo que cuando Phil hablaba de otras técnicas de aprendizaje automático que había probado... |
| |
Para mi ???, en realidad me concentré principalmente en XGBoost. |
| |
Y si miras al lado izquierdo, una de las razones por las que hice eso fue para intentar... |
| |
Usando la validación cruzada de K-folds, pero donde uso el número de diseño, que esencialmente sería la placa de pocillos como cada pliegue adicional. Así que, en lugar de seleccionar aleatoriamente los diferentes K-folds, |
| |
Diría: "Voy a mirar la placa de pocillos y luego intentaré mantener eso para cada uno". Así que, si imaginas, para el primero, cuando solo tenía tres placas de pocillos, |
| |
Iba a tomar cada una de esas placas de pocillos, mantenerla y luego ver qué tan bien podía predecir, basándose en las dos restantes. Y así, para cuando llegara a la décima placa, sería como un decuplo. |
| |
Así que parte de mi razonamiento para esto fue pensar en tratar de hacer que ese modelo fuera robusto para esa siguiente placa de pocillo que no has visto. |
| |
Y, en realidad, esto también podría protegerlo si algo sucediera con una placa de pocillo en particular. |
| |
Entonces, tal vez obtengas un poco de protección contra eso también. |
| |
Y otra cosa que hice con XGBoost es que cuando inicias la plataforma XGBoost, a través del complemento, verás que hay una pequeña casilla de verificación en la parte superior para lo que llamamos un diseño de ajuste. |
| |
Y así, con ese diseño de afinación, |
| |
En realidad, se trata de colocar un diseño que llene el espacio detrás de las cubiertas y ejecutar todo eso para los diferentes hiperparámetros. |
| |
Entonces, lo que hice cada vez que hice esto, |
| |
Elegiría un diseño de ajuste para 50 ejecuciones, pero simplemente exploraría ese espacio de hiperparámetros. Así que el modelo que elegiría en cada ronda... |
| |
Fue el que tuvo el mejor R cuadrado de validación. Y, de nuevo, el R cuadrado de validación en este caso utiliza solo los puntos de diseño que tengo, ¿cierto? Así que esto estaba haciendo ese pliegue K con... |
| |
Con esas diferentes placas de pocillos. En este caso, el R cuadrado de validación no es... No estoy usando datos que aún no se han visto, porque, en realidad, aún no los tengo. |
| |
Pero esto solo decía que, usando esa técnica de validación, estaba usando las placas de pocillos. De nuevo, esa es la razón por la que usé XGBoost para la mayor parte de esto: simplemente estaba probando algo diferente que... |
| |
usando esa técnica de pliegues en K, y también, realmente me gusta usar el relleno de espacio también, cuando se trata de XGBoost. |
| |
Veamos esto. Estos son los puntos que se eligen a lo largo de las rondas consecutivas. |
| |
Si piensas en lo que estaba sucediendo con el enfoque codicioso, quiero decir, realmente se estaba concentrando en esa parte superior izquierda. |
| |
Bien, pero ahora, si vemos este enfoque híbrido, |
| |
A medida que comienza a avanzar en las rondas, vemos que esos puntos se llenan un poco más, pero también obtenemos una mejor... una mejor muestra de puntos, especialmente en ese lado izquierdo. |
| |
Bien, entonces si lo piensas desde esa perspectiva, ahora tienes muchas mejores alternativas para esas regiones de alto rendimiento. |
| |
Creo que sí... si ahora analizamos lo real frente a lo previsto, |
| |
En realidad creo que esto también fue revelador, creo, porque exploramos mejor. |
| |
En aquellas regiones de alto rendimiento que tal vez |
| |
No llegamos tan alto, creo, si miramos hacia abajo a la izquierda, creo que hemos hecho un trabajo mucho mejor en el modelo híbrido al elegir algunas de las que pueden ser alternativas viables. |
| |
Una de las cosas buenas de este método también es que puedo concentrarme en más que sólo el rendimiento. |
| |
Bien, entonces si piensas en... |
| |
Podría tener una respuesta secundaria, ya sea algún tipo de toxicidad, podría ser el costo, algo así, |
| |
Puedo centrarme en algo más que el rendimiento al analizar esos valores previstos. Por lo tanto, si piensas en algo como el enfoque codicioso, |
| |
Si se añaden criterios secundarios que se desean considerar, es mucho más difícil lograr ese equilibrio. En cambio, con este enfoque de subconjuntos, no es nada difícil añadir una respuesta secundaria. |
| |
Creo que ahora le cederé la palabra a Ben para que saque sus conclusiones. |
| Ben Francis |
Entonces, |
| |
Muchas gracias a David, Phil y Ryan por brindarnos una visión general de por qué abordamos esto y, finalmente, por brindarnos dos o tres muy buenas soluciones y formas de abordarlo. |
| |
Veamos cómo abordamos este problema. Y en todos estos enfoques, es evidente que el JMP aporta valor a los científicos. Así que, de forma directa y desde el principio, hemos reducido diez veces los recursos para la experimentación. Solo utilizamos el 10 % de las ejecuciones. Y |
| |
En última instancia, lo que estábamos permitiendo en cada situación era la capacidad de cumplir las especificaciones y proporcionar una solución de alto rendimiento a partir de los experimentos. |
| |
Pero además de eso, también mostramos cómo podríamos tener diferentes niveles de comprensión profunda del proceso, dependiendo del objetivo y la estrategia de la empresa que emplee este enfoque. |
| |
Ahora, como habrán notado, los tres de JMP estamos muy interesados en cómo CatSci aborda este problema. No estábamos necesariamente tomando... |
| |
El problema se aleja de CatSci y lo solucionamos nosotros mismos; proporcionamos las herramientas para abordarlo en términos de DOE. Y esta fue una fantástica colaboración entre David como cliente, |
| |
Phil y yo estamos en el área de ventas técnicas, y Ryan en el área de desarrollo de productos. Lo fundamental aquí es que todos veamos esto desde una perspectiva diferente. |
| |
Para permitir ese tipo de solución, como dije antes, podemos analizar el proceso en profundidad de diferentes maneras, dependiendo de los objetivos que se necesiten lograr. |
| |
Descubrimos algunas cosas a lo largo del camino que son realmente emocionantes para nosotros en JMP y que conducirán a mejoras del producto, que luego les transmitiremos a ustedes mismos. |
| |
Como clientes. Aprendimos que los enfoques de aprendizaje automático son aplicables a esta importante situación de DOE y, como saben, con JMP son fáciles de aplicar. También aprendimos a ser cautelosos con los enfoques de validación, y podemos analizarlo más a fondo. |
| |
En definitiva, hemos presentado aquí un buen volumen de trabajo en términos de grandes desafíos del DOE, y estamos seguros de que hay muchas empresas, similares a CatSci, que se ocupan de este tipo de problema. |
| |
Así que los invitamos a todos a explorar más a fondo este trabajo que hemos realizado, y tenemos dos enlaces aquí en términos de la Comunidad donde publicaremos recursos y el video de esto. |
| |
Así como una publicación pública de JMP, que les permite acceder a los datos que utilizamos. De parte de todos los participantes de esta presentación, queremos agradecerles su atención. |
