Vocero
|
Transcripción
|
| David.Wong-Pascua |
Bueno entonces. |
| |
Secuencial y constante gana la carrera. Entonces, hola a todos. Soy David y soy un científico senior en CatSci. Entonces, ¿qué es CatSci? |
| |
CatSci es un socio de innovación para procesos químicos, investigación y desarrollo de principio a fin. Colaboramos con organizaciones como JMP UK para garantizar que todas nuestras decisiones se basen en datos. |
| |
Para nosotros se trata de hacerlo bien, la primera vez y hacerlo bien, siempre; formular soluciones a medida perfectas para cada proyecto; y nuestro enfoque absoluto es cumplir con las expectativas de nuestros clientes. |
| |
Trabajamos en varias áreas, incluido el desarrollo en etapas tempranas y tardías. Poseemos experiencia en procesos, una larga historia de experiencia en catálisis, que siempre ha sido una característica central de nuestra identidad, y tenemos excelentes capacidades en química analítica y ciencia de materiales. |
| |
Entonces, en CatSci, uno de los desafíos que enfrentamos es la selección de variables categóricas antes de la optimización del proceso. |
| |
Esta dificultad es más prominente en nuestro trabajo de selección de catalizadores. |
| |
En las imágenes de la diapositiva, podemos ver algunos de los aparatos e instrumentos en los que confiamos para realizar el cribado del catalizador. |
| |
A la izquierda, tenemos kits de catálisis prefabricados que contienen 24 combinaciones predosificadas de precursor de metal y ligando. |
| |
En el centro hay un hidrogenador que alberga una placa de 48 pocillos, que se puede ver a la derecha. |
| |
Esto permite realizar 48 experimentos individuales simultáneamente. |
| |
Estos instrumentos están diseñados para alto rendimiento y pequeña escala, y no es raro ejecutar 10 o más de estas placas para nuestros clientes, lo que totaliza hasta casi 500 experimentos. |
| |
Entonces, ¿por qué necesitamos ejecutar una cantidad relativamente grande de experimentos y cuáles son los beneficios para mejorar la eficiencia? |
| |
Entonces, en primer lugar, el espacio químico que debe explorarse es extremadamente grande. |
| |
Para cualquier reacción, cualquier reacción química, hay muchos factores que pueden influir, como la temperatura, la concentración y la estequiometría. |
| |
Sin embargo, lo que hace que la exploración sea particularmente desafiante para una reacción catalítica es que hay muchos factores categóricos importantes; estos incluyen precursor de metal, ligando, reactivo, disolvente y aditivo. |
| |
Otra característica de las reacciones catalíticas es que con frecuencia hay interacciones de alto orden, por lo que esto significa que, para un sistema catalítico (una combinación particular de precursor de metal y ligando), |
| |
Es necesario que haya pantallas extensas de solventes y aditivos para medir el rendimiento. |
| |
No es correcto descartar decir una cierta combinación de precursor de metal y ligando justo antes ... solo porque funciona mal en un determinado solvente. Puede darse el caso de que no tenga el disolvente adecuado o el aditivo adecuado para ello. |
| |
Por último, una de las formas más fáciles de explicar el beneficio de un método de cribado más eficiente es observar el precio de los materiales. |
| |
Muchos de nuestros proyectos de catálisis involucran metales preciosos, como platino, paladio, rutenio, iridio y rodio. Algunos de estos metales se encuentran entre los elementos más raros de la corteza terrestre y eso se refleja en su precio. |
| |
Con solo una búsqueda rápida en Google de sus precios, puede ver aquí que el precio del rodio es más de un orden de magnitud más caro que el del oro. |
| |
Otro gran gasto del cribado por catálisis son los ligandos. Si bien existen ligandos baratos, muchos de los ligandos de mejor rendimiento para la síntesis asimétrica son ligandos patentados, como Josiphos de Solvias, |
| |
y uno de los más comúnmente disponibles y más baratos, el J001, sigue siendo el doble del precio del oro. |
| |
Por lo tanto, reducir el número de experimentos puede disminuir el costo de los consumibles, pero el mayor impacto se crea cuando encontramos la solución óptima para un cliente con un proceso de fabricación multiton. |
| |
En estos casos, una reducción de diez veces en la carga de catalizador o el descubrimiento de un catalizador alternativo más barato, por ejemplo, cambiar un catalizador de rodio por uno de rutenio, puede ahorrar millones de dólares al año. |
| |
Y ahora voy a pasar la palabra a Ben, quien discutirá cómo el equipo de JMP UK ha abordado este problema. |
| Ben Francis |
Muchas gracias, David. |
| |
Entonces está claro que |
| |
CatSci y muchas otras empresas similares a CatSci enfrentan grandes desafíos con grandes espacios de formulación, |
| |
que pueden tener interacciones de muy alto orden. Entonces, la ciencia es muy, muy compleja y lo que hacemos para experimentar para desentrañar esa complejidad es importante. |
| |
Desafortunadamente, la opción de probar cada combinación no es realmente sensata o viable, debido a los costos que David describió allí. |
| |
Y, en última instancia, necesitamos hacer algún tipo de enfoque, que involucre ciencia de datos para comprender las relaciones numéricamente. |
| |
Entonces, para continuar y aplicar la formulación elegida a una fabricación ... un escenario de fabricación múltiple, necesitamos saber que funcionará cada vez, como dijo David. |
| |
Así que buscamos literatura, porque en JMP estamos muy interesados en la aplicación del DOE y sentimos que esta era una situación particular del DOE. |
| |
Y como lo llamamos acertadamente, es un gran DOE. Así que buscamos un estudio de caso para aplicar un gran enfoque DOE y encontramos un artículo de Perera et al, |
| |
publicado en 2018, y buscaron una plataforma para esta detección de reacciones. Y lo interesante en este escenario es que tenían cinco factores categóricos. |
| |
Y esto puede no parecer demasiado. Tuvieron que mirar el Reactante 1 y 2, el ligando, los reactivos y el solvente, pero la complejidad de lo que se presentó en este documento fueron los niveles de cada factor. |
| |
Cuatro, tres, doce, ocho y cuatro niveles, respectivamente, todos combinados juntos dan como resultado 4.608 combinaciones distintas. |
| |
Ahora, en el artículo de Perera et al, probaron todas y cada una, lo que obviamente no es una solución viable en términos de todas las empresas del mundo, solo probaron todas las combinaciones, como David describió antes. |
| |
Puede ver aquí en el mapa de calor que pudieron hacerse una idea de que hay algunas regiones de alto rendimiento. |
| |
y algunos de menor rendimiento, y algunos de muy bajo rendimiento también. Así que hubo muchas pruebas para, en última instancia, no tener mucha comprensión del proceso. |
| |
y un coste experimental muy elevado. |
| |
Así que esto finalmente terminó en una situación en la que encontraron una combinación, llegaron a una combinación, que luego pudieron procesar en el papel y decir, mira, esto es, estos son los conceptos generales. |
| |
estuvo bien, la primera vez, pero ¿estuvo bien cada vez, a partir de ese momento, si pusieron eso en un escenario de fabricación de varios toneladas? ¿Continuará proporcionando la especificación requerida? |
| |
¿La gran solución DOE reduce los requisitos de recursos? |
| |
¿Lo hace bien la primera vez y lo hace bien siempre? Y la forma en que podemos medir estas preguntas y cómo nos desempeñamos |
| |
En primer lugar, en términos de reducción de los requisitos de recursos, solo permitimos diseñar un experimento con 480 ejecuciones en total. Y esto imitaba 10 48 placas de trabajo, y esto es alrededor del 10% de las corridas realizadas en el papel. |
| |
¿Lo hace bien la primera vez? Se midió observando cuántas de las combinaciones de alto rendimiento identificadas en el papel, las 80, se probaron o se predijeron. |
| |
por el modelo generado. Y, en última instancia, con el 10% de las ejecuciones, esperábamos obtener al menos ocho combinaciones de alto rendimiento de nuestro ... de nuestros DOE |
| |
(y el alto rendimiento se indica aquí por un valor de más del 95%). |
| |
Finalmente, y de manera crucial, ¿lo hace bien cada vez que se midió al observar los diagnósticos generales del modelo, los R cuadrados? Y, en última instancia, ¿podemos mirar esto y ver si tenemos conocimiento del proceso? ¿Tienen sentido las relaciones? ¿Tienen sentido las combinaciones e interacciones? |
| |
Entonces, lo que hicimos para darnos un par para el curso aquí también, fue usar el conjunto de datos completo de 4.608, encontramos que el R cuadrado de esto era .89, y esto fue con un método de árbol reforzado. |
| |
Así que ahora le voy a dejar la palabra a Phil, quien describirá el primer gran enfoque del DOE que adoptamos. |
| Phil Kay |
Gracias, Ben; gracias, David, por preparar la escena tan bien. Así que analizamos tres enfoques diferentes |
| |
para abordar esto para ver si podemos tomar un número reducido de esas ejecuciones que realmente se probaron en ese documento y aún así obtener la misma información útil que Ben, como se describe. |
| |
Así que voy a hablar sobre dos de esos tres enfoques, y estos dos son enfoques extremos. Hay un enfoque conservador y un enfoque codicioso y luego Ryan hablará sobre el enfoque equilibrado más híbrido que pensamos que probablemente funcionaría mejor en última instancia. |
| |
Entonces, según el enfoque conservador, este es un enfoque estándar del DOE. Diseñamos un diseño personalizado de 480 corridas con 10 bloques, lo que representa 10 placas en el equipo de cribado de catalizador que nos mostró David. |
| |
Y los resultados principales fueron, a partir de ese experimento de 480 ejecuciones, pudimos predecir correctamente que 13 de las combinaciones de mayor rendimiento serían las de alto rendimiento. |
| |
Y pudimos construir un modelo a partir de ese conjunto de datos de 480 ejecuciones que, cuando lo probamos con datos que no se habían utilizado en ese experimento, |
| |
la R al cuadrado era de 0,73, muy buena en realidad. Obtenemos un modelo bastante bueno, una comprensión bastante buena del sistema en su conjunto a partir de ese pequeño experimento en ... del gran experimento que se publicó. |
| |
Algunas ideas realmente interesantes que obtuvimos de esto fueron que necesitábamos usar el aprendizaje automático para obtener modelos útiles a partir de estos datos, y eso fue un poco sorprendente para nosotros. Hablaré de eso con un poco más de detalle. |
| |
Y obtuvimos una buena comprensión de estos datos que recopilamos utilizando este enfoque conservador. Nos dio una buena comprensión de todo el espacio de factores, por qué ciertas combinaciones funcionan bien. |
| |
Nos permitió identificar regiones alternativas, por lo que si encontramos una combinación de alto rendimiento, pero no es práctica porque es demasiado cara, |
| |
los catalizadores son demasiado caros, o tal vez son peligrosos o tóxicos y no son aptos para un proceso industrial, entonces tenemos muchas alternativas porque comprendemos el espacio completo. |
| |
Entonces, ¿cómo hicimos eso? |
| |
Diseño personalizado en JMP. Nosotros |
| |
Diseñé una carrera de 480, diseño óptimo, en este caso, en 10 bloques. Así que nuevamente, los 10 bloques que representan 10 48 placas de pozo para las que David nos mostró el equipo. |
| |
Es de destacar que aquí especificamos un modelo en diseño personalizado que es para los efectos principales. |
| |
para las interacciones de segundo orden y las interacciones de tercer orden. Y con las interacciones de tercer orden y todos esos niveles de estos factores categóricos, |
| |
solo hay una gran cantidad de parámetros que deben estimarse, por lo que en realidad no pudimos diseñar un experimento para estimarlos todos explícitamente. Necesitamos poner las interacciones de tercer orden como, si es posible, por lo que este es un diseño óptimo bayesiano I en 480 corridas. |
| |
Pueden ver en este visual, solo estamos mirando a través de las diferentes rondas de los experimentos, de las diferentes ... 10 placas diferentes. |
| |
Y puede ver cómo, con una adición de la siguiente placa en el experimento, estamos agregando a nuestra exploración del espacio factorial como un todo. |
| |
No nos estamos enfocando en regiones específicas; simplemente estamos llenando los espacios de nuestro conocimiento sobre todo ese espacio de factores. |
| |
Así que son 480 ejecuciones que usamos en nuestro experimento y las restantes 4,128 filas que tenemos de ese conjunto de datos publicado. Podemos usar estos datos de prueba para ver qué tan bien se comparan nuestros modelos en un conjunto de datos retenidos, estos datos de prueba. |
| |
Ahora esperábamos de todos nuestros antecedentes del DOE y nuestra experiencia que |
| |
cuando diseñamos un experimento para un modelo determinado, las técnicas de regresión estándar nos proporcionarán los modelos más útiles. |
| |
Así que usamos JMP Pro aquí y usamos regresión generalizada para ajustar un modelo de tercer orden completo. |
| |
Ahora, en realidad, usamos una distribución beta aquí, que rebota las predicciones entre cero y uno, por lo que convertimos el porcentaje de rendimiento a la escala de cero a uno. Es solo un pequeño truco que cuando está modelando datos de rendimiento como este, es posible que desee usarlo cuando tenga JMP Pro. |
| |
Y usamos la selección hacia adelante, con AICc como método de validación, por lo que seleccionará los efectos importantes. |
| |
Y repetimos esto después de cada ronda, entonces con la primera ronda de 48 carreras, luego la segunda ronda de 96, luego la tercera con 144, hasta la décima ronda donde tenemos las 480 carreras completas. |
| |
Aquí puede ver el filtro configurado en gen reg allí solo para ver las primeras tres rondas allí. |
| |
Entonces, para las primeras tres rondas, este es el modelo que obtenemos usando gen reg, selección directa, validación AICc. |
| |
Y no es un gran modelo, creo, solo intuitivamente desde nuestra comprensión de lo que esperaríamos de la química. Solo estamos viendo dos de los factores involucrados en el modelo, por lo que solo se seleccionan dos efectos principales como significativos. |
| |
Entonces podemos guardar ese modelo en la tabla de datos, y luego podemos ver qué tan bien ese modelo predice los datos retenidos, nuestro conjunto de prueba, |
| |
las restantes 4.128 filas que no estaban en nuestro experimento. Y podemos hacer eso para cada ronda. E hicimos eso para cada ronda, por lo que tenemos 10 modelos que hemos construido usando gen reg. |
| |
Ahora, como alternativa, pensamos que valdría la pena analizar algunos métodos de aprendizaje automático. Y aquí, solo estamos viendo las primeras tres rondas nuevamente. |
| |
Y como una forma realmente rápida de ver muchas técnicas de modelado diferentes, usamos el cribado de modelos en JMP 16 Pro. |
| |
Simplemente completamos el rendimiento y los factores en la Y y las X allí. Tenemos una columna de validación de retención configurada para retener el 25% de los datos al azar para su validación. |
| |
Haga clic en Aceptar y se ejecutarán todas estas técnicas de modelado diferentes, por lo que ahora obtenemos un informe que nos dice |
| |
qué tan bien estas ... todas estas diferentes técnicas de modelado, incluidos algunos modelos gen reg, redes neuronales y diferentes métodos de árbol. |
| |
Y hemos seleccionado los dos mejores allí. Y, de hecho, a lo largo de todas las rondas del experimento, descubrimos que los modelos de redes neuronales potenciadas neuronales y el bosque de arranque eran los modelos de mejor rendimiento. |
| |
Entonces, nuevamente, podemos guardar las fórmulas de predicción y usar aquellas en el conjunto de datos de prueba que no estuvieron involucradas en el experimento para compararlas y ver qué tan bien están funcionando nuestros diferentes modelos en comparación con ese conjunto de datos de prueba. |
| |
Y usamos la comparación de modelos y JMP Pro aquí, por lo que comparamos todos nuestros modelos de gen reg, nuestros modelos de redes neuronales y nuestros modelos de bosque de arranque. |
| |
Y ahora está viendo una imagen de la R al cuadrado con ese conjunto de datos de prueba. Qué tan bien se ajustan esos modelos al conjunto de datos de prueba retenidos. |
| |
Y puede ver el gen reg, los modelos de regresión estándar que usan la selección hacia adelante en rojo allí, comenzando |
| |
en la primera ronda, ese es en realidad el mejor modelo, pero no mejora realmente, y luego, de repente, va muy mal alrededor de las cinco, antes de volver a ser realmente bueno en la siguiente ronda. Muy inestable y hacia el final empeorando, probablemente sobreajustado. |
| |
Los métodos de aprendizaje automático, por otro lado, son, |
| |
después de la tercera ronda, se están desempeñando mejor, mejor que nuestras técnicas de regresión estándar y están mejorando por completo. Y de hecho, |
| |
puede ver que los neuronales comienzan mejor en verde allí, y hacia el final, el bosque de arranque está superando a los modelos de redes neuronales impulsadas. |
| |
Entonces, el método para llevar a casa aquí es incluso con esto, lo que podría considerar una situación relativamente simple, realmente necesita los métodos de aprendizaje automático en JMP Pro para obtener los mejores modelos, los modelos más confiables para este tipo de sistemas o procesos. |
| |
Ahora solo estamos viendo gráficos de los resultados de rendimiento reales para todas esas 4.608 ejecuciones que se publicaron frente a las predicciones de nuestro mejor modelo al final de la ronda 10, después de las 480 ejecuciones completas allí. Así que ese era un bosque de arranque a la derecha. |
| |
Y no está mal, sabes que puedes ver los comportamientos importantes que está adquiriendo. Está identificando las regiones de bajo rendimiento y está identificando las regiones de mayor rendimiento. Entonces hay |
| |
particularmente arriba a la derecha, están usando un reactante de yodo (?) y el ácido borónico y el éster borónico |
| |
reactivos allí. |
| |
Entonces, comparamos esto con el otro enfoque extremo. Así que la primera ronda de 48 carreras fue exactamente la misma; comenzamos con las mismas 48 carreras. Luego construimos un modelo y usamos ese modelo para averiguar cuál, de todas las ejecuciones restantes, |
| |
de las 4.560 carreras restantes completas que hay, cuál de ellas predice el modelo que tendrá el rendimiento más alto, y luego seguimos haciéndolo en todas las rondas posteriores hasta 10. |
| |
Y en este caso predecimos correctamente más del alto rendimiento y las combinaciones, pero cuando obtenemos el modelo final después de 10 rondas y lo comparamos con los datos |
| |
Que no hemos usado en el experimento, la R al cuadrado es terrible. Es .33. Entonces, realmente, el modelo que obtenemos no hace buenas predicciones sobre el sistema en su conjunto. |
| |
Así que estamos obteniendo una buena comprensión de una región de alto rendimiento y está encontrando combinaciones, encontrando configuraciones de los factores que funcionan bien, pero realmente no nos permite comprender el sistema como un todo. No eran... |
| |
no estamos reduciendo nuestra variabilidad en nuestra comprensión del sistema como un todo. |
| |
Entonces, solo para mostrarle cómo funciona ese sistema, ese enfoque, estas son nuestras 4,608 carreras completas, todas las combinaciones que son posibles, y, como mencioné en la Ronda 1, eso es lo mismo que la Ronda 1 usando el enfoque conservador Yo optimo |
| |
conjunto de puntos allí, y puede ver que están distribuidos uniformemente en el espacio factorial. |
| |
Ajustamos un modelo a los datos de esas 48 corridas. |
| |
Y usamos ese modelo para predecir el rendimiento de todas las otras combinaciones posibles y luego seleccionamos entre esas 48 predicciones de mayor rendimiento, |
| |
que son esos. Como puede ver, están enfocados en la región de mayor rendimiento del ... no estamos ... ya no estamos explorando el espacio de factores completo. |
| |
Y si pasamos de la Ronda 1, 2, 3 y hasta la Ronda 10, puede ver, cada vez que estamos agregando ... estamos agregando carreras al experimento que están en esa zona de alto rendimiento en la parte superior. izquierda. Entonces, realmente nos estamos enfocando en una región del espacio factorial. |
| |
Y si comparamos lo real con lo pronosticado aquí, puede ver que está haciendo un buen trabajo en esa región en la parte superior izquierda. |
| |
Pero en otros lugares está haciendo predicciones bastante espantosas, como cabría esperar; probablemente no sea tan sorprendente. No hemos experimentado en todo el sistema. Realmente nos hemos centrado en esa región de alto rendimiento. |
| |
Y si lo compara con nuestro enfoque conservador en el lado izquierdo (entonces ya ha visto el gráfico en el lado izquierdo allí) si observa cómo el modelo |
| |
mejorado a través de las rondas 1 a 10, y luego en cada ronda usamos la plataforma de selección de modelos nuevamente para encontrar el mejor modelo. |
| |
Y resultó que en cada etapa, en realidad, la red neuronal potenciada era el mejor modelo. Bueno, puedes ver de nuevo que es un poco inestable como el gen reg del enfoque conservador. |
| |
A veces está bien, pero nunca ... nunca es competitivo con nuestros mejores modelos del experimento conservador. |
| |
Entonces esos son los dos extremos, y le voy a pasar a Ryan, quien va a hablar sobre un enfoque más equilibrado o híbrido de este problema. |
| Ryan Lekivetz |
Así que gracias por eso Phil. Y |
| |
en realidad, en medio de una presentación, debo agradecer a Phil, Ben y David por permitirme participar en esto. Como desarrollador, es divertido jugar un poco. Así que soy desarrollador en las plataformas DOE en JMP. |
| |
Entonces, como Phil mencionó aquí, el enfoque que estoy viendo aquí es un enfoque híbrido. |
| |
Muy bien, la idea aquí es que veremos esta idea de optimización versus exploración. |
| |
Entonces, si piensas en el enfoque codicioso del que habló Phil, esa es realmente esa optimización. Voy estrictamente por lo mejor, eso es todo en lo que me voy a concentrar. Mientras que ese enfoque conservador, todo lo que le importaba era la exploración. |
| |
Entonces, la idea aquí es que, ¿podemos llegar a algún lugar intermedio para |
| |
¿Quizás optimizar, sin dejar de explorar un poco el espacio? |
| |
Entonces diré lo que hice aquí ... así que en realidad comencé con una especie de tres de las placas de pocillos colocadas con anticipación, ¿verdad? Así que hice esos tres bloques de tamaño 48 y solo hice efectos principales con If Possible 2FIs. |
| |
La razón de esto es que a veces, realmente no confiaba en los modelos con solo 48 carreras. Dije, bueno, vamos a darle un poco de calor. Probemos las placas de 144 o tres pocillos, así que quizás pueda confiar un poco más en el modelo. |
| |
Porque en cierto sentido, incluso si piensas en ese enfoque codicioso, si tu modelo fue malo, vas a ir a regiones terribles. No te va a ayudar mucho. |
| |
Y de nuevo ... como antes, todavía haré 10 placas de pocillos en total o 10 bloques en total al final. |
| |
Y hablaré de esto un poco en las diapositivas futuras, pero en realidad estaba usando XGBoost en todo momento. Entonces, la forma en que estaba prediciendo era usando XGBoost y hay una razón por la que llegaré a |
| |
por hacer eso. |
| |
Pero, entonces, la idea aquí era esencialmente tomar cuál era el valor predictivo. Entonces, en lugar de ir estrictamente detrás de los mejores 48, dije, voy a establecer un umbral. |
| |
Bien, después de los primeros tres, comencé a los 50. Entonces dije, dame los valores predictivos que sean mayores que 50 y mientras sigo avanzando en más placas de pozos, aumentaré cinco en cada ronda. |
| |
Quiero decir que fue bastante arbitrario; parte de eso fue saber que solo teníamos 10 rondas y en total, y eso también porque podía ver en base a la predicción qué tan grande era ese set. |
| |
Correcto, entonces, dependiendo de los datos, si parece que el conjunto sigue siendo enorme, que el predicho es alrededor de 50, puedes modificarlo. |
| |
Entonces, la idea aquí es realmente comenzar a explorar lentamente lo que, con suerte, deberían ser las regiones de mayor rendimiento. |
| |
Y entonces, ¿teníamos razón? Bueno, en esto, en realidad obtuvimos 27 de las 80 combinaciones de mayor rendimiento, aquellas por encima de 95, que no estaban tan lejos del enfoque codicioso. |
| |
Y si piensas en la R al cuadrado, de nuevo, con todos esos datos retenidos, es que la prueba final R al cuadrado era .69, por lo que en realidad ni siquiera estaba tan lejos del enfoque conservador. Así que solo el ... |
| |
Quiero decir, puede ser ... es posible que desee ser cauteloso, en este momento, solo mirando esos dos números, pero en base a eso, este híbrido realmente parece ser lo mejor de ambos mundos. Quiero decir, lo estás intercambiando, pero, pero estás obteniendo algo bueno. |
| |
Así que solo algunas ideas sobre este enfoque. Realmente, diría, al final, que obtuvimos una mejor comprensión de esos espacios de factores asociados con el alto rendimiento. |
| |
Creo que los codiciosos, si pueden recordar dónde estaban esos puntos, estaban realmente concentrados en la parte superior izquierda, por lo que realmente no exploraron mucho más ese espacio. |
| |
Y te puedes imaginar si ... |
| |
si algo allí de repente cuadriplica su precio de la noche a la mañana, ahora no sabe nada más sobre el resto de la región. |
| |
Bien, y con este enfoque híbrido, obtenemos algo más de cómo y por qué, algunas de las combinaciones, y nos brinda mejores alternativas. |
| |
una vez más, si tiene otras cosas que considerar, está dispuesto a sacrificar un poquito del rendimiento porque hay mejores alternativas, basadas en otras mediciones. |
| |
Y entonces, realmente, la idea aquí ... sí, así que permítanme entrar en cómo se hizo esto en el diseño personalizado, ¿verdad? Entonces el enfoque que tomé fue |
| |
usando covariables en el diseñador personalizado, que creo que a veces se subestima. |
| |
Pero, la idea es que tomé ese conjunto de datos completo, por lo que el total de 4,608 se ejecuta, |
| |
y para cada ronda ... así que pueden imaginar, al principio, tomé esos ... Tomé el diseño de 144 corridas, y luego dije, bueno, voy a tomar un subconjunto de ese conjunto de datos completo. Si ya lo elegí en un diseño anterior, bueno, necesito asegurarme de que esté incluido. |
| |
Y luego, también, dame los rendimientos predichos por encima de ese cierto valor, así que nuevamente, para el cuarto diseño, que se inició en 50 y 55, 60, etc. |
| |
Entonces en la tabla de datos |
| |
ahora, lo que hago es seleccionar los puntos de diseño que se usaron en experimentos anteriores. Así que me aseguro de que estén resaltados. Y luego el diseño personalizado, cuando pasa por debajo del factor de adición, hay una opción llamada covariable. Y de nuevo, creo que es ... |
| |
Mucha gente nunca ha visto covariables antes y, como mencioné aquí, porque creo que probablemente podría pasar una charla entera hablando de covariables, |
| |
pero en realidad habrá un par de entradas de blog (si no están publicadas cuando veas este video, probablemente dentro de unos días para cuando lo veas) |
| |
donde voy a hablar un poco más sobre cómo usar realmente las covariables. Pero la idea es que es posible que también hayas escuchado algo llamado conjunto de candidatos antes, así que la idea es ... |
| |
aquí está este conjunto de datos que era el subconjunto del elegido previamente y todo eso, y le dice al diseñador personalizado que solo puede elegir estos puntos de diseño. |
| |
No se puede hacer de la forma estándar, vamos a seguir intentando cambiar las coordenadas y todo eso. Le dice al diseñador personalizado de JMP que debe utilizar estas ejecuciones en su diseño y, en particular, |
| |
una de las opciones que usan covariables es que puede forzar puntos de diseño previamente elegidos, por lo que de esta manera es como hacer un aumento de diseño |
| |
usando candidatos después de usar covariables. |
| |
Y, por supuesto, porque en esto ... en este caso, realmente no puedo descartar esos puntos de diseño con los que he experimentado anteriormente. Realmente, todo lo que queremos hacer es elegir los siguientes 48. |
| |
Y también debería mencionar aquí, sin embargo, si piensas en el diseño personalizado ... |
| |
Entonces, en cada uno de estos, lo que estaba haciendo era ... entonces las interacciones de dos factores y luego las interacciones de tres factores si es posible. |
| |
Pero había ... realmente era más un mecanismo para explorar el espacio de diseño, ¿no? El modelo que me estaba ajustando |
| |
estaba usando XGBoost después del hecho, así que me refiero a que el diseño no estaba optimizado para un modelo XGBoost ni nada por el estilo. |
| |
Esto fue más como un sustituto para decir, explorar ese espacio de diseño donde el rendimiento predicho se ve bien y, especialmente, debido a que se trataba de factores categóricos, se asegurará de que intente obtener un buen equilibrio. Otra cosa para mencionar, |
| |
si quisieras ... nuevamente, porque no está usando ese modelo subyacente, el XGBoost o algo por el estilo, podrías usar la respuesta. Entonces, en este caso, predijeron el rendimiento como otra covariable, y lo que haría es intentar obtener un mejor equilibrio entre el rendimiento alto y bajo. |
| |
respuestas cuando intenta hacer el diseño. |
| |
Así que no exploramos eso aquí, pero creo que sería algo válido para hacer en el futuro. |
| |
Entonces, al rendimiento previsto. Entonces, como mencioné en ... creo que cuando Phil estaba hablando sobre algunas de las otras técnicas de aprendizaje automático que había probado |
| |
Para mi ???, me concentré principalmente en XGBoost. |
| |
Y si miras en el lado izquierdo, una de las razones por las que hice eso fue para intentar |
| |
usando la validación cruzada de pliegues K, pero donde uso el número de diseño, que sería esencialmente la placa del pozo en cada pliegue adicional. Entonces, en lugar de seleccionar aleatoriamente los diferentes K pliegues, |
| |
diría, voy a mirar la placa de pocillos y luego voy a tratar de mantener eso para cada uno. Entonces, si imagina, para el primero, cuando solo tenía tres placas de pocillos, |
| |
iba a tomar cada una de esas placas de pocillos, sostenerlas y luego ver qué tan bien podía predecir, basándose en las dos restantes. Y así, para cuando llegara al décimo ... la placa del décimo pocillo, en realidad sería como diez veces. |
| |
Entonces, parte de mi razonamiento fue pensar en tratar de hacer que ese modelo sea robusto para la siguiente placa de pozos que no ha visto. |
| |
Y, en realidad, esto quizás también lo protegería si algo sucediera con una placa de pocillos en particular, |
| |
entonces, quizás también obtenga un poco de protección. |
| |
Y otra cosa que hice con XGBoost es que cuando inicias la plataforma XGBoost, como a través del complemento, verás que hay una pequeña casilla de verificación en la parte superior para lo que llamamos un diseño de ajuste. |
| |
Y así, con ese diseño de afinación, |
| |
en realidad, está colocando un diseño de relleno de espacio detrás de las cubiertas y ejecutando todo eso para los diferentes hiperparámetros. |
| |
Entonces, ¿qué hice por cada vez que hice esto? |
| |
Elegiría un diseño de ajuste para 50 carreras, pero simplemente exploraría ese espacio de hiperparámetros. Y entonces el modelo que elegiría en cada ronda |
| |
fue el que tuvo la mejor validación R cuadrado. Y así, de nuevo, la validación R al cuadrado en este caso en realidad está usando solo los puntos de diseño que tengo, ¿verdad? Así que esto estaba haciendo ese doblez K con el ... |
| |
con esas diferentes placas de pocillos. Entonces, en este caso, la validación R al cuadrado no es ... No estoy usando esos datos que aún no se han visto, porque nuevamente, en realidad, todavía no tengo esos datos. |
| |
Pero esto solo decía usar esa técnica de validación, donde estaba usando las placas de pocillos. Así que, de nuevo, esa es la razón por la que estaba usando XGBoost para la mayor parte de esto, estaba intentando algo diferente que |
| |
usando esa técnica de K Folds, y también, realmente me gusta usar el relleno de espacio también, cuando se trata de ese XGBoost. |
| |
Así que echemos un vistazo aquí. Entonces, como vemos aquí, estos son los puntos que se eligen a lo largo de las rondas consecutivas. Ahora, |
| |
si piensas en lo que estaba sucediendo en el enfoque codicioso, quiero decir, realmente se estaba enfocando en esa parte superior izquierda. |
| |
Bien, pero ahora, si ve con este enfoque híbrido, |
| |
a medida que comienza a avanzar en las rondas, ve que llena esos puntos un poco más, pero también obtenemos una mejor ... una mejor muestra de puntos, especialmente en ese lado izquierdo. |
| |
Bien, si lo piensa desde la perspectiva, ahora tiene alternativas mucho mejores para esas regiones de alto rendimiento. |
| |
Creo que sí ... si echamos un vistazo ahora a lo real frente a lo previsto, |
| |
De hecho, creo que esto también fue revelador, creo, porque hicimos una mejor exploración. |
| |
En esas regiones de alto rendimiento que tal vez |
| |
no llegó tan alto, creo, si miras hacia la parte inferior izquierda, creo que hemos hecho un trabajo mucho mejor en el modelo híbrido al elegir algunas de las que pueden ser alternativas viables. |
| |
Una de las cosas buenas de este método también es que puedo concentrarme en algo más que en el rendimiento. |
| |
Bien, si piensas en ... |
| |
Podría tener una respuesta secundaria, ya sea algún tipo de toxicidad, podría tener un costo, cualquier cosa por el estilo, |
| |
Puedo concentrarme en más que solo el rendimiento cuando miro esos valores predichos. Entonces, si piensa en algo como el enfoque codicioso, |
| |
si comienza a agregar criterios secundarios ... secundarios que desea considerar, es mucho más difícil comenzar a hacer ese equilibrio. Mientras que con este enfoque de subconjunto, realmente no es nada difícil agregar una respuesta secundaria al hacerlo. |
| |
Creo que se lo pasaré ahora a Ben para que dé sus conclusiones. |
| Ben Francis |
Asi que, |
| |
muchas gracias a David, Phil y Ryan por darnos un trasfondo de por qué estamos abordando esto y, finalmente, por darnos dos, tres muy buenas soluciones y formas de |
| |
vea cómo abordamos este problema. Y en todos estos enfoques, está claro que JMP está aportando valor a los científicos. Así que tenemos una reducción de diez veces los recursos para la experimentación. Solo usamos el 10% de las carreras. Y |
| |
en última instancia, lo que permitimos en cada situación fue la capacidad de cumplir con las especificaciones y proporcionar una solución de alto rendimiento a partir de los experimentos. |
| |
Pero además de eso, también mostramos cómo podríamos tener diferentes niveles de comprensión profunda del proceso, según el objetivo y la estrategia de la empresa que emplee este enfoque. |
| |
Ahora, puede notar que, nosotros tres de JMP, estamos muy interesados en cómo CatSci aborda este problema. No necesariamente estábamos tomando |
| |
alejar el problema de CatSci y solucionarlo nosotros mismos; proporcionamos las herramientas para abordar esto en términos de DOE. Y esta fue una colaboración fantástica entre David como cliente, |
| |
Phil y yo del lado de las ventas técnicas, y Ryan del desarrollo de productos, y es clave aquí que todos estemos viendo esto desde una perspectiva diferente |
| |
para permitir ese tipo de solución, que, como dije antes, podemos considerar una especie de comprensión profunda del proceso de diferentes maneras, dependiendo de los objetivos de lo que se necesita lograr. |
| |
Descubrimos algunas cosas a lo largo del camino, lo cual es realmente emocionante para nosotros en JMP y conducirá a mejoras en el producto, que luego les devolvemos a ustedes mismos. |
| |
como clientes. Aprendimos que los enfoques de aprendizaje automático son aplicables a esta gran situación de DOE y, como saben, con JMP son sencillos de aplicar. Y también aprendimos a ser cautelosos en términos de los enfoques de validación, y podemos investigarlo más a fondo. |
| |
Entonces, en última instancia, presentamos aquí un buen volumen de trabajo en términos de grandes desafíos del DOE, y estamos seguros de que hay muchas empresas, similares a CatSci, que se enfrentan a este tipo de problemas. |
| |
Entonces, todos lo invitamos a explorar más este trabajo que hemos hecho, y tenemos dos enlaces aquí en términos de la Comunidad donde publicaremos recursos y el video de esto, |
| |
así como una publicación pública de JMP, que le permite acceder a los datos que utilizamos en este. Así que de parte de todos en esta presentación, queremos agradecerles por vernos. |
