Vocero
|
Transcripción
|
| David.Wong-Pascua |
Bueno entonces. |
| |
Secuencial y constante gana la carrera. Entonces, hola a todos, soy David y soy científico senior en CatSci. Entonces, ¿qué es CatSci? |
| |
CatSci es un socio de innovación para procesos químicos, investigación y desarrollo de extremo a extremo. Colaboramos con organizaciones como JMP UK para garantizar que todas nuestras decisiones estén basadas en datos. |
| |
Para nosotros se trata de hacerlo bien la primera vez y hacerlo bien cada vez; formular soluciones a medida perfectas para cada proyecto; y nuestro enfoque absoluto es cumplir con las expectativas de nuestros clientes. |
| |
Trabajamos en una serie de áreas, incluido el desarrollo en etapas tempranas y tardías. Contamos con experiencia en procesos, una larga historia de experiencia en catálisis, que siempre ha sido una característica central de nuestra identidad, y tenemos excelentes capacidades en química analítica y ciencia de materiales. |
| |
Entonces, en CatSci, uno de los desafíos que enfrentamos es la selección de variables categóricas antes de la optimización del proceso. |
| |
Esta dificultad es más prominente en nuestro trabajo de selección de catalizadores. |
| |
En las imágenes de la diapositiva, podemos ver algunos de los aparatos e instrumentos en los que confiamos para realizar la detección de catalizadores. |
| |
A la izquierda, tenemos kits de catálisis prefabricados que contienen 24 combinaciones predosificadas de precursor de metal y ligando. |
| |
En el centro hay un hidrogenador que alberga una placa de 48 pozos, que se puede ver a la derecha. |
| |
Esto permite realizar 48 experimentos individuales simultáneamente. |
| |
Estos instrumentos están diseñados para alto rendimiento y pequeña escala, y no es raro ejecutar 10 o más de estas placas para nuestros clientes, lo que suma un total de casi 500 experimentos. |
| |
Entonces, ¿por qué necesitamos ejecutar una cantidad relativamente grande de experimentos y cuáles son los beneficios para mejorar la eficiencia? |
| |
Entonces, en primer lugar, el espacio químico que debe explorarse es extremadamente grande. |
| |
Para cualquier reacción, cualquier reacción química, hay muchos factores que pueden tener un efecto, como la temperatura, la concentración y la estequiometría. |
| |
Sin embargo, lo que hace que la exploración sea particularmente desafiante para una reacción catalítica es que hay muchos factores categóricos importantes; estos incluyen precursor de metal, ligando, reactivo, solvente y aditivo. |
| |
Otra característica de las reacciones catalíticas es que frecuentemente hay interacciones de alto orden, lo que significa que, para un sistema catalítico (una combinación particular de precursor metálico y ligando), |
| |
es necesario que haya extensos filtros de solventes y aditivos para medir el rendimiento. |
| |
No es correcto descartar decir una cierta combinación de precursor de metal y ligando justo antes... solo porque funciona mal en cierto solvente. Puede darse el caso de que no tenga el disolvente adecuado o el aditivo adecuado para ello. |
| |
Por último, una de las formas más fáciles de explicar el beneficio de un método de selección más eficiente es observar el precio de los materiales. |
| |
Muchos de nuestros proyectos de catálisis involucran metales preciosos, como platino, paladio, rutenio, iridio y rodio. Algunos de estos metales se encuentran entre los elementos más raros de la corteza terrestre y eso se refleja en su precio. |
| |
Solo una búsqueda rápida en Google de sus precios, puede ver aquí que el precio del rodio es más caro que el oro en un orden de magnitud. |
| |
Otro gran gasto del cribado por catálisis son los ligandos. Si bien existen ligandos baratos, muchos de los ligandos de mayor rendimiento para la síntesis asimétrica son ligandos patentados, como Josiphos de Solvias, |
| |
y uno de los más comúnmente disponibles y más baratos, J001, sigue siendo el doble del precio del oro. |
| |
Por lo tanto, reducir la cantidad de experimentos puede disminuir el costo de los consumibles, pero el mayor impacto se crea cuando encontramos la solución óptima para un cliente con un proceso de fabricación de varias toneladas. |
| |
En estos casos, una reducción de diez veces en la carga del catalizador o el descubrimiento de un catalizador alternativo más barato, por ejemplo, cambiar un catalizador de rodio por uno de rutenio, puede ahorrar millones de dólares por año. |
| |
Y ahora le paso la palabra a Ben, quien discutirá cómo el equipo de JMP UK ha abordado este problema. |
| ben francisco |
Así que muchas gracias, David. |
| |
Así que está claro que |
| |
CatSci y muchas otras empresas similares a CatSci enfrentan grandes desafíos con grandes espacios de formulación, |
| |
que pueden tener interacciones de muy alto orden. Entonces, la ciencia es muy, muy compleja y lo que hacemos para experimentar para desentrañar esa complejidad es importante. |
| |
Desafortunadamente, la opción de probar cada combinación no es realmente sensata ni viable, debido a los costos que David describió allí. |
| |
Y, en última instancia, debemos hacer algún tipo de enfoque, que involucre la ciencia de datos para comprender las relaciones numéricamente. |
| |
Entonces, para proceder y aplicar la formulación elegida a un escenario de fabricación... un escenario de fabricación múltiple, necesitamos saber que funcionará cada vez, como dijo David. |
| |
Así que buscamos literatura, porque en JMP estamos muy interesados en la aplicación de DOE, y sentimos que esta era una situación particular de DOE. |
| |
Y como lo llamamos acertadamente, es un gran DOE. Así que buscamos un estudio de caso para aplicar un gran enfoque DOE y encontramos un artículo de Perera et al, |
| |
publicado en 2018, y buscaron una plataforma para esta evaluación de reacciones. Y lo interesante en este escenario es que tenían cinco factores categóricos. |
| |
Y esto puede no parecer demasiado. Tuvieron que mirar el Reactivo 1 y 2, el ligando, los reactivos y el solvente, pero la complejidad de lo que se presentó en este documento fueron los niveles de cada factor. |
| |
Cuatro, tres, doce, ocho y cuatro niveles, respectivamente, todos combinados juntos dan como resultado 4.608 combinaciones distintas. |
| |
Ahora, en el artículo de Perera et al, probaron cada uno de ellos, lo que obviamente no es una solución viable en términos de todas las empresas del mundo, solo probaron cada combinación, como David describió antes. |
| |
Puede ver aquí en el mapa de calor que pudieron hacerse una idea de que hay algunas regiones de alto rendimiento |
| |
y algunos de menor rendimiento, y algunos muy bajos también. Así que hubo muchas pruebas para finalmente terminar en una comprensión del proceso realmente escasa. |
| |
y un costo experimental muy alto. |
| |
Entonces, esto finalmente terminó en una situación en la que encontraron una combinación, llegaron a una combinación, que luego pudieron procesar en el papel y decir mira, esto es, estos son los generales. |
| |
fue correcto, la primera vez, pero ¿fue correcto cada vez, desde ese punto en adelante, si pusieron eso en un escenario de fabricación de varias toneladas? ¿Seguiría proporcionando la especificación que se requería? |
| |
¿La gran solución DOE reduce los requisitos de recursos? |
| |
¿Lo hace bien la primera vez y lo hace siempre bien? Y la forma en que podemos medir estas preguntas y cómo nos desempeñamos |
| |
fue en primer lugar en términos de reducir los requisitos de recursos, solo permitimos diseñar un experimento con 480 ejecuciones en total. Y esto estaba imitando 10 48 placas de trabajo, y esto es alrededor del 10% de las corridas realizadas en el papel. |
| |
¿Lo hace bien la primera vez? Se midió observando cuántas de las combinaciones de alto rendimiento identificadas en el artículo, las 80, se probaron o predijeron. |
| |
por el modelo generado. Y, en última instancia, con el 10 % de las ejecuciones, esperábamos obtener al menos ocho combinaciones de alto rendimiento de nuestros… de nuestros DOE. |
| |
(y el alto rendimiento se indica aquí por un valor de más del 95%). |
| |
Finalmente, y de manera crucial, ¿lo hace bien cada vez que se midió al observar el diagnóstico general del modelo, los R cuadrados? Y, en última instancia, ¿podemos analizar esto y ver si tenemos conocimiento del proceso? ¿Tienen sentido las relaciones? ¿Las combinaciones e interacciones tienen sentido? |
| |
Entonces, lo que hicimos para darnos un par para el curso aquí también fue usar el conjunto de datos completo de 4,608, descubrimos que la R cuadrada de esto era .89, y esto era con un método de árbol potenciado. |
| |
Así que ahora voy a ceder el paso a Phil, quien describirá el primer gran enfoque del DOE que tomamos. |
| phil kay |
Gracias Ben; gracias, David, por preparar la escena tan bien. Así que analizamos tres enfoques diferentes |
| |
para abordar esto para ver si podemos tomar un número reducido de esas ejecuciones que realmente se probaron en ese documento y aún así obtener la misma información útil que Ben, como se describe. |
| |
Así que voy a hablar sobre dos de esos tres enfoques, y estos dos son enfoques extremos. Hay un enfoque conservador y un enfoque codicioso y luego Ryan hablará sobre el enfoque más híbrido y equilibrado que pensamos que probablemente funcionaría mejor en última instancia. |
| |
Entonces, según el enfoque conservador, este es un enfoque DOE estándar. Diseñamos un diseño personalizado de 480 ejecuciones con 10 bloques, lo que representa 10 placas en el equipo de cribado de catalizadores que David nos mostró. |
| |
Y los resultados principales fueron que, a partir de ese experimento de 480 ejecuciones, pudimos predecir correctamente que 13 de las combinaciones de mayor rendimiento serían las de alto rendimiento. |
| |
Y pudimos construir un modelo a partir de ese conjunto de datos de 480 ejecuciones que, cuando lo probamos con datos que no se habían usado en ese experimento, |
| |
la R cuadrada fue de aproximadamente 0,73, por lo que en realidad es bastante buena. Obtenemos un modelo bastante bueno, una comprensión bastante buena del sistema como un todo a partir de ese experimento más pequeño... del gran experimento que se publicó. |
| |
Algunas ideas realmente interesantes que obtuvimos de esto fueron que necesitábamos usar el aprendizaje automático para obtener modelos útiles a partir de estos datos, y eso nos sorprendió un poco. Hablaré de eso con un poco más de detalle. |
| |
Y obtuvimos una buena comprensión de estos datos que recopilamos utilizando este enfoque conservador. Nos dio una buena comprensión de todo el espacio de factores, por qué ciertas combinaciones funcionan bien. |
| |
Nos permitió identificar regiones alternativas, por lo que si encontramos una combinación de alto rendimiento, pero no es práctica porque es demasiado costosa, |
| |
los catalizadores son demasiado caros, o tal vez son peligrosos o tóxicos y no se pueden someter a un proceso industrial, entonces tenemos muchas alternativas porque tenemos una comprensión del espacio completo. |
| |
Entonces, ¿cómo hicimos eso? |
| |
Diseño personalizado en JMP. Nosotros |
| |
Diseñé una carrera de 480, diseño óptimo, en este caso, en 10 bloques. Nuevamente, los 10 bloques representan 10 48 placas de pocillos para los que David nos mostró el equipo. |
| |
Cabe destacar aquí que especificamos un modelo en diseño personalizado que es para los efectos principales. |
| |
para las interacciones de segundo orden y las interacciones de tercer orden. Y con las interacciones de tercer orden y todos esos niveles de estos factores categóricos, |
| |
solo hay una gran cantidad de parámetros que deben estimarse, por lo que en realidad no podríamos diseñar un experimento para estimar todos ellos explícitamente. Necesitamos poner las interacciones de tercer orden, si es posible, por lo que este es un diseño óptimo bayesiano I en 480 ejecuciones. |
| |
Pueden ver en esta imagen, solo estamos viendo las diferentes rondas de los experimentos, de los diferentes... 10 platos diferentes. |
| |
Y pueden ver cómo, con la adición de la siguiente placa en el experimento, estamos agregando a nuestra exploración del espacio de factores como un todo. |
| |
No nos estamos enfocando en ninguna región específica; solo estamos llenando los espacios en nuestro conocimiento sobre todo ese espacio de factores. |
| |
Son 480 ejecuciones que usamos en nuestro experimento y las 4128 filas restantes que tenemos de ese conjunto de datos publicado. Podemos usar estos datos de prueba para ver qué tan bien se comparan nuestros modelos en un conjunto de datos retenidos, estos datos de prueba. |
| |
Ahora esperábamos de todo nuestro tipo de antecedentes DOE y nuestra experiencia que |
| |
cuando diseñamos un experimento para un determinado modelo, las técnicas de regresión estándar nos proporcionarán los modelos más útiles. |
| |
Así que aquí usamos JMP Pro y usamos regresión generalizada para ajustar un modelo completo de tercer orden. |
| |
Ahora en realidad usamos una distribución beta aquí, que rebota las predicciones entre cero y uno, por lo que convertimos el porcentaje de rendimiento a la escala de cero a uno. Es solo un pequeño truco que cuando está modelando datos de rendimiento como este, es posible que desee usarlo cuando tiene JMP Pro. |
| |
Y usamos la selección directa, con AICc como método de validación, por lo que seleccionará los efectos importantes. |
| |
Y repetimos esto después de cada ronda, así que con la primera ronda de 48 carreras, luego la segunda ronda de 96, luego la tercera con 144, hasta llegar a la décima ronda donde tenemos las 480 carreras completas. |
| |
Aquí puede ver el filtro establecido en el registro de generación allí solo para ver las primeras tres rondas allí. |
| |
Entonces, para las primeras tres rondas, este es el modelo que obtenemos usando el registro de generación, la selección hacia adelante, la validación de AICc. |
| |
Y no es un gran modelo, creo, solo intuitivamente por nuestra comprensión de lo que esperaríamos de la química. Solo estamos viendo dos de los factores involucrados en el modelo, por lo que solo se seleccionaron dos efectos principales como significativos. |
| |
Entonces podemos guardar ese modelo en la tabla de datos, y luego podemos ver qué tan bien ese modelo predice los datos retenidos, nuestro conjunto de prueba, |
| |
las 4128 filas restantes que no estaban en nuestro experimento. Y podemos hacer eso para cada ronda. E hicimos eso para cada ronda, por lo que tenemos 10 modelos que hemos construido usando gen reg. |
| |
Ahora, como alternativa, pensamos que valdría la pena analizar algunos métodos de aprendizaje automático. Y aquí, solo estamos viendo las primeras tres rondas nuevamente. |
| |
Y como una forma realmente rápida de ver muchas técnicas de modelado diferentes, usamos la proyección de modelos en JMP 16 Pro. |
| |
Simplemente completamos el rendimiento y los factores en las Y y las X de allí. Tenemos una columna de validación de retención configurada para retener el 25 % de los datos aleatoriamente para la validación. |
| |
Haga clic en Aceptar y se ejecutan todas estas diferentes técnicas de modelado, por lo que ahora obtenemos un informe que nos dice |
| |
qué tan bien estas... todas estas diferentes técnicas de modelado, incluidos algunos modelos de registro de generación, redes neuronales y diferentes métodos de árbol. |
| |
Y hemos seleccionado los dos mejores allí. Y, de hecho, a lo largo de todas las rondas del experimento, encontramos que los modelos de red neuronal potenciada y el bosque de arranque fueron los modelos con mejor rendimiento. |
| |
Entonces, nuevamente, podemos guardar las fórmulas de predicción y usar aquellas en el conjunto de datos de prueba que no participaron en el experimento para compararlas y ver qué tan bien están funcionando nuestros diferentes modelos contra ese conjunto de datos de prueba. |
| |
Y usamos la comparación de modelos y JMP Pro aquí, por lo que comparamos todos nuestros modelos de registro de generación, nuestros modelos de red neuronal y nuestros modelos de bosque de arranque. |
| |
Y ahora está viendo una imagen de la R al cuadrado contra ese conjunto de datos de prueba. Qué tan bien se ajustan esos modelos al conjunto de datos de prueba retenidos. |
| |
Y puede ver el registro de generación, los modelos de regresión estándar que utilizan la selección hacia adelante en rojo allí, comenzando |
| |
en la primera ronda, ese es en realidad el mejor modelo, pero no mejora realmente, y luego, de repente, va muy mal alrededor de las cinco, antes de volver a ser realmente bueno en la siguiente ronda. Muy inestable y hacia el final empeorando, probablemente sobreajustado. |
| |
Los métodos de aprendizaje automático, por otro lado, son, |
| |
después de la ronda tres, están teniendo el mejor desempeño, mejor que nuestras técnicas de regresión estándar y están mejorando por completo. Y de hecho, |
| |
puede ver que las neuronas comienzan mejor en verde allí, y hacia el final, el bosque de arranque está superando a los modelos de redes neuronales potenciadas. |
| |
Entonces, el método para llevar a casa aquí es incluso con esto, lo que podría considerar una situación relativamente simple, realmente necesita los métodos de aprendizaje automático en JMP Pro para obtener los mejores modelos, los modelos más confiables para este tipo de sistemas o procesos. |
| |
Ahora solo estamos viendo gráficos de los resultados de rendimiento reales para todas esas 4608 ejecuciones que se publicaron en comparación con las predicciones de nuestro mejor modelo al final de la ronda 10, después de las 480 ejecuciones completas allí. Así que ese era un bosque de arranque a la derecha. |
| |
Y no está mal, sabes que puedes ver los comportamientos importantes que está detectando. Está identificando las regiones de bajo rendimiento y está identificando las regiones de mayor rendimiento. Entonces hay, |
| |
particularmente arriba a la derecha, están usando un reactivo de yodo (?) y el ácido borónico y el éster borónico |
| |
reactivos allí. |
| |
Entonces, comparamos esto con el otro enfoque extremo. Así que la primera ronda de 48 carreras fue exactamente igual; empezamos con las mismas 48 carreras. Luego construimos un modelo y usamos ese modelo para averiguar cuál, de todas las ejecuciones restantes, |
| |
de las 4560 ejecuciones restantes, cuál de ellas predice el modelo que tendría el rendimiento más alto, y luego seguimos haciéndolo en todas las rondas posteriores hasta 10. |
| |
Y en este caso predecimos correctamente más de alto rendimiento y combinaciones, pero cuando obtenemos el modelo final después de 10 rondas y lo comparamos con los datos |
| |
Que no hemos usado en el experimento, la R al cuadrado es terrible. Es .33. Así que realmente el modelo que obtenemos no hace buenas predicciones sobre el sistema como un todo. |
| |
Así que estamos obteniendo una buena comprensión de una región de alto rendimiento y está encontrando combinaciones, encontrando configuraciones de los factores que funcionan bien, pero en realidad no nos permite comprender el sistema como un todo. No eran... |
| |
no estamos reduciendo nuestra variabilidad en nuestra comprensión del sistema como un todo. |
| |
Entonces, para mostrarles cómo funciona ese sistema, ese enfoque, estas son nuestras 4608 ejecuciones completas, todas las combinaciones posibles y, como mencioné en la Ronda 1, es lo mismo que la Ronda 1 usando el enfoque conservador, por lo que es un I óptimo |
| |
conjunto de puntos allí, y puede ver que están distribuidos uniformemente en el espacio de factores. |
| |
Ajustamos un modelo a los datos de esas 48 ejecuciones. |
| |
Y usamos ese modelo para predecir el rendimiento de todas las otras combinaciones posibles y luego seleccionamos de esas 48 predicciones de mayor rendimiento, |
| |
cuales son esos. Como pueden ver, se centran en la región de mayor rendimiento de... ya no estamos... ya no estamos explorando el espacio de factores completo. |
| |
Y si vamos de la Ronda 1, 2, 3 y hasta la Ronda 10, pueden ver, cada vez que agregamos... estamos agregando ejecuciones al experimento que están justo en esa zona de alto rendimiento arriba a la izquierda. Así que solo nos estamos enfocando realmente en una región del espacio de factores. |
| |
Y si comparamos lo real con lo pronosticado aquí, pueden ver que está haciendo un buen trabajo en esa región en la parte superior izquierda. |
| |
Pero en otros lugares está haciendo predicciones bastante terribles, como cabría esperar; eso probablemente no sea tan sorprendente. No hemos experimentado en todo el sistema. Realmente nos hemos centrado en esa región de alto rendimiento. |
| |
Y si lo compara con nuestro enfoque conservador en el lado izquierdo (por lo que ya ha visto el diagrama en el lado izquierdo), si observa cómo el modelo |
| |
mejorado a través de las Rondas uno a 10, y luego en cada ronda estábamos usando la plataforma de selección de modelos nuevamente para encontrar el mejor modelo. |
| |
Y resultó que, en realidad, en cada etapa, la red neuronal potenciada era el mejor modelo. Bueno, puedes ver de nuevo que es un poco inestable como el registro de generación del enfoque conservador. |
| |
A veces está bien, pero nunca... nunca es competitivo con nuestros mejores modelos del experimento conservador. |
| |
Esos son los dos extremos, y voy a pasar a Ryan, quien hablará sobre un enfoque más equilibrado o híbrido para este problema. |
| Ryan Lekivetz |
Así que gracias por eso Phil. Y |
| |
justo en medio de una presentación, tengo que dar las gracias a Phil, Ben y David por permitirme participar en esto. Como desarrollador, en realidad es divertido jugar un poco. Soy desarrollador en las plataformas DOE en JMP. |
| |
Entonces, como Phil mencionó aquí, el enfoque que estoy viendo aquí es un enfoque híbrido. |
| |
Muy bien, entonces la idea aquí es que vamos a ver esta idea de optimización versus exploración. |
| |
Entonces, si piensas en el enfoque codicioso del que habló Phil, eso es realmente esa optimización. Voy estrictamente por lo mejor, eso es todo en lo que me voy a concentrar. Mientras que ese enfoque conservador, todo lo que importaba era la exploración. |
| |
Entonces, la idea aquí es que, ¿podemos llegar a algún punto intermedio para |
| |
tal vez optimizar, sin dejar de explorar un poco el espacio? |
| |
Así que diré lo que había hecho aquí... así que en realidad comencé con tres de las placas de pocillos colocadas con anticipación, ¿verdad? Así que hice esos tres bloques de tamaño 48 y solo hice los efectos principales con If Possible 2FI. |
| |
La razón de esto es que a veces, realmente no confiaba en los modelos con solo 48 ejecuciones. Dije, bueno, vamos a darle un poco de quemado. Probemos el 144, o placas de tres pocillos, entonces tal vez pueda confiar un poco más en el modelo. |
| |
Porque en cierto sentido, incluso si piensas en ese enfoque codicioso, si tu modelo era malo, irás a las regiones terribles. No te va a ayudar mucho. |
| |
Y de nuevo, así que... así como antes, seguiré haciendo 10 placas de pocillos en total o 10 bloques en total al final. |
| |
Y hablaré un poco sobre esto en las diapositivas futuras, pero en realidad estaba usando XGBoost en todo momento. Entonces, la forma en que predije fue usar XGBoost y hay una razón por la que llegaré a |
| |
por hacer eso |
| |
Pero, entonces, la idea aquí era esencialmente tomar cuál era el valor predictivo. Entonces, en lugar de ir estrictamente tras los mejores 48, dije, voy a establecer un umbral. |
| |
Correcto, después de los tres primeros, comencé con 50. Así que dije, denme los valores predictivos que son mayores a 50 y, a medida que sigo avanzando en más placas de pozos, aumentaré cinco en cada ronda. |
| |
Quiero decir que eso fue bastante arbitrario; parte de eso fue saber que solo teníamos 10 rondas en total, y eso también se debe a que, según la predicción, podía ver qué tan grande era ese conjunto. |
| |
Correcto, entonces dependiendo de los datos, si parecía que ese conjunto todavía era enorme, que lo previsto era alrededor de 50, podrías modificarlo. |
| |
Entonces, la idea aquí es realmente comenzar a explorar lentamente lo que, con suerte, deberían ser las regiones de mayor rendimiento. |
| |
Y entonces, ¿teníamos razón? Bueno, en esto, en realidad obtuvimos 27 de las 80 combinaciones de mayor rendimiento, aquellas por encima de 95, que no estaba tan lejos del enfoque codicioso. |
| |
Y si piensas en la R al cuadrado, nuevamente, con todos esos datos reservados, la prueba final R al cuadrado fue .69, por lo que realmente no estaba tan lejos del enfoque conservador. Así que solo el... |
| |
Quiero decir, es posible que esté... puede querer ser cauteloso, en este momento, solo mirando esos dos números, pero en base a eso, este híbrido realmente parece ser lo mejor de ambos mundos. Quiero decir, lo estás intercambiando, pero, pero estás obteniendo algo bueno. |
| |
Así que sólo algunas ideas sobre este enfoque. Realmente, diría que, al final, obtuvimos una mejor comprensión de los espacios de factores asociados con el alto rendimiento. |
| |
Creo que los codiciosos, si puedes pensar en dónde estaban esos puntos, estaban realmente concentrados en la parte superior izquierda, por lo que realmente no hizo mucha más exploración de ese espacio. |
| |
Y te puedes imaginar si... |
| |
si algo allí de repente cuadruplica su precio de la noche a la mañana, ahora no sabes nada más sobre el resto de la región. |
| |
Correcto, y entonces, con este enfoque híbrido, obtenemos un poco más de cómo y por qué, algunas de las combinaciones, y nos brinda mejores alternativas. |
| |
de nuevo, tal vez si tiene otras cosas que tener en cuenta, está dispuesto a sacrificar un poquito del rendimiento porque hay mejores alternativas, basadas en otras medidas. |
| |
Entonces, realmente, la idea aquí... sí, déjame explicarte cómo se hizo esto en el diseño personalizado, ¿verdad? Así que el enfoque que tomé fue |
| |
usando covariables en el diseñador personalizado, que creo que a veces se subestima. |
| |
Pero, entonces, la idea es que solo tomé ese conjunto completo de datos, por lo que las 4608 ejecuciones completas, |
| |
y para cada ronda... así que pueden imaginar, al principio, tomé esos... tomé el diseño de 144 ejecuciones, y luego dije, bueno, voy a tomar un subconjunto de ese conjunto de datos completo. Si ya lo elegí en un diseño anterior, bueno, necesito asegurarme de que esté incluido. |
| |
Y luego también, dame los rendimientos pronosticados por encima de ese valor determinado, de nuevo, para el cuarto diseño, que se inició en 50 y 55, 60, etc. |
| |
Así que en la tabla de datos |
| |
ahora lo que hago es seleccionar los puntos de diseño que se usaron en experimentos anteriores. Así que me aseguro de que estén resaltados. Y luego el diseño personalizado, cuando pasa por debajo del factor de adición, hay una opción llamada covariable. Y de nuevo, creo que es... |
| |
Mucha gente nunca antes había visto las covariables y, lo mencioné aquí, porque creo que probablemente podría pasar toda una charla solo hablando de las covariables, |
| |
pero en realidad habrá un par de entradas de blog (si no están listas para cuando veas este video, probablemente dentro de unos días para cuando veas esto) |
| |
donde voy a hablar un poco más sobre cómo usar realmente las covariables. Pero la idea es que es posible que también hayas escuchado algo llamado conjunto de candidatos antes, así que la idea es... |
| |
aquí está este conjunto de datos que era el subconjunto del elegido previamente y todo eso, y le dice al diseñador personalizado que solo puede elegir estos puntos de diseño. |
| |
No puedes hacer la forma estándar de, vamos a seguir intentando cambiar las coordenadas y todo eso. Le dice al diseñador personalizado de JMP que debe usar estas ejecuciones en su diseño y, en particular, |
| |
una de las opciones que usan covariables es que puede forzar puntos de diseño previamente elegidos, por lo que de esta manera es como hacer un aumento de diseño |
| |
usando candidatos después de usar covariables. |
| |
Y, por supuesto, porque en este... en este caso, realmente no puedo descartar esos puntos de diseño con los que he experimentado anteriormente. Realmente, todo lo que queremos hacer es elegir los próximos 48. |
| |
Y también debería mencionar aquí, sin embargo, si piensas en el diseño personalizado... |
| |
Entonces, en cada uno de estos, lo que estaba haciendo era... las interacciones de dos factores y luego las interacciones de tres factores si es posible. |
| |
Pero hubo... eso fue realmente más un mecanismo para explorar el espacio de diseño, ¿verdad? El modelo que me estaba ajustando |
| |
estaba usando XGBoost después del hecho, así que quiero decir que el diseño no estaba optimizado para un modelo XGBoost ni nada por el estilo. |
| |
Esto fue más como un sustituto para decir, explorar ese espacio de diseño donde el rendimiento previsto se ve bien y, especialmente, debido a que se trataba de los factores categóricos, se asegurará de que intente obtener un buen equilibrio. Otra cosa a mencionar, |
| |
si quisiera... otra vez, porque no está usando ese modelo subyacente, el XGBoost o algo por el estilo, podría usar la respuesta. Entonces, en este caso, predijeron el rendimiento como otra covariable, y lo que eso haría es tratar de obtener un mejor equilibrio entre el alto y el bajo rendimiento. |
| |
respuestas cuando está tratando de hacer el diseño. |
| |
Así que no exploramos eso aquí, pero creo que sería algo válido para hacer en el futuro. |
| |
Entonces, al rendimiento previsto. Entonces, como mencioné en... creo que cuando Phil estaba hablando de algunas de las otras técnicas de aprendizaje automático que había probado |
| |
Para mi ???, en realidad me centré principalmente en XGBoost. |
| |
Y si miras en el lado izquierdo, una de las razones por las que hice eso fue para intentar |
| |
usando la validación cruzada de K pliegues, pero donde uso el número de diseño, que sería esencialmente la placa del pozo como cada pliegue adicional. Entonces, en lugar de seleccionar aleatoriamente los diferentes pliegues K, |
| |
diría, voy a mirar la placa de pocillos y luego trataré de retener eso para cada uno. Entonces, si te imaginas, para el primero, cuando solo tenía tres pozos, |
| |
iba a tomar cada una de esas placas de pocillos, sostenerlas y luego ver qué tan bien podía predecir, basándose en las dos restantes. Y así, para cuando llegara a la décima... la décima placa de pozo, en realidad sería como una especie de diez veces. |
| |
Entonces, parte de mi razonamiento para eso fue pensar en tratar de hacer que ese modelo sea robusto para la siguiente placa de pozo que no ha visto. |
| |
Y, en realidad, esto quizás también lo protegería si algo sucediera con una placa de pocillo en particular, |
| |
entonces, tal vez obtenga un poco de protección de eso también. |
| |
Y otra cosa que hice con XGBoost es cuando inicias la plataforma XGBoost, como a través del complemento, verás que hay una pequeña casilla de verificación en la parte superior para lo que llamamos un diseño de ajuste. |
| |
Y así, con ese diseño de afinación, |
| |
en realidad está ajustando un diseño de relleno de espacio detrás de las cubiertas y ejecutando todo eso para los diferentes hiperparámetros. |
| |
Entonces, lo que había hecho por cada vez que estaba haciendo esto, |
| |
Elegiría un diseño de ajuste para 50 ejecuciones, pero solo exploraría ese espacio de hiperparámetros. Y entonces el modelo que elegiría que cada ronda |
| |
fue el que tuvo mejor validación R al cuadrado. Y, de nuevo, la validación R al cuadrado en este caso en realidad usa solo los puntos de diseño que tengo, ¿verdad? Así que esto estaba haciendo ese K fold con el... |
| |
con esas diferentes placas de pozo. Entonces, en este caso, la validación R al cuadrado no es... No estoy usando esos datos que aún no se han visto, porque de nuevo, en realidad, todavía no tengo esos datos. |
| |
Pero esto solo decía usar esa técnica de validación, donde estaba usando las placas de pozo. Entonces, nuevamente, esa es la razón por la que estaba usando XGBoost para la mayor parte de esto, solo estaba intentando algo diferente que |
| |
usando esa técnica de pliegues en K, y también, realmente me gusta usar el relleno del espacio también, cuando se trata de ese XGBoost. |
| |
Y entonces echemos un vistazo aquí. Entonces, como vemos aquí, estos son los puntos que se eligen a lo largo de las rondas consecutivas. Ahora, |
| |
si piensas en lo que estaba sucediendo en el enfoque codicioso, quiero decir, realmente se estaba enfocando en la esquina superior izquierda. |
| |
Correcto, pero ahora, si ves con este enfoque híbrido, |
| |
a medida que avanza en las rondas, se ve que llena esos puntos un poco más, pero también obtenemos una mejor... una mejor muestra de puntos, especialmente en ese lado izquierdo. |
| |
Bien, si lo piensa desde la perspectiva, ahora tiene alternativas mucho mejores para esas regiones de alto rendimiento. |
| |
Creo que sí... si echamos un vistazo ahora a lo real versus lo predicho, |
| |
De hecho, creo que esto también fue revelador, creo, porque hicimos una mejor exploración. |
| |
En esas regiones de alto rendimiento que tal vez |
| |
no llegó tan alto, creo, si miran hacia la parte inferior izquierda, creo que hemos hecho un trabajo mucho mejor en el modelo híbrido de elegir algunas de las que pueden ser alternativas viables. |
| |
Una de las cosas buenas de este método es que puedo concentrarme en algo más que el rendimiento. |
| |
Correcto, así que si piensas en... |
| |
Podría tener una respuesta secundaria, ya sea algún tipo de toxicidad, podría ser un costo, algo así, |
| |
Puedo concentrarme en algo más que el rendimiento cuando miro esos valores predichos. Entonces, si piensas en algo como el enfoque codicioso, |
| |
si comienza a agregar criterios secundarios que desea considerar, es mucho más difícil comenzar a hacer ese equilibrio. Mientras que con este enfoque de subconjunto, en realidad no es nada difícil agregar una respuesta secundaria al hacerlo. |
| |
Creo que se lo pasaré ahora a Ben para que saque conclusiones. |
| ben francisco |
Entonces, |
| |
muchas gracias a David, Phil y Ryan por explicarnos por qué estamos abordando esto y, en última instancia, por darnos dos, tres muy buenas soluciones y maneras de |
| |
ver cómo abordamos este problema. Y en todos estos enfoques, está claro que JMP proporciona valor a los científicos. Por lo tanto, tenemos una reducción de diez veces en los recursos para la experimentación. Solo usamos el 10% de las corridas. Y |
| |
en última instancia, lo que estábamos permitiendo en cada situación era la capacidad de cumplir con las especificaciones y brindar una solución de alto rendimiento a partir de los experimentos. |
| |
Pero además de eso, también mostramos cómo podemos tener diferentes niveles de comprensión profunda del proceso, según el objetivo y la estrategia de la empresa que emplea este enfoque. |
| |
Ahora, puede notar que, nosotros tres de JMP, estamos muy interesados en cómo CatSci aborda este problema. No necesariamente estábamos tomando |
| |
alejar el problema de CatSci y solucionarlo nosotros mismos; estamos proporcionando las herramientas para abordar esto en términos de DOE. Y esta fue una colaboración fantástica entre David como cliente, |
| |
yo y phil en el lado de las ventas técnicas, y Ryan en el desarrollo de productos, y aquí es clave que todos veamos esto desde una perspectiva diferente |
| |
para permitir ese tipo de solución, que, como dije antes, podemos ver como una comprensión profunda del proceso de diferentes maneras, dependiendo de los objetivos de lo que se necesita lograr. |
| |
Descubrimos algunas cosas en el camino, lo que es realmente emocionante para nosotros en JMP y conducirá a mejoras en el producto, que luego les devolveremos a ustedes mismos. |
| |
como clientes Aprendimos que los enfoques de aprendizaje automático son aplicables a esta gran situación de DOE y, como saben, con JMP son fáciles de aplicar. Y también aprendimos precaución en términos de los enfoques de validación, y podemos investigar eso más a fondo. |
| |
Entonces, en última instancia, presentamos aquí un buen volumen de trabajo en términos de grandes desafíos del DOE, y estamos seguros de que hay muchas empresas, similares a CatSci, que se enfrentan a este tipo de problema. |
| |
Así que todos los invitamos a explorar más este trabajo que hemos hecho, y tenemos dos enlaces aquí en términos de la Comunidad donde estaremos publicando recursos y el video de esto, |
| |
así como una publicación pública de JMP, que le permite tener acceso a los datos que utilizamos en esto. Entonces, de parte de todos en esta presentación, queremos agradecerles por mirar. |
