| Vocero |
Transcripción |
| Wayne Levin |
modelo de conjunto autovalidable, ya que lo vemos como un cambio de paradigma en el diseño de experimentos y demás. |
| |
Ahí vamos. Nuestro objetivo es... una breve introducción sobre quiénes van a hablar. |
| |
Entonces, ¿qué, por qué y cómo funciona SVEM? Haremos una breve descripción general de DOE y aprendizaje automático, describiremos su integración en SVEM, analizaremos algunos experimentos SVEM del mundo real, y... |
| |
Revisaremos algunas investigaciones actuales y demostraremos el nuevo candidato para diseñador de conjuntos de JMP, nuevo en JMP 16, y luego terminaremos con los habituales, ya sabe, próximos pasos y preguntas y respuestas, etcétera. |
| |
SVEM es un método nuevo y notable que permite extraer más información con menos ciclos experimentales y crear modelos predictivos más precisos a partir de pequeños conjuntos de datos, incluidos los DOE. |
| |
Al usar SVEM, anticipamos y prometemos que tendrá menores costos, una comercialización más rápida y una resolución de problemas mucho más rápida. Exploraremos todo esto a medida que avancemos. |
| |
en la sesión. |
| |
Soy Wayne Levin y soy el presidente de Predictum y me acompaña Chris Gotwalt, quien es el científico de datos principal en JMP, y también se une a nosotros Phil Ramsey, quien es un científico de datos senior aquí en Predictum y profesor asociado en la Universidad de New Hampshire. |
| |
Así que vamos a... |
| |
Hagamos balance. Las contribuciones de JMP a la ciencia de datos son enormes, como todos sabemos, y en el ámbito del Departamento de Energía (DOE) hace más de 20 años, sería... JMP 4, con el algoritmo de intercambio de coordenadas. |
| |
Y luego, hace unos ocho o nueve años, vimos el lanzamiento de diseños de cribado definitivos. Y nos gustaría pensar que SVEM, como lo llamamos, abreviatura de modelado de conjuntos autovalidado (repítelo tres veces), es otra contribución. |
| |
Aprendizaje automático y diseño de experimentos. |
| |
Supera las limitaciones de la cantidad limitada de datos, ¿verdad? Con cantidades pequeñas de datos, no se puede realizar aprendizaje automático; normalmente se necesitan grandes cantidades de datos para lograrlo. |
| |
Hemos estado probando SVEM en el campo y varias empresas se han puesto en contacto con nosotros para hablar de esto, y hemos puesto a disposición una versión de prueba de SVEM. |
| |
Predictum, el primero en crear un producto en este área, llevar un producto al mercado, y sólo quiero compartir con ustedes algunas de las cosas que hemos aprendido hasta ahora. |
| |
Y una es que SVEM funciona excepcionalmente bien. Es decir, cuando tienes más parámetros y más ejecuciones, funciona muy bien con |
| |
Modelos de orden superior. Ofrece predicciones más precisas y también ayuda a recuperarse de errores de ortografía. Por ejemplo, si tiene diseños de cribado definitivos que... |
| |
Cualquiera sea el motivo por el que no se pueda ejecutar en forma definitiva, nos han enviado algunos DOE históricos que |
| |
Falta de potencia. Simplemente no encontraron nada, pero con SVEM, sí lo encontraron. Fue posible. Y hemos tenido casos con secuencias faltantes o cuestionables. |
| |
Otra cosa que hemos aprendido es que no te ayudará con el factorial racional, ni con cosas así. Nos interesan los modelos predictivos. |
| |
Y los factoriales fraccionales realmente no generan modelos predictivos; no están diseñados para eso. Por lo tanto, no te darán algo que los datos no estén estructurados para ofrecer. |
| |
Al menos no hasta ese punto. Otra cosa que hemos aprendido es que aún no hemos probado todo el potencial de SVEM. Para lograrlo, realmente necesitamos... |
| |
Para empezar, diseñar experimentos con SVEM en mente, lo que implica considerar más factores. No queremos solo considerar tres o cuatro factores. ¿Qué tal 10, 15 o incluso más? |
| |
Entendemos por la investigación que Chris y Phil comentarán que los diseños bayesianos I-óptimos son los mejores... el mejor enfoque para usar con SVEM y también diseños de mezcla. |
| |
Fueron particularmente útiles para SVEM y diré algo más sobre eso más adelante. Y en cuanto a SVEM... |
| |
Si quieres probarlo, tendremos información al final, después de que Chris y Phil hablen de ello. Dicho esto, te dejo la palabra, Chris, quien... |
| |
Ahonda en el qué, el porqué y el cómo de SVEN. Ahora te toca a ti, Chris. |
| Chris Gotwalt |
Muy bien, gracias, Wayne. Espera, ¿estoy compartiendo mi pantalla? |
| Wayne Levin |
Aún no. |
| |
Allá vamos. |
| Chris Gotwalt |
Está bien, está bien, gracias, Wayne. |
| |
Ahora voy a presentar la idea de los modelos de conjunto autovalidados o SVEM. |
| |
Voy a ser bastante básico. Asumiré que tienes algo de experiencia en diseño y análisis de experimentos. |
| |
Lo más importante es que debes comprender que el proceso de modelado estadístico se reduce a ajustar funciones a los datos. |
| |
Esa variable de respuesta del predictor en función de las variables de entrada. A grandes rasgos, SVEM es un puente entre los algoritmos de aprendizaje automático que utilizan aplicaciones de big data. |
| |
y el diseño de experimentos, que generalmente se considera un problema de análisis pequeño y eficaz. El aprendizaje automático y el DOE tienen una larga historia, pero hasta ahora eran tradiciones relativamente separadas. |
| |
Nuestra investigación indica que se pueden obtener modelos más precisos utilizando menos observaciones mediante SVEM. |
| |
Esto significa que la mejora de productos y procesos puede ocurrir en menos tiempo, utilizando menos recursos y a un menor costo. Por lo tanto, si trabaja en una industria competitiva, |
| |
Si ser el primero en llegar al mercado es fundamental, SVEM debería ser de gran interés para usted. |
| |
En particular, creemos que SVEM tiene un potencial enorme en las industrias farmacéutica y biotecnológica. |
| |
alta tecnología, como la fabricación de semiconductores, y en el desarrollo de productos de consumo. |
| |
En mi trabajo aquí en JMP, he tenido una visión general de cómo se manejan los datos en muchas industrias y áreas de aplicación. |
| |
He desarrollado algoritmos para construir experimentos de diseño óptimos, así como procedimientos de análisis relacionados, como modelos mixtos y generalización de sus modelos. |
| |
Por otro lado, también soy el desarrollador de los algoritmos de redes neuronales de JMP Pro, así como de algunas de las otras técnicas de aprendizaje automático que están en el producto. |
| |
En los últimos 20 años, he visto cómo el aprendizaje automático se ha vuelto más prominente al modelar grandes conjuntos de datos de observación y al observar muchos nuevos... |
| |
Algoritmos desarrollados. Al mismo tiempo, el análisis de experimentos diseñados también ha cambiado, aunque de forma más gradual en los últimos 20 años. |
| |
La metodología estadística general de la experimentación industrial sería reconocible para cualquiera que leyera a Box, Hunter y Hunter a fines de la década de 1970. |
| |
El aprendizaje automático y el diseño de experimentos se aplican generalmente en la industria para resolver problemas que son de naturaleza predictiva. |
| |
Utilizamos estas herramientas para responder preguntas como, por ejemplo, si el sensor indica un lote defectuoso o cómo ajustamos el proceso para maximizar el rendimiento y minimizar los costos. |
| |
Aunque ambos son de naturaleza predictiva, el aprendizaje automático y el diseño de experimentos generalmente se han aplicado a tipos de datos bastante diferentes. |
| |
Lo que voy a hacer ahora es dar una descripción general rápida de ambos y luego describir cómo los combinamos en SVEM. |
| |
Analizaré algunos datos de un experimento real para mostrar cómo funciona y por qué creemos que está funcionando muy bien en general. |
| |
Voy a repasar los resultados de las simulaciones realizadas por Trent Limpkiss(?), un estudiante de doctorado de la Universidad de New Hampshire, que nos ha dado confianza en que el enfoque es muy prometedor. |
| |
A continuación, analizaré un ejemplo que muestra cómo se pueden utilizar los nuevos diseños de conjuntos de candidatos en JMP 16 para encontrar subconjuntos óptimos de conjuntos de datos existentes, de modo que pueda probar SVEM usted mismo. |
| |
Destacaré algunas de nuestras observaciones, mencioné algunas preguntas futuras que esperamos responder y luego se lo daré a Phil, quien analizará un estudio de caso más profundo y una demostración del complemento SVEM. |
| |
Considere los datos simples en pantalla. Son datos del proceso metalúrgico y queremos predecir la contracción al final de las etapas del procesamiento. |
| |
Tenemos tres variables a la izquierda que queremos usar para predecir la contracción. Modelar consiste en encontrar una función que conecte la presión, el tiempo y la temperatura y que prediga la respuesta (contracción) en este caso. |
| |
Con suerte, este modelo generará... se generalizará a nuevos datos en el futuro. |
| |
En un contexto de aprendizaje automático, la forma estándar de hacerlo es dividir los datos en dos conjuntos de filas disjuntos. Uno se denomina conjunto de entrenamiento y se utiliza para ajustar los modelos y asegurar que no se sobreajusten los datos. |
| |
Esto genera modelos inexactos en nuevas observaciones. Contamos con otro subconjunto de datos, llamado conjunto de validación, que se utiliza para probar diversos modelos que hemos estado... |
| |
que se han ajustado al conjunto de entrenamiento. Existe un equilibrio: las funciones demasiado simples no se ajustarán bien a los conjuntos de entrenamiento y validación porque no explican suficiente variación. |
| |
Mientras que los modelos que son demasiado complejos pueden tener un ajuste casi perfecto en el conjunto de entrenamiento, pero serán muy imprecisos en el conjunto de validación. |
| |
Utilizamos medidas como el R cuadrado de validación para encontrar el modelo Ricitos de Oro que no sea ni demasiado simple ni demasiado complicado. |
| |
Este modelo Ricitos de Oro será aquel cuyo R cuadrado de validación sea el más alto en el conjunto de validación. |
| |
Esta selección de modelo de estilo de retención es una muy buena manera de proceder cuando tiene una cantidad de filas razonablemente grande, |
| |
A menudo, en cientos de millones de filas o más. La afirmación "razonablemente grande" es intencionadamente ambigua y depende de la tarea en cuestión. Dicho esto, las 12 filas que se ven aquí son realmente demasiado pequeñas y se usan aquí solo a modo de ejemplo. |
| |
En los DOE, generalmente nos encontramos en situaciones en las que hay serias limitaciones de tiempo y/o recursos. |
| |
Una idea central de los experimentos diseñados, particularmente los experimentos diseñados óptimamente que son una capacidad clave de JMP, es obtener información de la más alta calidad contenida en la menor cantidad de filas posible. |
| |
Muchas personas brillantes a lo largo de muchos años han creado herramientas estadísticas como pruebas F, gráficos seminormales y criterios de selección de modelos, como el AIC y el BIC, |
| |
que nos ayudan a tomar decisiones sobre modelos para los datos del DOE. Todas estas son guías que nos ayudan a identificar el modelo en el que debemos basar nuestras decisiones científicas, de ingeniería y de fabricación. |
| |
Algo que no se hace a menudo es aplicar la selección de modelos de aprendizaje automático a experimentos diseñados. ¿Por qué? |
| |
Una razón importante es que la información está tan compactada en los diseños que eliminar incluso unas pocas observaciones puede provocar que los efectos e interacciones principales colapsen. |
| |
De modo que ya no podemos separarlos en efectos estimables de forma única. Si intenta hacerlo de todas formas, probablemente verá advertencias en el informe del software, como la pérdida de grados de libertad o la adición de detalles de singularidad al informe del modelo. |
| |
Ahora vamos a hacer un pequeño experimento mental. ¿Y si intentáramos hacer un poco de trampa? |
| |
¿Qué pasaría si copiáramos todas las filas de la tabla original, las X y las Y, y etiquetáramos una copia como "entrenamiento" y la otra como "validación"? Ya tenemos suficientes datos, ¿verdad? ¡Incorrecto! No engañamos a nadie con esto; es un plan descabellado. |
| |
Es una locura, porque si intentaras modelar usando este enfoque y miraras cualquier gráfico del índice de bondad de ajuste, verías que hacerlos más complicados lleva a un mejor ajuste en el conjunto de entrenamiento, pero debido a que el entrenamiento y la validación |
| |
En este caso los conjuntos son los mismos, el enfoque siempre conducirá a un sobreajuste. |
| |
Ahora retrocedamos y reformulemos la selección de modelos de aprendizaje automático como una historia de dos sumas ponderadas de cuadrados calculadas sobre los mismos datos. |
| |
En lugar de pensar en la selección del modelo en términos de dos particiones de datos, podemos pensar en ella como dos columnas de pesos. |
| |
Hay un peso de entrenamiento que es igual a uno para las filas en el conjunto de entrenamiento y cero en caso contrario, y una columna de validación |
| |
que es igual a cero para las filas de entrenamiento e igual a uno para la columna de validación, para las filas de validación. |
| |
Entonces, a partir de la selección del modelo de aprendizaje automático, podemos pensar que cada fila tiene su propio par de valores de peso, donde ambos pesos son ceros y unos binarios. |
| |
Tenerlos configurados de esta manera es lo que nos brinda una evaluación independiente del ajuste del modelo. |
| |
Los modelos se ajustan encontrando valores de parámetros que minimicen las sumas de errores cuadrados ponderados utilizando el peso de entrenamiento, y el rendimiento de generalización se mide utilizando la suma de errores cuadrados ponderados utilizando los pesos de la columna de validación. |
| |
Si graficamos estos pares de pesos en un diagrama de dispersión, vemos, por supuesto, que los pesos de validación del entrenamiento... los pesos de entrenamiento y validación están perfectamente anticorrelacionados. |
| |
Ahora bien, ¿qué sucedería si, en lugar de obligarnos a utilizar pares de valores binarios perfectamente anticorrelacionados, flexibilizamos el requisito de que los valores solo puedan tomar los valores de cero y uno? |
| |
¿Y permitir que los pesos tomen cualquier valor estrictamente positivo? |
| |
Para hacer eso, tenemos que renunciar a algo; en particular, según mi conocimiento, para que esto funcione matemáticamente, ya no podemos tener pares de pesos perfectamente anti-correlacionados, pero podemos hacer esto de manera que todavía tengamos una anti-correlación sustancial. |
| |
Hay muchas maneras de hacer esto, pero una forma de hacerlo sería crear pesos utilizando el mismo esquema que el bootstrap ponderado fraccionariamente, donde usamos una distribución exponencial con una media de uno. |
| |
Para crear los pesos. Y hay un pequeño truco que usa las propiedades de la distribución uniforme para crear pares de pesos con distribución exponencial, pero altamente anticorrelacionados. |
| |
Al usar esto como un esquema de validación ponderada de dos columnas, lo llamamos autovalidación. Phil y yo hemos publicado varios artículos en Discovery sobre esto... sobre esta misma idea. |
| |
Usar este enfoque es como tener una columna de entrenamiento de pesos que tiene una media de varianza de uno y la columna de validación con las mismas propiedades. |
| |
Bajo este esquema de autovalidación, si una fila contribuye con más que el peso promedio a las sumas de cuadrados de entrenamiento, esa fila contribuirá menos a las sumas de cuadrados de validación y viceversa. |
| |
Hay un complemento que Mike... Quiero señalar que hay un complemento que Mike Anderson creó que establece conjuntos de datos en este tipo de formato que las plataformas de modelado de JMP Pro pueden consumir. |
| |
Recientemente, Phil y yo hemos contratado a Trent como nuestro estudiante de doctorado. |
| |
Durante la primavera y el otoño, Trent realizó numerosas simulaciones, probando diversos enfoques para ajustar modelos a los datos del DOE, incluyendo una amplia gama de enfoques basados en la autovalidación. Mostraré algunos de sus resultados. |
| |
Hablaremos de esto en breve. Basta decir que el enfoque que mejor funcionó consistentemente, en términos de error promedio mínimo en un conjunto de prueba independiente, fue aplicar la autovalidación. |
| |
en combinación con procedimientos de selección variable como la selección hacia adelante, pero en lugar de hacer esto una vez repetimos el proceso docenas o cientos de veces, |
| |
Guardando la fórmula de predicción cada vez y promediando los modelos en todas estas iteraciones autovalidadas. A este procedimiento general lo llamamos modelos de conjunto autovalidados o SVEM. |
| |
Para ser más concretos, daré un ejemplo rápido que ilustra esto. Empezamos inicializando los pesos de autovalidación. |
| |
Aplicamos un procedimiento de selección de modelos, como el lazo o la selección hacia adelante, luego guardamos la fórmula de predicción en la tabla. |
| |
Aquí está la primera fórmula de predicción. En esta iteración, solo se seleccionaron dos efectos principales lineales. |
| |
Luego reinicializamos los pesos, los ajustamos nuevamente al modelo usando el nuevo conjunto de pesos y guardamos esa fórmula de predicción. |
| |
Aquí está la segunda fórmula de predicción autovalidada. Tenga en cuenta que, en esta ocasión, se eligió un conjunto diferente de efectos principales e interacciones, y sus coeficientes de regresión son diferentes. |
| |
Repetimos este proceso varias veces. |
| |
Y al final, el modelo SVEM es simplemente el promedio de todas las fórmulas de predicción. |
| |
Aquí hay un diagrama breve que ilustra el algoritmo SVEM. La idea de combinar los procedimientos de bootstrap con el promedio del modelo... |
| |
Esto sucede una y otra vez, como... después de reiniciar los pesos. Guardamos la fórmula de predicción de esa iteración. |
| |
Guardamos... aquí estoy guardando el parámetro... aquí la ilustración muestra los parámetros, pero ocurre lo mismo con las fórmulas. Simplemente los guardamos todos y, al final, el modelo final es simplemente el promedio de todas las iteraciones. |
| |
Una vez que terminamos, podemos usar ese modelo SVEM en el generador de perfiles de gráficos con las fórmulas intermedias de expansión activadas para que podamos visualizar el modelo resultante y optimizar nuestro proceso, etc. |
| |
Ahora voy a repasar los resultados de la investigación de tesis de Trent. |
| |
Un modelo de Behnkens de caja y DSD de cuatro y ocho factores. Cada simulación consistió en 1000 réplicas y cada simulación tenía su propio conjunto de valores de parámetros reales para nuestro modelo de superficie de respuesta cuadrática. |
| |
Los parámetros activos se distribuyeron doblemente exponencialmente y exploramos diferentes porcentajes de efectos activos del 50% al 100%. |
| |
Para cada una de las 1000 repeticiones de simulación, se evaluó la predicción de SVEM en relación con el modelo real en un conjunto de pruebas independiente que consistía en un diseño de relleno de espacio de 10 000 ejecuciones sobre el espacio de factores. |
| |
Analizamos una gran cantidad de enfoques distintos de modelado de disparo único clásico, así como una serie de variaciones en toda la validación. |
| |
Pero es más fácil centrarse en los resultados más interesantes, ya que había mucho que comparar. La historia fue muy consistente en todas las situaciones que investigamos. |
| |
Esta es una de esas simulaciones cuyo diseño base fue un diseño de cribado definitivo, con ocho factores y 21 ejecuciones. En este caso, el 50 % de los efectos fueron distintos de cero. |
| |
Esto significa que el modelo tenía tantos parámetros distintos de cero como ejecuciones, aproximadamente. |
| |
A la izquierda se encuentran los diagramas de caja del error cuadrático medio logarítmico para el selector Lasso, el selector Dantzig, la selección hacia adelante y la selección hacia adelante podada, todos ajustados mediante el AICc, el de mejor rendimiento en los métodos. |
| |
Además, el método con mejor rendimiento de la plataforma de ajuste definitivo se encuentra a continuación, seguido por SVEM aplicado a un modelo diferente... varios procedimientos de modelado diferentes a la derecha. |
| |
Hay una reducción drástica en el error cuadrático medio del conjunto de pruebas independientes, cuando comparamos los RMSE del conjunto de pruebas en relación con las predicciones de SVEM. |
| |
Y tenga en cuenta que esto está en una escala logarítmica, por lo que esta es una diferencia bastante dramática en el rendimiento predictivo. |
| |
Aquí hay un resultado aún más interesante. Esta fue la gráfica que realmente me impactó. Es la misma configuración de simulación, solo que aquí todos los efectos son distintos de cero. |
| |
Por lo tanto, los modelos verdaderos están sobresaturados, no sólo en la matriz de diseño sino en los parámetros mismos. |
| |
En el pasado, hemos tenido que asumir que el número de efectos activos era un subconjunto pequeño de todos los efectos y ciertamente menor que el número de filas. |
| |
Aquí obtenemos modelos razonablemente precisos a pesar del número de parámetros activos, que es aproximadamente el doble del número de filas, lo que es realmente notable. |
| |
Ahora voy a hacer una ilustración rápida. |
| |
de SVEM para mostrar cómo aplicarlo a sus propias DOE históricas. Voy a usar un ejemplo real de una DOE de cinco factores de un proceso de fermentación, donde la respuesta de interés fue el rendimiento del producto, medido por el título de pADN. |
| |
La gran ventaja de SVEM es que podemos obtener modelos más precisos con menos ejecuciones. Esto significa que podemos tomar conjuntos de datos existentes, |
| |
Utilice el nuevo conjunto de candidatos del diseñador JMP 16 para identificar el subconjunto de filas que forman el corazón predictivo entre comillas del diseño original. |
| |
Tomaré los datos originales que tenían 36 filas, cargaré las cinco columnas como covariables y le diré al diseñador personalizado que me dé el subconjunto de 16 filas del diseño original que brinde el mejor rendimiento previsto en ese tamaño. |
| |
Luego ocultaré y excluiré todas las filas que no estén en ese diseño de subconjunto, para que puedan usarse más adelante como un conjunto de prueba independiente. |
| |
Ejecutaré el modelo SVEM y compararé el rendimiento del modelo SVEM con lo que se obtiene si se aplica un procedimiento estándar como la selección hacia adelante, más el ajuste AICc a las mismas 16 ejecuciones. |
| |
Quiero decir que el nuevo candidato a diseñador de escenarios en JMP 16 es también una contribución notable y solo quiero destacar lo increíble que ha sido el equipo de Brad en la creación de esta nueva herramienta que será profundamente útil en muchas maneras, incluso con SVEM. |
| |
Entonces, para hacer esto, podemos tomar nuestro conjunto de datos e ir al diseñador personalizado. |
| |
Seleccionamos filas de covariables, por lo que este es un nuevo nodo de esquema en JMP 16. |
| |
Luego seleccionamos los cinco factores de entrada. |
| |
Haga clic en continuar. |
| |
Y vamos a presionar el botón RSM, que convertirá automáticamente los criterios de optimalidad al diseño de tipo I-óptimo o predictivo. |
| |
Seleccionamos todos los factores no interceptos y hacemos clic derecho en el...modelo... |
| |
Seleccione la lista aquí y cree... configure todos los efectos de no intercepción como posibles. Esto nos permite tener modelos. |
| |
Con más parámetros que ejecuciones como diseño base, ya que el criterio de diseño será ahora un diseño bayesiano I-óptimo. Ahora podemos establecer el número de ejecuciones en 16. |
| |
Haga clic en crear diseño. |
| |
Y una vez que hemos hecho eso, el optimizador hace su magia y todas las filas que están en el diseño del subconjunto I-óptimo bayesiano ahora están seleccionadas en la tabla original. |
| |
Podemos ir a la tabla y luego usar un indicador o transformar una columna para registrar la selección de fila actual. |
| |
Y seguí adelante y renombré la columna con un nombre significativo para más adelante. |
| |
Podemos seleccionar los puntos que no están en el diseño del subconjunto seleccionando todas las filas donde la nueva columna indicadora sea igual a cero. |
| |
Y luego podemos ocultar y excluir esas filas para que no se incluyan en nuestro proceso de ajuste del modelo. |
| |
Phil hará una demostración del complemento SVEM, así que omitiré los pasos de modelado y pasaré directamente a una comparación de modelos de selección hacia delante más AICc y el modelo SVEM en las filas no incluidas en el diseño de subconjuntos I-óptimos bayesianos. Pueden ver esa comparación aquí en rojo... |
| |
En la parte del contorno rojo del informe, vemos que SVEM tiene un R cuadrado en el... |
| |
conjunto de pruebas independiente de .5, y el procedimiento clásico, tiene un R cuadrado de .22, por lo que estamos obteniendo básicamente el doble de la cantidad de variación explicada con SVEM que con el procedimiento clásico. |
| |
También podemos comparar los trazos de perfil de los dos modelos cuando aplicamos SVEM a las 46 observaciones. |
| |
Está claro que estamos obteniendo básicamente el mismo modelo cuando aplicamos SVEM a las 46 ejecuciones que el que obtenemos con solo 16 ejecuciones con SVEM. |
| |
Pero el modelo basado en selección hacia adelante carece de términos de curvatura, lo cual no debe pasarse por alto... además de que también faltan muchas interacciones. Este es un procedimiento bastante simple que puede usar para probar SVEM con sus propios datos históricos. |
| |
Así que en general TODO |
| |
Esto plantea muchas preguntas. Muchas de ellas se centran en el papel de los grados de libertad en los experimentos de diseño, ya que ahora podemos ajustar modelos con más parámetros que filas, lo que significa que, de existir, habría grados de libertad negativos. |
| |
Creo que esto nos hará reconsiderar el papel del pensamiento basado en el valor P en la experimentación industrial. |
| |
Vamos a tener que trabajar para establecer nuevos métodos para la incertidumbre en el análisis, como la predicción... en intervalos de confianza en las predicciones. |
| |
Phil y yo estamos trabajando para comprender cuál es la mejor familia de modelos base con la que podemos trabajar. Podrían ser RSM cuadráticos, y también estamos analizando estos modelos cúbicos parciales que se propusieron hace mucho tiempo, pero que ahora creemos que merecen ser reconsiderados. |
| |
¿Qué tipos de diseños deberíamos usar? ¿Qué tamaños de muestra son apropiados en función del número de factores del modelo base que utilizamos? ¿Cuál es la función de los experimentos de cribado? Y una gran incógnita es cuál es la función de la experimentación con bloques y parcelas divididas. |
| |
¿en este marco? |
| |
Ahora le cedo la palabra a Phil. Él va a hacer un estudio de caso más profundo y también va a hacer una demostración del complemento SVEM de Predictum. ¡Adelante, Phil! |
| Philip Ramsey |
Bien, gracias, Chris. Y lo que voy a hacer es hablar de un caso práctico, así que déjame poner esto en... |
| |
presentación de diapositivas y haré algunas |
| |
Ilustración, como dijo Chris, de la Predicción |
| |
Un complemento que automatiza gran parte del análisis SVEM. Lo que estamos analizando es un método analítico utilizado en la industria biotecnológica. |
| |
Y este es para caracterizar el glicoperfilado de proteínas terapéuticas, básicamente proteínas para convertirse en anticuerpos. |
| |
Muchos de ustedes que trabajan en esa industria saben que las glicoproteínas son una fuente muy rica de terapias y que, si trabajan para cumplir con las BPM, deben demostrar la fiabilidad de los sistemas de medición. De hecho, para el perfil de glicoproteínas, |
| |
Los métodos analíticos rápidos y fáciles de usar aún no están completamente desarrollados. Por lo tanto, la idea de este experimento era idear un método bastante rápido y sencillo que permitiera a las personas obtener una evaluación precisa de los diferentes... |
| |
(No soy químico aquí) azúcares que han sido |
| |
unido a la proteína base después de la transcripción. |
| |
Y para darles una idea, la idea de usar la cromatografía y voy a asumir que están algo familiarizados con ella, básicamente es un método donde... |
| |
Si tienes alguna solución, la pasas por una columna y luego, a medida que las diferentes especies químicas pasan por la columna, |
| |
Tienden a separarse y salir de la columna en momentos diferentes. Así que, básicamente, se forma lo que se llama cromatagrama, donde el pico... |
| |
es una función de la concentración y el momento en que se produce el pico es realmente importante para identificar qué especie era en realidad. En este caso, analizaremos varios |
| |
Azúcares. Simplemente los llamaré glicoformas. Lo que ocurre aquí es que los científicos que realizaron este trabajo desarrollaron una solución de calibración. |
| |
Y sabemos exactamente qué contiene la solución de calibración. Sabemos exactamente qué picos deben eluirse y aproximadamente dónde. |
| |
Y luego podemos comparar una muestra real de anticuerpos humanos con la muestra de calibración. Algunas de estas glicoformas están cargadas, por lo que es difícil hacerlas pasar por la columna. |
| |
Tienden a adherirse, por eso utilizamos lo que a veces se denomina procedimiento de elución en gradiente. |
| |
Y no entraré en detalles. Lo que hacemos aquí es usar algo llamado cromatografía de intercambio aniónico de alta resolución. No soy un experto en eso, pero el científico con el que he trabajado lo ha hecho. |
| |
un muy buen trabajo en el desarrollo de esta calibración, y la razón por la que necesitamos una solución de calibración que históricamente |
| |
Los azúcares que se eluyen de una muestra de anticuerpos humanos no son totalmente predecibles en cuanto a dónde van a salir de una columna, por lo que tenemos algo que podemos usar para la calibración. |
| |
Entonces. |
| |
La persona que realizó el trabajo, y la mencionaré en breve, diseñó dos experimentos separados. Uno es un diseño de tres niveles con 16 series. |
| |
Luego, regresó y realizó un diseño más grande de 28 ejecuciones y tres niveles. Así, uno podría usarse como conjunto de entrenamiento y el otro como conjunto de validación. Pero para demostrar el selector de covariables y la estrategia bayesiana I-óptima que mencionó Chris, |
| |
Ambos diseños se combinaron en un solo diseño de 44 corridas. Luego... |
| |
Llevé ese diseño a un diseño personalizado con el selector de covariables y luego creé varios diseños I-óptimos bayesianos. |
| |
Podríamos haber hecho más combinaciones, pero tenemos poco tiempo para hablar de esto. Así que hay tres diseños. Uno tiene 10 ejecuciones (recuerden los cinco factores) y estamos haciendo 10 ejecuciones. |
| |
Un diseño de 13 carreras y uno de 16, y, de nuevo, podríamos hacer mucho más. Así que lo que queremos hacer es ver cómo... |
| |
Los diseños funcionan después de que usamos el ventilador para ajustar los modelos y, por cierto, como mencionó Chris, en cada uno de estos diseños, las ejecuciones que no se seleccionan de las 44 se utilizan luego como un conjunto de validación o prueba para ver qué tan bien funcionó el modelo. |
| |
Bien, estos son los factores iniciales: la cantidad inicial de acetato de sodio y la cantidad inicial de hidróxido de sodio. Y luego se llevan a cabo tres pasos separados de elución en gradiente. |
| |
Durante el proceso, que dura aproximadamente 40 minutos. Estos son los ajustes que se utilizan y manipulan en el experimento. |
| |
En este experimento, se pueden analizar 44 respuestas diferentes. Así que, dado el tiempo disponible, analizaré dos. |
| |
Uno es el tiempo de retención de la glicoforma 3, y ésta es la clave, esto es lo que ancla el cromatograma de calibración. |
| |
Y nos gustaría que saliera aproximadamente en ocho minutos y medio porque se alinea bien con las muestras de anticuerpos humanos. |
| |
En realidad, es bastante fácil de modelar. La segunda respuesta es el tiempo de retención de la glicoforma 10. Es una glicoforma cargada. Eluye muy tarde y tiende a acumularse con otras glicoformas cargadas, lo que dificulta su distinción. Bien, estas son las dos respuestas que analizaré. |
| |
Y para quienes no estén familiarizados con la cromatografía, aquí les presento un par de cromatogramas. Estas son, esencialmente, las respuestas. |
| |
imágenes de cómo se ven las respuestas y, en este caso, si miras la imagen, vamos a ver el tiempo de retención, es decir, cuándo |
| |
¿A qué hora apareció el pico 3? ¿Y a qué hora apareció el pico 10 y se mostró en el cromatograma? Y, por cierto, fíjate entre ambos. |
| |
Los cromatogramas que muestro muestran la diferencia entre los perfiles. En este experimento, al manipular esos factores experimentales, |
| |
(Y por cierto, tenemos 44 de estos cromatogramas; les muestro dos). Se observan muchas diferencias en las formas, los tiempos de retención, etc., de estos picos y en la resolución. Así que, hagamos lo que hagamos, claramente estamos manipulando... |
| |
los cromatogramas, y para aquellos que tengan curiosidad, sí, estamos pensando en esto en el futuro como datos funcionales y cómo se podría utilizar el análisis de datos funcionales. |
| |
Pero eso suele ser el futuro, pero definitivamente es algo que nos interesa mucho. Los cromatogramas son, en definitiva, datos funcionales. Pero solo voy a extraer dos características e intentar modelarlas. Bien. Y también quiero reconocer a... |
| |
La Dra. Eliza Yeung, de Cytovance Biologics, es una buena amiga y una excelente científica. Ella realizó todo el trabajo experimental y fue quien tuvo la idea de construir... |
| |
Lo que ella llama la escalera de glucosa, la solución de calibración. Y Eliza, además de ser una buena persona, también adora el JMP. Así que nos gusta Eliza en muchos sentidos, ¿vale? Excelente científica. Bueno, entonces... |
| |
Antes de entrar en |
| |
SVEM, solo quiero mencionar... Chris mencionó el modelo cuadrático completo que se ha utilizado desde, ¿qué?, 1950 como base de la optimización. |
| |
Básicamente, todos los efectos principales, las interacciones de dos factores y los términos al cuadrado. De hecho, para muchos sistemas físicos complejos, la cinética es demasiado compleja para ese modelo. |
| |
Y Cornell y Montgomery, en un artículo muy interesante de 1998, señalaron esto y sugirieron que en muchos casos, |
| |
Lo que ellos llaman el modelo de interacción, nosotros lo llamamos el modelo cúbico parcial, podría funcionar mejor. Y en mi experiencia, usando SVEM y aplicándolo a muchos casos prácticos, tienen razón. De hecho, ofrece mejores modelos predictivos, pero hay un problema. |
| |
Estos modelos cúbicos parciales pueden ser enormes y representan un gran desafío para las estrategias de modelado tradicionales, donde los modelos sobresaturados, como mencionó Chris, son un gran problema. |
| |
¿Cuántos términos potenciales hay? Bueno, tomemos K al cuadrado, el doble y súmemos uno para la intersección. Entonces, para cinco factores, el total... |
| |
Un modelo cúbico parcial tendría 51 términos. Por cierto, usaré estos modelos, pero solo 40 de los términos que suelen ser más importantes. |
| |
Y luego vamos a utilizar modelos de conjunto autovalidados para ajustar los modelos y, como dijo Chris, SVEM no tiene problemas con modelos sobresaturados. |
| |
Y, por cierto, en la literatura sobre aprendizaje automático, los modelos sobresaturados se ajustan todo el tiempo. |
| |
Y si utilizas las técnicas de aprendizaje automático adecuadas, realmente puedes... realmente pueden mostrarte que obtienes un mejor rendimiento de predicción. |
| |
Esto es bastante desconocido en la estadística tradicional, ¿de acuerdo? Así que vamos a usar el complemento SVEM. Como mencioné, si quieren saber más sobre él, pueden contactar a Wayne Levin, quien ya ha dado una charla en Predictum. Estoy seguro de que a Wayne le encantaría hablar con ustedes. |
| |
Ahora vayamos brevemente a JMP. |
| |
Y te mostraré cómo funciona realmente el complemento, así que déjame traerte JMP. |
| |
Instalé el complemento y ahora tiene su propia pestaña. Hago clic en Predictum. Por cierto, este es uno de los diseños bayesianos I-óptimos que creamos, y tiene 16 ejecuciones. Selecciona el modelado de conjuntos autovalidado. |
| |
Así que ven lo que parece ser el diálogo de lanzamiento típico de un modelo de ajuste. Voy a seleccionar mis cinco factores. |
| |
Y en este punto solo voy a hacer un modelo de superficie de respuesta a modo de ilustración, y quiero modelar |
| |
tiempo de retención para la glicoforma 3. Observe en el fondo, esta configuración, la tabla de autovalidación, por lo que hay una función de espera. |
| |
Y hay una sección de validación automática. Todo esto se ejecuta en segundo plano; no es necesario que la veas. Pero el complemento la creó y luego la oculta. Puedes verla si quieres, pero está oculta porque no es tan importante verla. |
| |
Ahora abrimos GenReg, así que este es el GenReg |
| |
Panel de control. Y, a modo de ejemplo, por cierto, SVEM es bastante independiente del método que se use para la construcción de modelos. De hecho, se podrían usar métodos que ni siquiera están en GenReg, pero ese es nuestro enfoque principal hoy. Así que vamos a hacer selección avanzada. |
| |
Y como sólo tenemos cierto tiempo, sólo voy a hacer 10 repeticiones. |
| |
Haga clic en Ir y crearemos el modelo. |
| |
Aquí está el resultado de solo 10 repeticiones, y se obtiene una gráfica de predicción. Pero lo mejor de esto es que crea el promedio del modelo de conjunto. |
| |
Hago clic en el modelo de conjunto autovalidado y guardo la fórmula de predicción. Voy a cerrar esta pantalla. |
| |
Venir. |
| |
Y ahí está mi modelo. |
| |
Ahora puedo tomar este modelo y aplicarlo a los datos de validación. Tenemos 16 ejecuciones seleccionadas, así que hay otras 28 disponibles que pueden usarse como conjunto de validación para ver cómo lo hicimos realmente. En este punto, volveré a... |
| |
presentación y, por cierto, sin el complemento SVEM, puede resultar un poco difícil, especialmente si no eres particularmente competente en scripts JMP. |
| |
Para crear estos modelos. Así que puede que no parezca que ese complemento hizo mucho trabajo en segundo plano. ¿Qué tal lo hicimos? Permítanme volver a mostrarlo en diapositivas. |
| |
Entonces lo que hice fue tres diseños: uno de 16 pasadas, otro de 13 pasadas y, finalmente, otro de 10 pasadas. Realmente traspasamos los límites. |
| |
Y hay dos respuestas, como mencioné, la glicoforma 10 eluye tarde y tiende a ser ruidosa y puede ser difícil de resolver. Así que, para el diseño de 16 series, ajusté un modelo cúbico parcial de 40 términos. Tengan esto en cuenta: 16 series. Y ajusté un modelo de 40 términos. |
| |
Y la clave de esto es el error cuadrático medio en el conjunto de validación. Entonces... |
| |
Instalé mi sexto... mi modelo de 40 términos, y luego el |
| |
El error cuadrático medio en el conjunto de validación fue bajo y el R cuadrado de validación estuvo realmente cerca de 98, por lo que ajustó muy, muy bien. |
| |
Aviso, incluso para los más ruidosos. |
| |
Glicoforma 10: aún tenemos un modelo bastante bueno. Les mostraré algunos gráficos de comparación entre lo real y lo predicho. Hicimos lo mismo para la 13, y de nuevo para la 13, obtuvimos muy buenos resultados. |
| |
Y finalmente para el 10. Por cierto, para el 10, simplemente ajusté el modelo cuadrático completo estándar, sentí que realmente estaba tentando a la suerte. |
| |
Pero podría haber seguido adelante y probado la ecuación cúbica parcial. Y observe, una vez más, incluso con 10 ejecuciones, modelando el tiempo de retención de la glicoforma 3, obtuve un R cuadrado de 0,94. |
| |
Para mí, eso es realmente impresionante y, nuevamente, modelé... mi modelo tenía el doble de predictores que observaciones e incluso con la glicoforma 10, que es difícil de modelar, lo hicimos bastante bien. |
| |
Entonces, aquí hay algunos gráficos reales predichos y nuevamente elijo la glicoforma 10 porque es realmente difícil de modelar. |
| |
Así que no quise manipular demasiado el sistema. Sé por experiencia que es difícil modelarlo. Por lo tanto, existe un gráfico de resultados reales por predicción. Hay otro gráfico de resultados reales por predicción para el diseño de 10 ejecuciones, que sigue funcionando bastante bien. |
| |
cuando consideramos lo que estamos tratando de hacer aquí. |
| |
Y finalmente, ¿cómo nos fue en general? |
| |
Así que esta es una pequeña tabla que armé y tomé el diseño de 16 carreras como base, y luego lo que estoy haciendo es comparar lo que sucedió cuando ajustamos el de 10. |
| |
modelo de término y el término 13 para el tiempo de retención para G10. |
| |
Notarán que obtuvimos un error bastante grande para 13 y uno mucho menor para 10. No sé por qué. Decidí mostrar solo los resultados. Es un misterio, y no he vuelto a investigarlo. |
| |
Pero para el tiempo de retención tres, note que paso de 16 a 10. Sí, obtuve algún aumento en el error cuadrático medio, pero ya sabe, si observa el gráfico real por el predicho, |
| |
Sigue siendo un buen predictor en el conjunto de validación. Así que el punto es, y esto es, sé que esto es, trabajo mucho con empresas de biotecnología, el |
| |
eficiencias reales que potencialmente podrían lograr en sus diseños experimentales y sé que para muchos de ustedes estos experimentos son costosos. |
| |
Y lo que es más importante, requieren mucho tiempo. Esto puede acortar el tiempo de experimentación, reducir el presupuesto y obtener aún más información. |
| |
Así que, una breve conclusión. Este procedimiento SVEM, y como Chris mostró, lo hemos investigado en simulaciones y casos prácticos. |
| |
SVEM es excelente para modelos sobresaturados. No entraré en detalles, pero la práctica del aprendizaje automático demuestra que los modelos sobresaturados funcionan muy bien. Utilizan el aprendizaje profundo como ejemplo. |
| |
Básicamente, como dice Chris, SVEM combina el aprendizaje automático con el diseño de experimentos. |
| |
Y lo que es más importante, una vez que empiezas a recorrer el camino de SVEM, eso, a su vez, influye en cómo piensas acerca de la experimentación. |
| |
Básicamente, al usar SVEM, podemos empezar a pensar en experimentos altamente eficientes que realmente pueden acelerar el ritmo de la innovación y reducir el tiempo y los costos de la experimentación. Y con tiempo para desarrollar productos y procesos. |
| |
...los plazos de entrega se hacen cada vez más cortos, esto no es un punto trivial, y sé que muchos de ustedes en biotecnología también enfrentan serias limitaciones presupuestarias. |
| |
Y luego (por cierto, la mayoría de la gente lo es) y finalmente un área prometedora son los diseños I-óptimos bayesianos. |
| |
Y, de nuevo, mencionaré que Brad Jones y su grupo han hecho un excelente trabajo al introducirlos en JMP. Es el único paquete de software que conozco que realmente realiza diseños bayesianos I-óptimos. |
| |
Creemos que SVEM abrirá la ventana a muchas posibilidades. Así que, básicamente, esa es mi historia y se la cedo a Wayne Levin. |
| Wayne Levin |
Muchas gracias por ello. |
| |
Phil y Chris. Espero que todos puedan ver que se ha invertido muchísimo trabajo y mucha investigación en esto, incluyendo algunas... |
| |
Trabajo en las trincheras, se podría decir, y he estado en este juego durante más de 30 años, no me importa decirles que estoy muy emocionado por lo que estoy viendo aquí. |
| |
Creo que esto puede ser realmente transformador, realmente cambiar la forma en que se realizan los experimentos industriales aquí. Antes me entusiasmaban mucho los diseños sobresaturados, y eso fue... |
| |
facilitado con un diseñador personalizado y ahora con...eso está en el lado del diseño. |
| |
de las cosas. |
| |
Ahora, cuando se lleva SVEM al lado del análisis, quiero decir que son dos sabores excelentes. |
| |
que combinan de maravilla, podría decirse. En fin, para concluir, voy a añadir aquí que... |
| |
Phil, yo y Marie Goddard estamos preparando un curso a pedido (debería estar disponible el próximo trimestre, como en abril). |
| |
En experimentos de diseño de mezclas, dedicaremos bastante tiempo a SVEM en ese curso. Si te interesa, házmelo saber o... para que podamos informarte o síguenos en LinkedIn o alguna otra plataforma. |
| |
Y en cuanto al complemento SVEM, de nuevo, si me lo permiten, estoy encantado de que hayamos sido los primeros en comercializarlo. |
| |
Hemos estado trabajando arduamente en ello durante varios meses. Publicamos una nueva versión aproximadamente cada mes, por lo que evoluciona a medida que recibimos comentarios del equipo. Quiero agradecerle mucho a Phil. |
| |
Por liderar esto. Y ha estado colaborando con uno de nuestros desarrolladores (¿?) y ha sido un esfuerzo realmente tremendo, mucho trabajo duro. |
| |
Para llegar a este punto, queremos que estés disponible. Como Phil mencionó antes, hay dos maneras de probarlo. Una es probar el complemento en sí, |
| |
Funciona con las versiones 14 y 15. Y con el lanzamiento de la 16, creo que también funcionará con la 16. Requiere JMP Pro, así que si no lo tienes, aquí tienes un enlace donde puedes solicitar una licencia de prueba de JMP Pro. |
| |
Puedes obtener este enlace, por supuesto, descargando las diapositivas de esta presentación. Así es como puedes obtenerlo y probarlo tú mismo. |
| |
Otra forma es simplemente contactarnos y podemos trabajar con usted sobre la base de una prueba de concepto, ¿de acuerdo? |
| |
Podríamos hacer algunos análisis comparativos, etc., y, por supuesto, revisar ese análisis con usted. Así que, como sabe, prepararemos la documentación necesaria y... |
| |
No nos importa probarlo. Lo hemos hecho con varias empresas y puede que sea la forma más sencilla para ti, sea lo que sea que te funcione. Bien, por ahora, lo que me gustaría hacer es... |
| |
Abre el foro para cualquier pregunta o comentario. En nombre de Chris y Phil, gracias por acompañarnos. Bien, preguntas y comentarios, por favor. |
