Vocero
|
Transcripción
|
| Wayne Levin |
modelo de conjunto autovalidante, ya que lo vemos como un cambio de paradigma en el diseño de experimentos y demás. |
| |
Solo voy a ... ahí vamos. Nuestra agenda aquí es ... vamos a ... sólo una breve introducción sobre quién está hablando. |
| |
Entonces, qué, por qué y cómo de SVEM. Así que tendremos una descripción general rápida del DOE y el aprendizaje automático, describiremos cómo combinarlos en SVEM, analizaremos algunos experimentos de SVEM del mundo real ... del mundo real, y vamos a |
| |
revise algunas investigaciones actuales y demuestre el nuevo diseñador de escenarios candidato de JMP, nuevo en JMP 16, y luego terminaremos con los siguientes pasos habituales, preguntas y respuestas, etc. |
| |
SVEM es un método nuevo y notable para extraer más conocimientos con menos ciclos experimentales y construir modelos predictivos más precisos a partir de pequeños conjuntos de datos, incluidas las DOE. |
| |
Al usar SVEM, anticipamos, le prometemos que tendrá un costo menor, será más rápido en el mercado y resolverá problemas mucho más rápido. Vamos a explorar todo eso a medida que avancemos. |
| |
en la sesión. |
| |
Soy Wayne Levin y soy el presidente de Predictum y se une a mí Chris Gotwalt, que es el científico jefe de datos de JMP, y también se une a nosotros Phil Ramsey, que es científico de datos senior aquí en Predictum y profesor asociado en la Universidad de New Hampshire. |
| |
Así que vamos a |
| |
hacer un balance aquí. Las contribuciones de JMP a la ciencia de datos son enormes, así que todos lo sabemos, y en el espacio DOE, que se remonta a hace más de 20 años, sería ... JMP 4, con el algoritmo de intercambio de coordenadas. |
| |
Y luego, hace unos ocho años, hace nueve años, vimos el lanzamiento de diseños de cribado definitivos. Y nos gustaría pensar que SVEM, lo llamamos para modelado de conjuntos corto y autovalidante (intenta decir eso rápido tres veces), nos gusta pensar que esta es otra contribución. |
| |
aprendizaje automático y diseño de experimentos. |
| |
Supera las limitaciones de cantidades limitadas de datos, ¿verdad? Con pequeñas cantidades de datos, no puede hacer aprendizaje automático, normalmente debe tener grandes cantidades de datos para que eso suceda. |
| |
Ahora hemos estado probando SVEM en el campo y varias empresas se acercaron a nosotros y pusimos a disposición una versión de prueba de SVEM. Estaban en |
| |
Predictum, el primero en crear un producto en esta área, llevar un producto al mercado, y solo quiero compartir con ustedes algunas de las cosas que hemos aprendido hasta ahora. |
| |
Y una es que SVEM funciona excepcionalmente bien. Quiero decir, cuando tienes más parámetros y número de ejecuciones, funciona muy bien con |
| |
modelos de orden superior. Ofrece predicciones más precisas y también ayuda a recuperarse de DOE rotas. Entonces, por ejemplo, si tiene diseños de cribado definitivos que para |
| |
cualquier motivo no se puede ejecutar en forma definitiva, nos han enviado algunos DOE históricos que |
| |
falta poder. Ellos simplemente, ya sabes, no encontraron nada y, pero con SVEM, en realidad lo hizo. Fue capaz de hacerlo. Y sabes que hemos tenido casos en los que faltaron algunas carreras o fueron cuestionables. |
| |
Algo más que hemos aprendido es que no te ayudará con el factorial racional, así que cosas así. Estamos interesados en modelos predictivos aquí |
| |
y los factoriales fraccionarios realmente no dan modelos predictivos; no están diseñados para eso. Por lo tanto, no le proporcionará algo para lo que los datos no estén estructurados, |
| |
al menos no en esa medida. La otra cosa que hemos aprendido es que todavía no hemos probado todo el potencial de SVEM. Para hacer eso, realmente necesitamos |
| |
diseñar experimentos con SVEM en mente para empezar, y eso significa mirar más factores. No queremos considerar solo tres o cuatro factores. ¿Qué tal 10, 15 o incluso más? |
| |
A partir de la investigación, entendemos que Chris y Phil hablarán de que los diseños Bayesianos I-óptimos son los mejores ... el mejor enfoque para usar con SVEM y también diseños de mezcla |
| |
fueron particularmente útiles para SVEM y tendré algo más que decir al respecto más adelante. Y en lo que respecta a SVEM |
| |
si desea probarlo, tendremos algo de información al final después de que Chris y Phil hablen de eso. Y con eso dicho, te lo voy a dejar, Chris, ¿quién lo hará? |
| |
entrar en el qué, el por qué y el cómo de SVEN. Así que para ti, Chris. |
| Chris Gotwalt |
Muy bien, muy bien, gracias, Wayne. Oh, espera, ¿estoy compartiendo mi pantalla? |
| Wayne Levin |
Todavía no. |
| |
Aquí vamos. |
| Chris Gotwalt |
Está bien, está bien, gracias, Wayne. |
| |
Así que ahora voy a presentar la idea de modelos de conjunto autovalidables o SVEM. |
| |
Voy a mantenerlo bastante básico. Asumiré que tiene algo de experiencia en diseño y análisis de experimentos. |
| |
Lo más importante es que debe comprender que el proceso de modelado estadístico se reduce a ajustar funciones a los datos. |
| |
esa variable de respuesta del predictor en función de las variables de entrada. En un nivel alto, SVEM es un puente entre los algoritmos de aprendizaje automático que utilizan aplicaciones de big data |
| |
y diseño de experimentos, que generalmente se considera un pequeño y buen problema de análisis. El aprendizaje automático y el DOE tienen una larga historia, pero hasta ahora, eran tradiciones relativamente separadas. |
| |
Nuestra investigación indica que puede obtener modelos más precisos utilizando menos observaciones utilizando SVEM. |
| |
Esto significa que la mejora de productos y procesos puede ocurrir en menos tiempo utilizando menos recursos a menor costo. Entonces, si se encuentra en una industria competitiva, |
| |
donde ser el primero en el mercado es fundamental, entonces SVEM debería ser de gran interés para usted. |
| |
En particular, creemos que SVEM tiene particular ... tiene una tremenda promesa en las industrias farmacéutica y biotecnológica, |
| |
alta tecnología como la fabricación de semiconductores y el desarrollo de productos de consumo. |
| |
En mi trabajo aquí en JMP, he tenido una visión general de cómo se manejan los datos en muchas industrias y áreas de aplicación. |
| |
He desarrollado algoritmos para construir experimentos de diseño óptimos, así como procedimientos de análisis relacionados, como modelos mixtos y generalizar sus modelos. |
| |
Por otro lado, también soy el desarrollador de los algoritmos de redes neuronales de JMP Pro, así como algunas de las otras técnicas de aprendizaje automático que se encuentran en el producto. |
| |
Durante los últimos 20 años, he visto que el aprendizaje automático se ha vuelto más prominente al modelar grandes conjuntos de datos de observación y ver muchos nuevos |
| |
algoritmos que se han desarrollado. Al mismo tiempo, el análisis de los experimentos diseñados también ha cambiado, pero de forma más gradual durante los últimos 20 años. |
| |
La metodología estadística general de la experimentación industrial sería reconocible para cualquiera que leyera Box, Hunter y Hunter a fines de la década de 1970. |
| |
El aprendizaje automático y el diseño de experimentos se aplican generalmente a la industria para resolver problemas que son de naturaleza predictiva. |
| |
Usamos estas herramientas para responder preguntas, como si el sensor indica un lote defectuoso o cómo ajustamos el proceso para maximizar el rendimiento y minimizar los costos. |
| |
Aunque ambos son de naturaleza predictiva, el aprendizaje automático y el diseño de experimentos se han aplicado generalmente a tipos de datos bastante diferentes. |
| |
Lo que voy a hacer ahora es dar una descripción general rápida de ambos y luego describir cómo los combinamos en SVEM. |
| |
Analizaré algunos datos de un experimento real para mostrar cómo funciona y por qué creemos que está funcionando muy bien en general. |
| |
Iré en general ... Iré ... Revisaré los resultados de las simulaciones realizadas por Trent Limpkiss (?), Un estudiante de doctorado en la Universidad de New Hampshire, que nos ha dado la confianza de que el enfoque es muy prometedor. |
| |
Luego, repasaré un ejemplo que muestra cómo puede usar los nuevos diseños de conjuntos de candidatos en JMP 16 para encontrar subconjuntos óptimos de conjuntos de datos existentes para que pueda probar SVEM por sí mismo. |
| |
Destacaré algunas de nuestras observaciones, mencioné algunas preguntas futuras que esperamos responder, y luego se las entregaré a Phil, quien analizará un caso de estudio más profundo y una demostración del complemento SVEM. en. |
| |
Considere los datos simples en la pantalla. Es un dato del proceso metalúrgico y queremos predecir la cantidad de contracción al final de los pasos de procesamiento. |
| |
Tenemos tres variables a la izquierda que queremos usar para predecir la contracción. Modelar equivale a encontrar una función que conecte la presión, el tiempo y la temperatura que predice la respuesta (contracción) aquí. |
| |
Con suerte, este modelo generaría ... se generalizará a nuevos datos en el futuro. |
| |
En un contexto de aprendizaje automático, la forma estándar de hacer esto es dividir esos datos en dos conjuntos de filas disjuntos. Uno se llama conjunto de entrenamiento y se usa para ajustar modelos para asegurarnos de que no sobreajustamos los datos, |
| |
lo que conduce a modelos que son inexactos en nuevas observaciones. Tenemos otro subconjunto de datos, llamado conjunto de validación que se utiliza para probar varios modelos en los que hemos estado ... |
| |
que se han adaptado al conjunto de entrenamiento. Hay una compensación aquí, donde las funciones que son demasiado simples no encajarán bien en los conjuntos de entrenamiento y validación porque no explican suficiente variación. |
| |
Mientras que los modelos que son demasiado complejos pueden tener un ajuste casi perfecto en el conjunto de entrenamiento, pero serán muy imprecisos en el conjunto de validación. |
| |
Usamos medidas como la validación R al cuadrado para encontrar el modelo de ricitos de oro que no es ni demasiado simple ni demasiado complicado. |
| |
Este modelo de ricitos de oro será aquel cuya validación R al cuadrado sea la más alta en el conjunto de validación. |
| |
Esta selección de modelo de estilo de espera es una muy buena manera de proceder cuando tiene una cotización sin comillas en un número razonablemente grande de filas, |
| |
a menudo en los cientos de millones de filas o más. La declaración razonablemente grande es intencionalmente ambigua y depende de la tarea en cuestión. Dicho esto, las 12 filas que ve aquí son realmente demasiado pequeñas y se usan aquí solo como ilustración. |
| |
En las DOE, generalmente nos encontramos en situaciones en las que existen serias limitaciones de tiempo y / o recursos. |
| |
Una idea central de los experimentos diseñados, en particular los experimentos de diseño óptimo que son una capacidad clave de JMP, consiste en obtener información de la más alta calidad empaquetada en el menor número posible de filas. |
| |
Muchas personas brillantes durante muchos años han creado herramientas estadísticas como pruebas F, gráficos de la mitad de lo normal y criterios de selección de modelos, como AIC y BIC, |
| |
que nos ayudan a tomar decisiones sobre los modelos para los datos del DOE. Todas estas son guías que nos ayudan a identificar qué modelo debemos utilizar para basar nuestras decisiones científicas, de ingeniería y de fabricación. |
| |
Una cosa que no se hace a menudo es aplicar la selección del modelo de aprendizaje automático a los experimentos diseñados. Ahora, ¿por qué sería eso? |
| |
Una razón importante es que la información está tan empaquetada en los diseños que eliminar incluso unas pocas observaciones puede provocar el colapso de los principales efectos e interacciones. |
| |
de modo que ya no podemos separarlos en efectos estimables de forma única. Si intenta hacerlo de todos modos, es probable que vea advertencias de informes de software, como grados de libertad perdidos o detalles de singularidad agregados al informe del modelo. |
| |
Ahora vamos a realizar un pequeño experimento mental. ¿Y si intentáramos hacer un poco de trampa? |
| |
¿Qué pasa si copiamos todas las filas de la tabla original, las X y las Y, y etiquetamos una copia como "entrenamiento" y etiquetamos la otra copia como "validación"? Ahora tenemos suficientes datos, ¿verdad? Equivocado. No estamos engañando a nadie con esto, este es un esquema loco. |
| |
Es una locura, porque si trataste de modelar usando este enfoque y miraste cualquier gráfico de índice de bondad de ajuste, verás que hacerlos más complicados conduce a un mejor ajuste en el conjunto de entrenamiento, pero porque entrenamiento y validación |
| |
los conjuntos son los mismos en este caso, el enfoque siempre conducirá a un sobreajuste. |
| |
Así que hagamos una copia de seguridad y reformulemos la selección del modelo de aprendizaje automático como una historia de dos sumas ponderadas de cuadrados calculadas sobre los mismos datos. |
| |
En lugar de pensar en la selección del modelo en términos de dos particiones de datos, podemos considerarlo como dos columnas de ponderaciones. |
| |
Hay un peso de entrenamiento que es igual a uno para las filas del conjunto de entrenamiento y cero en caso contrario, y una columna de validación |
| |
que es igual a cero para las filas de entrenamiento e igual a uno para la columna de validación, para las filas de validación. |
| |
Entonces, a partir de la selección del modelo de aprendizaje automático, podemos pensar que cada fila tiene su propio par de valores de peso, donde ambos pesos son ceros y unos binarios. |
| |
Tenerlos configurados de esta manera es lo que nos da una evaluación independiente del ajuste del modelo. |
| |
Los modelos se ajustan encontrando valores de parámetros de búsqueda que minimizan las sumas de errores cuadrados ponderados usando el peso de entrenamiento, y el rendimiento de generalización se mide usando la suma de errores cuadrados ponderados usando los pesos de la columna de validación. |
| |
Si trazamos estos pares de pesos en un diagrama de dispersión, vemos, por supuesto, que los pesos de validación del entrenamiento ... los pesos de entrenamiento y validación están perfectamente correlacionados. |
| |
Ahora, ¿qué pasa si, en lugar de obligarnos a usar pares de valores binarios perfectamente correlacionados, relajamos el requisito de que los valores pueden tomar solo los valores de cero y uno? |
| |
y permitir que las ponderaciones adquieran un valor estrictamente positivo? |
| |
Para hacer eso, tenemos que renunciar a algo, en particular, que yo sepa, para que esto funcione matemáticamente, ya no podemos tener pares de peso perfectamente anti correlacionados, pero podemos hacer esto de una manera que todavía tengamos un anti sustancial correlación. |
| |
Hay muchas formas de hacer esto, pero una forma de hacerlo sería crear ponderaciones usando el mismo esquema que el bootstrap ponderado fraccionalmente, donde usamos una distribución exponencial con una media de uno. |
| |
para crear los pesos. Y hay un pequeño truco que usa las propiedades de la distribución uniforme que podemos usar para crear pares de pesos distribuidos exponencialmente, pero altamente correlacionados. |
| |
Cuando usamos esto como un esquema de validación ponderado de dos columnas, lo llamamos autovalidación. Phil y yo hemos dado varios artículos de Discovery sobre esto ... sobre esta misma idea. |
| |
Usar este enfoque es como tener una columna de entrenamiento de pesos que tiene una media de varianza de uno y la columna de validación con las mismas propiedades. |
| |
Bajo este esquema de autovalidación, si una fila contribuye más que el peso promedio a las sumas de cuadrados de entrenamiento, esa fila contribuirá menos a las sumas de cuadrados de validación y viceversa. |
| |
Hay un complemento que Mike ... Quiero señalar que hay un complemento que Mike Anderson creó que establece conjuntos de datos en este tipo de formato que las plataformas de modelado de JMP Pro pueden consumir. |
| |
Recientemente, Phil y yo hemos contratado a Trent como nuestro estudiante de doctorado. |
| |
Durante la primavera y el otoño, Trent realizó muchas simulaciones probando muchos enfoques diferentes para ajustar modelos a los datos del DOE, incluido un zoológico completo de enfoques basados en la autovalidación. Mostraré algunos de sus resultados |
| |
aquí en un ratito. Basta decir que el enfoque que mejor funcionó consistentemente, en términos de error promedio mínimo en un conjunto de prueba independiente, fue aplicar la autovalidación |
| |
en combinación con procedimientos de selección de una variable como la selección hacia adelante, pero en lugar de hacer esto una vez repetimos el proceso decenas o cientos de veces, |
| |
guardar la fórmula de predicción cada vez y, en última instancia, promediar los modelos en todas estas iteraciones autovalidadas. Y llamamos a este procedimiento general modelos de conjunto autovalidados o SVEM. |
| |
Entonces, para hacer las cosas un poco más concretas, voy a dar un ejemplo rápido que ilustra esto. Comenzamos inicializando los pesos de autovalidación. |
| |
Aplicamos un procedimiento de selección de modelo, como el Lazo o la selección hacia adelante, luego guardamos la fórmula de predicción en la tabla. |
| |
Aquí está la primera fórmula de predicción. En esta iteración, solo se han seleccionado dos efectos principales lineales. |
| |
Luego reinicializamos las ponderaciones, volvemos a encajar en el modelo utilizando el nuevo conjunto de ponderaciones y guardamos esa fórmula de predicción. |
| |
Aquí está la segunda fórmula de predicción autovalidada. Tenga en cuenta que esta vez, se eligió un conjunto diferente de efectos e interacciones principales y sus coeficientes de regresión son diferentes esta vez. |
| |
Repetimos este proceso un montón de veces. |
| |
Y al final, el modelo SVEM es simplemente el promedio de todas las fórmulas de predicción. |
| |
Aquí hay un diagrama sucinto que ilustra el algoritmo SVEM como un diagrama. Entonces, la idea de combinar los procedimientos de arranque con el promedio del modelo |
| |
sucede una y otra vez, ya que estamos ... después de reinicializar los pesos. Guardamos la fórmula de predicción de esa iteración. |
| |
Guardamos ... aquí estoy guardando el parámetro ... aquí la ilustración muestra los parámetros, pero es lo mismo con las fórmulas. Simplemente guárdelos todos y luego, al final del día, el modelo final es simplemente el promedio de todas las iteraciones. |
| |
Una vez que hayamos terminado, podemos usar ese modelo SVEM en el generador de perfiles de gráficos con las fórmulas intermedias expandidas activadas para que podamos visualizar el modelo resultante y optimizar nuestro proceso, etc. |
| |
Ahora voy a repasar los resultados de la investigación de tesis de Trent. |
| |
a Box Behnkens y DSD en cuatro y ocho factores. Cada simulación consistió en 1,000 réplicas de simulación y cada simulación tenía su propio conjunto de valores de parámetros verdaderos para nuestro modelo de superficie de respuesta cuadrática. |
| |
Los parámetros activos se distribuyeron doblemente exponencialmente y exploramos diferentes porcentajes de efectos activos del 50% al 100%. |
| |
Para cada una de las 1,000 repeticiones de simulación, la predicción de SVEM se evaluó en relación con el modelo real en un conjunto de prueba independiente que consistía en un diseño de llenado de espacio de 10,000 carreras sobre el espacio factorial. |
| |
Observamos una gran cantidad de enfoques de modelado clásico de disparo único diferentes, así como una serie de variaciones en toda la validación. |
| |
Pero es más fácil mirar los resultados más interesantes, ya que había demasiado para comparar. La historia fue muy consistente en todas las situaciones que investigamos. |
| |
Esta es una de esas simulaciones donde el diseño base fue un diseño de cribado definitivo, con ocho factores y 21 corridas. En este caso, el 50% de los efectos fueron distintos de cero. |
| |
Esto significa que el modelo tenía tantos parámetros distintos de cero como ejecuciones, aproximadamente. |
| |
A la izquierda están los diagramas de caja del error cuadrático medio de la raíz logarítmica para el Lasso, el selector de Dantzig, la selección hacia adelante y la selección hacia adelante podada, todos sintonizados utilizando el AICc, el mejor rendimiento en los métodos. |
| |
Además, el mejor rendimiento de los métodos de la plataforma de ajuste definitivo es el siguiente, seguido de SVEM aplicado a un modelado diferente ... varios procedimientos de modelado diferentes a la derecha. |
| |
Hay una reducción drástica en el error cuadrático medio de la raíz del conjunto de prueba independiente, cuando comparamos los RMSE del conjunto de prueba en relación con las predicciones de SVEM. |
| |
Y tenga en cuenta que esto está en una escala logarítmica, por lo que esta es una diferencia bastante dramática en el rendimiento predictivo. |
| |
Aquí hay un resultado aún más interesante. Esta fue la trama que realmente me impactó. Esta es la misma configuración de simulación, excepto que aquí todos los efectos son distintos de cero. |
| |
Por tanto, los modelos verdaderos están sobresaturados, no solo en la matriz de diseño, sino en los parámetros mismos. |
| |
En el pasado, tuvimos que asumir que el número de efectos activos era un pequeño subconjunto de todos los efectos y ciertamente más pequeño que el número de filas. |
| |
Aquí estamos obteniendo modelos razonablemente precisos a pesar de la cantidad de parámetros activos, siendo aproximadamente dos veces la cantidad de filas, lo cual es realmente notable. |
| |
Ahora voy a pasar por una ilustración rápida |
| |
de SVEM para mostrar cómo puede aplicarlo a sus propias DOE históricas. Voy a usar un ejemplo real de un DOE de cinco factores de un proceso de fermentación, donde la respuesta de interés fue el rendimiento del producto medido por el título de pDNA. |
| |
La gran ventaja de SVEM es que podemos obtener modelos más precisos con menos corridas. Esto significa que podemos tomar conjuntos de datos existentes, |
| |
utilice el nuevo diseñador de conjuntos candidato en JMP 16 para identificar el subconjunto de filas que forman el corazón predictivo entre comillas del diseño original. |
| |
Tomaré los datos originales que tenían 36 filas, cargaré las cinco columnas como covariables y le diré al diseñador personalizado que me dé el subconjunto de 16 filas del diseño original que ofrece el mejor rendimiento previsto en ese tamaño. |
| |
Luego, ocultaré y excluiré todas las filas que no estén en ese diseño de subconjunto, para que puedan usarse más tarde como un conjunto de prueba independiente. |
| |
Ejecutaré el modelo SVEM y compararé el rendimiento del modelo SVEM con lo que obtiene si aplica un procedimiento estándar como la selección directa, más el ajuste AICc en las mismas 16 ejecuciones. |
| |
Quiero decir que el nuevo diseñador de escenarios candidato en JMP 16 es un ... también es una contribución notable y solo quiero resaltar lo increíble que ha sido el equipo de Brad en la creación de esta nueva herramienta que va a ser profundamente útil de muchas formas, incluso con SVEM. |
| |
Entonces, para hacer esto, podemos tomar nuestro conjunto de datos, ir al diseñador personalizado. |
| |
Seleccionamos filas covariables, por lo que este es un nuevo nodo de esquema en JMP 16. |
| |
Luego seleccionamos los cinco factores de entrada. |
| |
Haga clic en continuar. |
| |
Y vamos a presionar el botón RSM, que convertirá automáticamente los criterios de optimización en diseño de tipo I-óptimo o predictivo. |
| |
Seleccionamos todos los factores que no son de intersección y hacemos clic derecho en ... en el modelo ... |
| |
seleccione la lista aquí y cree ... configure todos los efectos no interceptados como si fueran efectos posibles. Esto es lo que nos permite tener modelos. |
| |
con más parámetros en ellos que ejecuciones como nuestro diseño base, ya que los criterios de diseño ahora serán un diseño óptimo Bayesiano I. Ahora podemos establecer el número de carreras en 16. |
| |
Haga clic en hacer diseño. |
| |
Y una vez que hemos hecho eso, el optimizador hace su magia, y todas las filas que están en el diseño de subconjunto óptimo bayesiano I ahora se seleccionan en la tabla original. |
| |
Podemos ir a la tabla y luego usar un indicador o una columna de transformación para registrar la selección de fila actual. |
| |
Y seguí adelante y renombré la columna con un nombre significativo para más adelante. |
| |
Podemos seleccionar los puntos que no están en el diseño del subconjunto seleccionando todas las filas donde la nueva columna del indicador es igual a cero. |
| |
Y luego podemos ocultar y excluir esas filas para que no se incluyan en nuestro proceso de ajuste de modelo. |
| |
Phil hará una demostración del complemento SVEM, por lo que omitiré los pasos de modelado y pasaré directamente a una comparación de modelo de selección directa más AICc y el modelo SVEM en las filas no incluidas en el diseño de subconjunto óptimo Bayesiano I. Entonces puedes ver esa comparación aquí en rojo ... |
| |
en la parte del contorno rojo del informe aquí. Vemos que SVEM tiene un cuadrado R en el |
| |
conjunto de prueba independiente de .5, y el procedimiento clásico, tiene un cuadrado R de .22, por lo que obtenemos básicamente el doble de la cantidad de variación explicada con SVEM que con el procedimiento clásico. |
| |
También podemos comparar las trazas de perfil de los dos modelos cuando aplicamos SVEM a las 46 observaciones. |
| |
Está claro que obtenemos el mismo modelo básicamente con cuando aplicamos SVEM a las 46 carreras, como lo obtenemos con solo 16 carreras por debajo de SVEM. |
| |
Pero el modelo basado en la selección hacia adelante carece de términos de curvatura, que no debe perderse ... sin mencionar que también faltan muchas interacciones. Este es un procedimiento bastante ... procedimiento bastante simple que puede usar para probar SVEM en sus propios datos históricos. |
| |
Entonces, en general, SVEM |
| |
plantea muchas preguntas. Muchos de ellos se centran en el papel de los grados de libertad en los experimentos de diseño, ya que ahora podemos ajustar modelos donde hay más parámetros que filas, lo que significa que efectivamente habría grados de libertad negativos, si existiera tal cosa. |
| |
Creo que esto nos hará reconsiderar el papel del pensamiento basado en el valor P en la experimentación industrial. |
| |
Tendremos que trabajar para establecer nuevos métodos para la incertidumbre en el análisis, como la predicción ... en intervalos de confianza en las predicciones. |
| |
Phil y yo estamos trabajando para entender cuál es la mejor familia de modelos base con la que podemos trabajar. Entonces, esto podría ser RSM cuadrático y también estamos viendo estos modelos cúbicos parciales que se propusieron hace mucho tiempo, pero ahora creemos que son dignos de reconsiderar. |
| |
¿Qué tipo de diseños debemos utilizar? ¿Qué tamaños de muestra son apropiados en función de la cantidad de factores en el modelo base que estamos usando? ¿Cuál es el papel de los experimentos de detección? Y una gran incógnita es cuál es el papel del bloqueo y la experimentación de la trama dividida. |
| |
en este marco? |
| |
Así que ahora se lo voy a dejar a Phil. Va a hacer un estudio de caso más profundo y también hará una demostración del complemento SVEM de Predictum. Llévatelo, Phil. |
| Philip Ramsey |
Está bien, gracias, Chris. Y lo que voy a hacer es discutir un estudio de caso, así que déjame poner esto en |
| |
presentación de diapositivas y haré un poco |
| |
ilustración, como dijo Chris, del Predictum |
| |
complemento que en realidad automatiza gran parte del análisis SVEM. Y lo que estamos tratando de ver es un método analítico utilizado en la industria biotecnológica. |
| |
Y este sirve para caracterizar el glicoperfilado de proteínas terapéuticas, básicamente proteínas para que se conviertan en anticuerpos. |
| |
Y muchos de ustedes que trabajan en esa industria saben que las glicoproteínas son realmente una fuente muy rica de terapias y también saben que si trabajan para ver las BPF, deben demostrar la confiabilidad de los sistemas de medición. Y, de hecho, para el glicoperfilado, |
| |
En realidad, los métodos analíticos rápidos y fáciles de usar no están completamente desarrollados. De modo que la idea de este experimento era idear un método bastante rápido y fácil que la gente pudiera utilizar y que les diera una evaluación precisa de los diferentes |
| |
(No soy químico aquí) azúcares que han sido |
| |
unido a la proteína base después de la transcripción. |
| |
Y para darte una idea, la idea de usar cromatografía y voy a suponer que estás familiarizado con ella, básicamente es un método en el que |
| |
tiene alguna solución, la pasa por una columna, y luego, a medida que las diferentes especies químicas pasan por la columna, |
| |
tienden a separarse y salir de la columna en diferentes momentos. Básicamente, una forma, lo que se llama cromatagrama, donde el pico |
| |
es una función de la concentración y el momento en el que se produce el pico es realmente importante para identificar cuál era realmente la especie. Entonces, en este caso, veremos una serie de |
| |
azúcares. Simplemente los llamaré glicoformas, y lo que está sucediendo aquí es que los científicos que hicieron este trabajo desarrollaron una solución de calibración. |
| |
Y sabemos exactamente qué hay en la solución de calibración. Sabemos exactamente qué picos deben eluir y aproximadamente dónde. |
| |
Y luego podemos comparar una muestra de anticuerpo humano real con la muestra de calibración. Y algunas de estas glicoformas están cargadas. Es difícil hacerlos pasar por la columna. |
| |
Tienden a adherirse a él, por lo que estamos usando lo que a veces se denomina procedimiento de elución en gradiente. |
| |
Y no entraré en detalles. Y lo que estamos haciendo aquí, estamos usando algo llamado cromatografía de intercambio aniónico de alto rendimiento. No soy un experto en eso, pero el científico con el que he trabajado ha hecho |
| |
un muy buen trabajo en el desarrollo de esta calibración, y la razón por la que necesitamos una solución de calibración que históricamente |
| |
los azúcares que eluyen de una muestra de anticuerpos humanos no son del todo predecibles en cuanto a dónde van a salir de una columna, por lo que tenemos algo que podemos usar para la calibración. |
| |
Asi que. |
| |
La persona que hizo el trabajo, y la mencionaré en un momento, diseñó dos experimentos separados. Uno es un diseño de tres niveles de 16 corridas. |
| |
Y luego regresó e hizo un diseño más grande de 28 corridas y tres niveles. Entonces, uno podría usarse como un conjunto de entrenamiento y el otro es un conjunto de validación, pero para demostrar el selector de covariables y la estrategia I-óptima bayesiana de la que Chris habló, |
| |
ambos diseños se combinaron en un solo diseño de 44 corridas. Nosotros entonces |
| |
llevó ese diseño a un diseño personalizado con el selector de covariables y luego creó varios diseños Bayesianos I-óptimos. |
| |
Y podríamos haber hecho más combinaciones, pero tenemos poco tiempo para hablar de esto. Entonces hay tres diseños. Uno tiene 10 carreras, recuerde los cinco factores y estamos haciendo 10 carreras. |
| |
Un diseño de 13 corridas y un diseño de 16 corridas y nuevamente, podríamos hacer mucho más. Entonces, lo que queremos hacer es ver cómo estos |
| |
Los diseños funcionan después de que usamos el ventilador para ajustar los modelos y, por cierto, como Chris mencionó, en cada uno de estos diseños, las corridas que no se seleccionan de los 44 se usan como un conjunto de validación o prueba para ver qué tan bien está el modelo. realizado. |
| |
Bien, estos son los factores iniciales, la cantidad inicial de acetato de sodio, la cantidad inicial de hidróxido de sodio. Y luego hay tres pasos de elución de gradiente separados que tienen lugar |
| |
durante el tiempo de proceso, que se extiende a aproximadamente 40 minutos. Estos son los ajustes que se utilizan y manipulan en el experimento. |
| |
En realidad, hay, en este experimento, 44 respuestas diferentes que se pueden observar. Entonces, dado el tiempo que tenemos disponible, voy a mirar dos. |
| |
Uno es el tiempo de retención de la glicoforma 3, y esta es la clave, esto es lo que ancla el cromatograma de calibración. |
| |
Y nos gustaría que saliera aproximadamente a los ocho minutos y medio porque se alinea muy bien con las muestras de anticuerpos humanos. |
| |
En realidad, es bastante fácil de modelar. La segunda respuesta es el tiempo de retención de la glicoforma 10. Es una glicoforma cargada. Eluye muy tarde y tiende a agruparse con otras glicoformas cargadas y es más difícil de distinguir. De acuerdo, esas son las dos respuestas que analizaré. |
| |
Y para aquellos que no están familiarizados con la cromatografía, aquí hay un par de lo que se llaman cromatogramas. Estas son esencialmente las respuestas, |
| |
imágenes de cómo se ven las respuestas y, en este caso, si miras la imagen, vamos a ver el tiempo de retención, es decir, cuándo |
| |
¿Salió el pico 3? ¿A qué hora y luego, a qué hora salió el Pico 10 y apareció en el cromatograma? Y, por cierto, fíjate entre los dos |
| |
cromatogramas que estoy mostrando, cuán diferentes son los perfiles. Entonces, en este experimento, cuando manipulamos esos factores experimentales |
| |
(y por cierto, tenemos 44 de estos cromatogramas; les estoy mostrando dos de ellos), ven muchas diferencias en las formas y los tiempos de retención y demás de estos picos y en la resolución. Entonces, hagamos lo que hagamos, claramente estamos manipulando |
| |
los cromatogramas, y para aquellos de ustedes que tengan curiosidad, sí, estamos pensando en esto en el futuro como datos funcionales y cómo se podría usar el análisis de datos funcionales. |
| |
Pero eso es a menudo el futuro, pero definitivamente es algo en lo que estamos muy interesados. Al final, los cromatogramas son realmente datos funcionales. Pero solo voy a extraer dos características e intentar modelarlas. Bueno. Y también quiero dar crédito a |
| |
La Dra. Eliza Yeung de Cytovance Biologics, una buena amiga y una excelente científica. E hizo todo el trabajo experimental y fue a ella a quien se le ocurrió la idea de construir el ... |
| |
lo que ella llama la escalera de glucosa, la solución de calibración. Y Eliza, además de ser una buena persona, también ama a JMP. Así que nos gusta Eliza de muchas maneras, está bien. Excelente científico. Bueno entonces |
| |
antes de entrar |
| |
SVEM, solo quiero mencionar ... Chris mencionó el modelo cuadrático completo que se ha utilizado desde 1950 como la base de la optimización. |
| |
Básicamente, todos los efectos principales, interacciones de dos factores y términos al cuadrado. De hecho, para muchos sistemas físicos complejos, la cinética es demasiado compleja para ese modelo. |
| |
Y Cornell y Montgomery, en un artículo realmente agradable en 1998, señalaron esto y sugirieron que en muchos casos, |
| |
lo que ellos llaman modelo de interacción, nosotros lo llamamos modelo cúbico parcial, puede funcionar mejor. Y en mi experiencia, al usar SVEM y aplicar este modelo a muchos estudios de casos, tienen razón. Ofrece mejores modelos predictivos, pero hay un problema. |
| |
Estos modelos cúbicos parciales pueden ser enormes y son un gran desafío para las estrategias de modelado tradicionales donde los modelos sobresaturados, como mencionó Chris, son un gran problema. |
| |
¿Cuántos términos potenciales hay? Bueno, toma K al cuadrado, dos veces más y suma uno para la intersección. Entonces, para cinco factores, el |
| |
El modelo cúbico parcial tendría 51 términos. Por cierto, voy a usar estos modelos, pero solo voy a usar 40 de los términos que suelen ser los más importantes. |
| |
Y luego usaremos el modelado de conjuntos de autovalidación para ajustar los modelos y, como dijo Chris, SVEM no tiene ningún problema con los modelos sobresaturados. |
| |
Y, por cierto, en la literatura sobre aprendizaje automático, los modelos sobresaturados se ajustan todo el tiempo. |
| |
Y utilizando las técnicas correctas de aprendizaje automático, en realidad puede ... ellas realmente pueden mostrarle que obtiene un mejor rendimiento de predicción. |
| |
Esto es en gran parte desconocido en las estadísticas tradicionales, de acuerdo. Así que vamos a usar el complemento SVEM y mencioné que si desea obtener más información, puede comunicarse con Wayne Levin, quien ya ha hablado, en Predictum y estoy seguro de que a Wayne le encantaría hablar con usted. |
| |
Así que vayamos a JMP brevemente. |
| |
Y les mostraré cómo funciona realmente el complemento, así que permítanme traerles JMP. |
| |
Así que instalé el complemento para que tenga su propia pestaña. Entonces hago clic en Predictum. Por cierto, este es uno de los diseños I-óptimo bayesiano que creamos, y este tiene 16 corridas. Seleccione el modelado de conjuntos con autovalidación. |
| |
Entonces ves lo que parece el diálogo de lanzamiento de un modelo de ajuste típico. Voy a seleccionar mis cinco factores. |
| |
Y solo voy a hacer un modelo de superficie de respuesta en este punto para ilustrar, y quiero modelar |
| |
tiempo de retención de glicoformo 3. Observe en el fondo, esta configuración, la tabla de validación automática, por lo que hay una función de espera. |
| |
Y hay una parte de autovalidación. Todo esto está en segundo plano, no es necesario que lo veas. Pero la sierra ... pero el complemento lo creó y luego básicamente lo oculta, pero puedes mirarlo, si quieres, pero está oculto porque no es muy importante verlo. |
| |
Así que ahora abrimos GenReg, así que este es GenReg |
| |
Panel de control. Y a modo de ilustración, por cierto, SVEM es realmente agnóstico en términos del método con el que lo usa para la construcción de modelos. Entonces, de hecho, podría usar métodos que ni siquiera están en GenReg, pero ese es nuestro enfoque principal hoy. Así que haremos una selección hacia adelante. |
| |
Y como tenemos poco tiempo, solo haré 10 repeticiones. |
| |
Haga clic en ir y crearemos el modelo. |
| |
Así que aquí está el resultado de solo 10 repeticiones, y obtienes un gráfico real por predicho. Pero lo que es realmente bueno de esto es que en realidad crea el promedio del modelo de conjunto para ti. |
| |
Así que hago clic en el modelo de conjunto de autovalidación, guardo la fórmula de predicción. Así que seguiré adelante y cerraré esta pantalla. |
| |
Venir. |
| |
Y ahí está mi modelo. |
| |
Ahora puedo tomar este modelo y puedo seguir adelante y aplicarlo a los datos de validación. Así que tenemos 16 ejecuciones que fueron seleccionadas, por lo que hay otras 28 disponibles que se pueden usar como un conjunto de validación para ver cómo lo hicimos realmente. Así que en este punto ahora voy a volver a la |
| |
presentación y, por cierto, sin el complemento SVEM, puede ser un poco difícil, especialmente si no eres particularmente competente en la creación de scripts JMP |
| |
para crear estos modelos. Entonces, ese complemento, puede que no parezca que hizo mucho trabajo en segundo plano, de acuerdo. entonces cómo lo hicimos? Así que déjame volver a poner esto en la presentación de diapositivas. |
| |
Entonces, lo que hice, hay tres diseños, un diseño de 16 corridas, 13 corridas, y luego elegí una de 10 corridas. Realmente empujamos los límites. |
| |
Y hay dos respuestas, como dije, glicoformo 10 eluye tarde y tiende a ser ruidoso y puede ser difícil de resolver. Entonces, para el diseño de 16 corridas, en realidad encajo un modelo cúbico parcial de 40 términos. Tenga eso en cuenta, 16 carreras. Y encajo en un modelo de 40 términos. |
| |
Y luego, la clave para esto es la raíz del error cuadrático medio en el conjunto de validación, está bien. Asi que |
| |
Encajé mi sexto ... mi modelo de 40 términos, y luego el |
| |
El error cuadrático medio de la raíz en el conjunto de validación era bajo y la R cuadrado de validación estaba en realidad cerca de 98, por lo que encajaba muy, muy bien. |
| |
Fíjate, incluso para los mucho más ruidosos. |
| |
glycoform 10, todavía tenemos un modelo bastante bueno. Les mostraré algunos diagramas reales por predichos. Así que hicimos esto por 13, una vez más por 13, obtuvimos muy buenos resultados. |
| |
Y finalmente por 10. Por cierto, para 10, simplemente encajé en el modelo cuadrático completo estándar, sentí que realmente estaba presionando mi suerte. |
| |
Pero podría haber seguido adelante y probar el cúbico parcial. Y observe, una vez más, incluso con 10 corridas, modelando el tiempo de retención de la glicoforma 3, obtuve un cuadrado R de .94. |
| |
Para mí, eso es realmente impresionante y nuevamente modelé ... mi modelo tenía el doble de predictores que observaciones e incluso con la glicoforma 10 difícil de modelar, lo hicimos bastante bien. |
| |
Entonces, aquí hay algunos gráficos reales por predichos y nuevamente elijo glycoform 10 porque es realmente difícil de modelar. |
| |
Así que no quería jugar demasiado con el sistema. Sé por experiencia que es difícil de modelar. Así que hay una trama real por predicha. Hay otra trama real por predicción para el diseño de 10 corridas, todavía funciona bastante bien |
| |
cuando consideras lo que estamos tratando de hacer aquí. |
| |
Y luego, finalmente, ¿cómo lo hicimos en general? |
| |
Así que esta es una pequeña tabla que armé y tomé el diseño de 16 corridas como línea de base, y luego lo que estoy haciendo es comparar lo que sucedió cuando ajustamos el 10- |
| |
modelo de plazo y el plazo de 13 para el tiempo de retención para G10. |
| |
Notarás que obtuvimos un error bastante grande para 13 y uno mucho más pequeño para 10. No sé por qué. Elegí simplemente mostrar cuáles fueron los resultados. Es un poco misterioso y no he vuelto a explorarlo. |
| |
Pero para el tiempo de retención tres, observe que paso de 16 a 10. Sí, obtuve un aumento en la raíz del error cuadrático medio, pero si miras la gráfica real por predicha, |
| |
todavía hace un buen trabajo de predicción en el conjunto de validación. Entonces, el punto de esto es, y esto es, sé que esto es, trabajo mucho con empresas de biotecnología, |
| |
eficiencias reales que potencialmente podría lograr en sus diseños experimentales y sé que para muchos de ustedes estos experimentos son costosos. |
| |
Y lo que es más importante, toman mucho tiempo. Esto realmente puede acortar su tiempo experimental y reducir su presupuesto experimental y obtener aún más información. |
| |
Así que una especie de conclusión rápida de esto. Este procedimiento SVEM y esto, y como mostró Chris, lo hemos investigado en simulaciones y estudios de casos. |
| |
SVEM es ideal para modelos sobresaturados. No entraré en eso, pero a partir de la práctica del aprendizaje automático, se sabe que los modelos sobresaturados funcionan muy bien. Usan todo el tiempo y el aprendizaje profundo como ejemplo. |
| |
Básicamente, como dice Chris, SVEM combina el aprendizaje automático con el diseño de experimentos. |
| |
Y aún más importante, una vez que comienzas a recorrer el camino de SVEM, eso, a su vez, informa cómo piensas sobre la experimentación. |
| |
Básicamente, al usar SVEM, podemos empezar a pensar en experimentos altamente eficientes que realmente pueden acelerar el ritmo de la innovación y, de hecho, reducir el tiempo y los costos de la experimentación. Y con tiempo para desarrollar productos y procesos |
| |
convirtiéndose ... los plazos de entrega cada vez más cortos, este no es un punto trivial, y sé que muchos de ustedes en biotecnología también se enfrentan a serias limitaciones presupuestarias. |
| |
Y luego (por cierto, la mayoría de la gente lo está) y finalmente un área prometedora son los diseños óptimos de Bayseian I. |
| |
Y nuevamente, mencionaré que Brad Jones y su grupo han hecho un gran trabajo al presentarlos en JMP. Es el único paquete de software que conozco que realmente hace diseños I-óptimos Bayesianos. |
| |
Y creemos que SVEM abrirá la ventana a muchas posibilidades. Básicamente, esa es mi historia y se la voy a entregar a Wayne Levin. |
| Wayne Levin |
Muchas gracias por eso, |
| |
Phil y Chris. Espero que todos puedan ver que hay mucho trabajo, se han realizado muchas investigaciones al respecto, incluidas algunas |
| |
trabajo en las trincheras, se podría decir, y he estado en este juego durante más de 30 años, no me importa decirles que estoy muy emocionado por lo que estoy viendo aquí. |
| |
Creo que esto puede ser realmente transformador, realmente cambió lo que ... cómo se llevan a cabo los experimentos industriales aquí. Anteriormente estaba muy emocionado solo por los diseños sobresaturados y eso fue |
| |
facilitado con un diseñador personalizado y ahora con ... eso está en el lado del diseño. |
| |
de cosas. |
| |
Ahora, cuando trae SVEM en el lado del análisis, me refiero a que esos son dos grandes gustos |
| |
que van muy bien juntos, se podría decir. De todos modos, solo para concluir, voy a deslizar aquí que |
| |
Phil, Marie Goddard y yo, estamos preparando un curso bajo demanda (debería estar disponible el próximo trimestre, como en abril) |
| |
en experimentos de diseño mixto, y vamos a dedicar una buena cantidad de tiempo a SVEM en ese curso. Entonces, si eso le interesa, hágamelo saber o lo haremos ... para que podamos informarle o seguirnos en LinkedIn o una de esas cosas. |
| |
Y para el complemento SVEM, nuevamente, si me lo permite, estoy encantado de haber sido los primeros en comercializarlo. |
| |
Hemos trabajado mucho en ello durante varios meses. Hacemos un nuevo lanzamiento cada mes, por lo que está evolucionando a medida que recibimos comentarios del campo, y quiero agradecer mucho a Phil. |
| |
por liderar esto. Y se ha asociado con uno de nuestros desarrolladores (???) y realmente ha sido un gran esfuerzo, mucho trabajo duro. |
| |
para llegar a este punto, y queremos ponerlo a su disposición. Y como Phil mencionó anteriormente, hay dos formas de probar esto. Uno es simplemente probar el complemento en sí, |
| |
funciona con 14 y 15. Y con 16 saliendo, creo que vamos a tenerlo funcionando también para 16. Requiere JMP Pro, por lo que si no tiene JMP Pro, hay un enlace aquí, donde puede solicitar ... para obtener una licencia de prueba de JMP Pro. |
| |
Y puede obtener este enlace, por supuesto, descargando las diapositivas de esta presentación. Entonces, así es como puede obtenerlo, por lo que esta es una forma en que puede trabajar con él para probarlo usted mismo. |
| |
Otra forma es simplemente contactarnos y podemos trabajar con usted en base a una prueba de concepto, de acuerdo. |
| |
Y podríamos hacer algunos análisis comparativos y así sucesivamente y, por supuesto, revisar ese análisis con usted. Para que sepa que implementaremos la documentación necesaria y |
| |
no nos importa probarlo. Lo hemos hecho para un buen número de empresas y puede que sea la forma más fácil para usted, sea lo que sea que funcione para usted. De acuerdo, y por ahora, lo que me gustaría hacer es |
| |
Ábralo para cualquier pregunta o comentario en este momento. Diré en nombre de Chris y Phil, gracias por acompañarnos. Bien, preguntas y comentarios, por favor. |
