En Waters, hemos estado hablando con científicos e ingenieros de laboratorios de bioprocesos y han expresado su interés en usar análisis avanzados para obtener información para el desarrollo de bioprocesos. El principal obstáculo que nos han mencionado es el tiempo que lleva obtener los datos y la información de esos análisis avanzados. Cuando hablamos de bioprocesamiento, nos centramos principalmente en el bioprocesamiento inicial y entendemos que muchos de los asistentes no conocen demasiado sobre este campo. Pensé en algunas fotos para ilustrar el tipo de laboratorios de los que hablamos y las actividades que generan las muestras.
Los laboratorios, tanto de desarrollo de bioprocesos previos como de selección de clones, suelen utilizar biorreactores automatizados (como se ve en la foto de la esquina superior izquierda) o biorreactores de sobremesa, de un par de litros o, a veces, de cinco litros. El día a día de un ingeniero de bioprocesos que realiza estos experimentos es cuando se llevan a cabo. Normalmente, la duración del experimento es de unas dos semanas, y cada mañana vienen a tomar muestras de esos biorreactores, como se puede ver en las fotos, para luego realizar análisis.
Ahora bien, en lo que respecta a los análisis rutinarios, como química básica como pH, iones metálicos, etc., el propio ingeniero de bioprocesos los realiza inmediatamente. Sin embargo, los análisis avanzados suelen enviarse a un laboratorio analítico central. Además, existe el retraso de varias semanas que mencionamos antes de recibir los resultados y los datos. Esto no se ajusta al ritmo del diseño de nuevos experimentos.
En Waters, intentamos cambiar esto para que el propio ingeniero de procesos pueda realizar análisis avanzados, idealmente durante el cultivo celular, y así poder usar la información obtenida para diseñar el siguiente experimento y obtener beneficios. En Waters, hemos estado desarrollando nuevos sistemas LCMS que pueden ser utilizados por personas sin formación en análisis, como ingenieros, químicos, etc. El sistema LC-MS BioAccord, ideal para laboratorios de bioprocesos, puede ser operado por personas sin formación en análisis.
Ahora bien, si lo hacen en un laboratorio de bioprocesos, obtendrán una visión mucho más completa de lo que ocurre durante sus experimentos. Además de los análisis químicos rutinarios y las mediciones celulares, también obtendrán mucha más información sobre lo que sucede en esas células, en los biorreactores, en cuanto a qué consumen en mayor cantidad, qué consumen en menor cantidad, qué metabolitos y subproductos producen, y mucha más información sobre los productos y su calidad durante el proceso de cultivo celular.
Podrán obtener una gran cantidad de datos adicionales que creemos que son muy valiosos. Sin embargo, la desventaja es que cuantos más instrumentos y métodos utilicen, más datos tendrán que depurar y agregar antes de poder extraer información valiosa de ellos. Le cedo la palabra a mi colega de CSL.
Hola, soy Lalit. Formo parte de CSL Seqirus y trabajo en el equipo de investigación como científica. Como usuaria de BioAccord, me gustaría compartir mi experiencia. En CSL, utilizamos un enfoque basado en datos o DoE para realizar nuestros experimentos. Principalmente, el Amber 15 y el Amber 250 son los dos instrumentos de alto rendimiento que utilizamos. El Amber 15 tiene 48 biorreactores con un volumen de trabajo de 15 ml. El Amber 250 tiene 24 reactores con un volumen de trabajo de 200 ml. Con los diseños DoE, generamos una gran cantidad de datos que se alimentan a través del BioAccord LC-MS. Es muy útil para identificar y cuantificar componentes, ya que puede detectar más de 200 componentes de su biblioteca. Esto facilita mucho la prescindencia de otros instrumentos.
Al mismo tiempo, la cantidad de datos que se obtienen con el BioAccord LC-MS puede ser bastante compleja. Si bien es muy útil, ya que permite consultar todos los datos, es muy difícil inferir el volumen. En este caso, el complemento Waters JMP resulta muy útil. Permite ajustar los datos mediante el complemento y es muy capaz de separar los metabolitos según las vías de ensayo. Esto facilita la evaluación de cada componente y su vinculación con los parámetros del proceso DoE, lo que permite mejorar u optimizar el proceso. En general, el valor del BioAccord LC-MS y el complemento Waters JMP resulta muy útil para los científicos que trabajan en las fases iniciales.
La visualización y el análisis de datos que mis colegas de JMP les mostrarán se generaron en un experimento del cual presentamos una descripción general aquí. Los experimentos de cultivo celular se realizaron en el sistema Amber 250, cuya imagen mostré anteriormente. Se trataba de un sistema de ocho vías, con ocho biorreactores diferentes. El estudio duró 14 días. Se tomaron muestras de cada biorreactor cada mañana para su análisis en el sistema Nova BioProfile FLEX2 y el sistema BioAccord LC-MS.
El diseño del experimento fue bastante simple. Se varió la tasa de aspersión de gas, la tasa de superposición de aire y la concentración del tampón. La alimentación de la estructura del biorreactor fue idéntica para cada biorreactor; solo se modificaron los factores de superposición de aspersión y tampón. El sistema Amber 250 cuenta con sensores integrados para la temperatura del gas y el pH en línea. El sistema FLEX2 se utiliza para medir parámetros como el recuento celular, la viabilidad celular, el amoníaco y el pH, entre otros. El sistema BioAccord se utiliza para medir el título, y el método de referencia para ello es la cromatografía de proteína A. Los agregados son impurezas de especies de alto y bajo peso molecular.
Glicoperfiles: observábamos qué glicoformas se producen durante el experimento de cultivo celular. Debería haber dicho que se trataba de una línea celular CHO diseñada para expresar un anticuerpo monoclonal. Habría diferentes glicoformas de ese anticuerpo, lo cual constituiría un atributo de calidad muy importante. Luego, el medio de cultivo usado, que rodea las células y contiene los nutrientes y metabolitos que han sido expulsados por las células. Medimos allí elementos como aminoácidos, vitaminas, metabolitos de TCA (metabolitos del ciclo de Krebs) y también metabolitos de otras vías metabólicas. Estos son los datos que nuestros colegas de JMP les mostrarán, analizando y visualizando.
Para facilitar el análisis y la visualización de datos, con la ayuda de nuestros colegas de JMP, desarrollamos un complemento de monitorización de bioprocesos para JMP, disponible en el mercado. Con este complemento, se pueden importar los archivos de datos de los diferentes analizadores, que añadirá automáticamente los metadatos, los limpiará y los agregará en una tabla que luego se utilizará para crear visualizaciones.
El complemento crea visualizaciones para que puedas empezar, tanto en formato de gráfico de barras como de series de líneas. Además, para prepararte para el análisis multivariante, crea una tabla MVA, rediseñada para que sea más ideal para el análisis MVA con una columna por analito. Ahora le cedo la palabra a mi colega de JMP.
Gracias, Pat. Me llamo Greg Flexman. Soy ingeniero de sistemas en JMP y voy a iniciar el proceso para gestionar JMP. El monitor de procesos de bioprensa de Waters está disponible en la tienda de JMP y contiene un conjunto completo de documentos PDF con instrucciones sobre cómo importar datos y seguir los pasos para crear archivos. Pat ha preparado un video muy útil, pero lo retomaré a mitad de camino.
Tras importar todos los datos, se le proporciona una serie de informes. Si prefiere el formato de gráfico de barras o el de línea, ambos están disponibles. Aquí es donde realmente se aprecia la amplia gama de analitos que puede medir este BioAccord, ya que contamos con un DoE con ocho biorreactores. Podemos ver no solo el título en todos estos puntos temporales, sino también todos los factores que contribuyen a la productividad celular.
Podemos ver los fragmentos y agregados, así como las células principales. Podemos ver todos estos diferentes ciclos: síntesis de ADN y glicosilatos. Es muy útil explorar los datos. A medida que avanza, esto estaba en un formato de datos grande. Lo veremos rápidamente: 12 000 filas, muchas menos columnas, y esto parece una base de datos LIMS. Esto permite medir toda esta amplia variedad de analitos y sus valores en una tabla grande.
El complemento también genera una tabla amplia denominada análisis multivariante. El script, de fábrica, termina con esto. Esto permite crear gráficos de dispersión, por ejemplo, para analizar el título por estrés metabólico y explorar algunas de las relaciones presentes en nuestros datos. Esto también es un excelente punto de partida para análisis posteriores.
Comenzaré con esta tabla amplia, que ya he ampliado un poco más, añadiendo algunas columnas de fórmula. Podemos empezar a graficarla. Podríamos observar el título a lo largo del tiempo. De nuevo, aquí es donde intentamos llegar: comprender esas relaciones. Calculé un valor para el título incremental. Esta es la parte del crecimiento diario, por lo que vemos que algunos crecen hasta el 80%, y en días posteriores, solo crecemos, digamos, alrededor del 10%, 1,1 por ciclo diario.
Noté una gran irregularidad aquí el séptimo día. Por si fuera poco, definiré una fase temprana y una tardía. También calcularé este incremento relativo del título por tiempo, promediando todos estos puntos de tiempo. Podemos observar, por ejemplo, que nuestro biorreactor con peor rendimiento tuvo un rendimiento mucho menor que los demás en esta fase temprana y también bajo en la tardía.
Nuestro mejor rendimiento, podemos ver que tuvo un buen desempeño al principio, ahí es donde realmente se demostró. Luego estuvo un poco más cerca del centro del grupo más adelante, pero este V7 es bastante interesante. Se mostró muy fuerte al principio, y luego bajó. Me pregunto cuál habría sido su potencial si se hubieran dado las condiciones adecuadas para que esas células siguieran produciendo.
JMP nos proporciona diversas herramientas para comprender las diversas condiciones del proceso. Podemos ajustar Y por eje, pero existen muchos parámetros. Aplicaremos una herramienta de cribado llamada cribado de respuesta. Primero les mostraré en qué se basa y luego invocaremos esa plataforma de análisis. Si hiciéramos varios ajustes Y por eje, solo tengo dos aquí con una bivariable temprana y tardía. Podemos ver este ácido isocítrico, un r cuadrado muy fuerte al principio, una significancia muy alta al principio, pero menor después.
También podríamos analizar esta otra nicotinamida, muy potente en la fase tardía, con una significancia estadística muy alta en la fase tardía, pero menos en la fase temprana. Los valores de r al cuadrado y p nos indican claramente la fuerza de la relación. Si realmente buscamos comprender la influencia de estos diversos parámetros, esto será muy útil. Ahora ejecutaré esta plataforma de cribado de respuestas y veremos el r al cuadrado y el valor p para muchos de ellos. Al realizar tantas comparaciones, es de esperar que se produzcan algunos resultados falsos.
Hay un ajuste llamado tasa de falsos descubrimientos. Tenemos este valor p de la tasa de falsos descubrimientos. Dado que estos valores p son muy difíciles de analizar con números tan pequeños, es conveniente observar el logaritmo. Así, tomando el logaritmo, es muy fácil de ver. 0,05 se traduce en dos. Podemos ver el límite entre lo más significativo. Existe esa isocítrica para el inicio, y también podemos observarla para el final. Notarán que las clasificaciones para el inicio y el final son diferentes. Lo que voy a hacer ahora es preparar un gráfico paralelo. Lo haré con un script, pero para darles una pista, creé una tabla de datos combinados y luego realicé una operación de división. Aquí está el punto clave. Vamos a rehacer eso aquí en el script. Esto nos dará un gráfico paralelo. Luego actualicé la tabla desde nuestro resumen para incluir la clase de analito.
Esto se va a analizar. Podemos ver que, para la fase temprana y la tardía, en relación con este valor logarítmico de dos, donde hay significancia, el ciclo de TCA de la fase temprana es el más significativo estadísticamente. El parámetro más fuerte, nuevamente, es el isocítrico. Podemos ver que en la fase tardía estas relaciones cambian mucho. La situación es completamente diferente en la fase tardía. Existe la nicotinamida, así como otras vitaminas que no son tan importantes. Este es solo un ejemplo del análisis gráfico que se puede realizar.
Ahora quiero presentar otro concepto. Voy a usar JMP para cambiar a una tabla de datos diferente. Esto no es de BioAccord, pero voy a ejecutar rápidamente un ejemplo didáctico para una función de JMP Pro llamada explorador de datos funcionales. Imaginemos que tenemos un biorreactor muy simple con 20 ejecuciones diferentes y solo analizamos la turbidez a lo largo del tiempo. Queremos comprender cómo se comportan algunas de estas variables; quizás hayamos diseñado experimentos para pH y temperatura. Tenemos estas ejecuciones en diferentes condiciones de proceso. Pueden ver las filas resaltadas saltando, lo que indica un DoE. Voy a invocar el explorador de datos funcionales, y esto es realmente genial. Lo que hará es analizar todas estas curvas y usar estos modelos wavelet para intentar describir gran parte de la variabilidad.
Lo reduje a tres, pero puedes dejar que JMP determine dónde debería estar. JMP Pro determina los componentes principales y te ofrece un generador de perfiles que muestra cómo estos componentes principales afectan la forma del proceso. Y aquí está la gran conclusión: ahora podemos ver cómo estas variables suplementarias afectan la forma. Esta es una especie de introducción al explorador de datos funcionales, donde podemos ver cómo las variables suplementarias afectan la forma. Voy a hacer una pausa aquí y cederle la palabra a mi amigo Ben, quien hace un trabajo muy interesante al resumir esto.
Me llamo Ben Barroso-Ingham. Soy ingeniero de sistemas en JMP y participo en este proyecto gracias a mi amplia experiencia en bioprocesos. Me centro en que, con este complemento de Waters, obtenemos muchos de esos analitos en un formato bien estructurado. A menudo trabajamos con DoE donde modificamos esos factores, esas condiciones. Queremos ver si esos analitos cambian y cómo lo hacen.
El reto radica en que, si tomamos el ejemplo de los numerosos analitos que salen del equipo, podríamos tener más de 70 analitos para analizar. Si quisiéramos realizar un proceso muy manual donde, por ejemplo, tomáramos uno de nuestros factores de DoE, podríamos observar qué sucede al cambiar de ajustes bajos a altos en esos factores y ver si mi analito cambia de forma con el tiempo.
En el caso de los que no cambian, puede que no los consideremos importantes. En el caso de los que sí cambian, ese cambio ha sido causado por nuestros factores. Quizás tenga un significado biológico importante. Quizás sea algo que podamos vincular intrínsecamente con una característica de producción importante a mayor escala, algo que queramos observar.
Hacerlo a simple vista es muy largo. Si lo hacemos con más de 70 analitos, tardaremos semanas en analizarlos. Vi este conjunto de datos e inmediatamente empecé a pensar en las capacidades de las filas de JMP con una exploración funcional de datos. Esencialmente, es una forma muy rápida de analizar las formas, encontrar esa lista y reducirla a los cambios más importantes del proceso.
Mi objetivo final es el siguiente. Si tengo tantos analitos, necesito dos herramientas. La primera es una lista reducida de los analitos que cambian al modificar un factor. La otra es observar esos analitos y cómo cambian su forma. ¿Qué sucede cuando modificamos la configuración de los factores?
Usando JMP Up, podemos obtener algo como esto: todos mis factores DoE se muestran en la parte inferior. En este caso, la tasa de superposición del área, las concentraciones del tampón, las interacciones de esos efectos y los analitos que parecen haberse visto significativamente afectados por esos factores. Tengo más de 70 analitos. Lo que pueden ver aquí es una lista reducida que muestra cuánto ha cambiado esa forma en el proceso.
Por ejemplo, podría observar la glucosa. Cuando la tasa de superposición de aire cambia, la forma cambia. Podemos pasar el cursor y ver que la forma cambia en ese proceso. Quizás podríamos observar el ácido isocítrico. Podemos ver que se ve afectado tanto por la concentración del tampón como por la tasa de superposición de aire.
Una parte del uso de FDE es que podemos obtener este tipo de análisis y visualización, similar a un gráfico de valor logarítmico en un proceso estándar de mínimos cuadrados, para determinar qué factores son importantes. En este caso, qué amiloide ha cambiado. Además, también podemos usar un DoE funcional. Probablemente estemos muy familiarizados con la herramienta de perfilado. De hecho, podemos usar un perfilador para observar las formas y cómo algo cambia con el tiempo.
En este caso, tengo un analito. Se trata de ácido bihidroxiglutárico y su forma cambia con el tiempo en condiciones establecidas. ¿Cómo se ve cuando cambio la tasa de superposición o la concentración del tampón? ¿Qué efecto tiene en el perfil? Puedo comparar esto perfectamente con esta visualización que he creado aquí, y puedo decir: «Mi glucosa ha cambiado debido a la tasa de superposición».
Podría filtrar una lista de todos los analitos y hacer que aparezcan aquí. Ahora estoy viendo la glucosa. Puedo ver qué efecto tiene mi tasa de superposición de aire en ese proceso. También puedo ver qué efecto no tiene efecto. Al cambiar la concentración del tampón, no afecta la glucosa en ese proceso.
El funcionamiento es muy similar al que describí: analizamos visualmente si hay un cambio de forma o no. JMP Pro utiliza puntuaciones FPC, que es una forma cuantitativa de medir cuánto cambia una forma. Si tenemos una puntuación FPC de 0 y de repente cambia a 10, indica un cambio de forma en ese proceso. Podemos usar JMP y aprovechar su capacidad para generar estas puntuaciones para obtener rápidamente una lista de cambios de forma y una idea de los factores afectados cuando tenemos muchos analitos que analizar.
El proceso consiste en que, por cada analito resultante, por ejemplo, de la adición de agua, utilizamos el Explorador de Datos Funcionales para ajustar esas formas. Obtenemos las puntuaciones, la base de las puntuaciones de forma. Luego, como con un DoE estándar, nos preguntamos: ¿se deben esos términos DoE a las puntuaciones FPC? ¿Las modifican? ¿Hay un efecto significativo?
Como ejemplo rápido, acabo de seleccionar uno de los analitos investigados para este biorreactor. Les mostraré que el objetivo final de una FDE es tomar ese analito y cada biorreactor del proceso, y agregarle una línea de ajuste. Cada biorreactor se ajusta lo más fielmente posible a los datos resultantes de ese proceso.
Esto se convierte en puntuaciones FPC. Los valores de cada biorreactor indican que la puntuación de forma es 0, la puntuación de forma es 100 en ese proceso, o lo que sea. Podemos consultar los resúmenes de las funciones y ver que tengo una puntuación FPC del primer biorreactor de -6000. La del segundo biorreactor es de 13 000. Hay una diferencia en la forma.
Usamos los DoE para vincularlos y determinar si la forma se debe a los factores que utilizamos. De hecho, podemos ingresar y, por defecto, al ejecutar un DoE funcional, verificamos si el término tiene un efecto significativo en ese FPC. Al analizar el FPC 1 en este indicador y ejecutar un modelo, un DoE funcional, me indica que sí hay un efecto significativo. La tasa de superposición de aire está cambiando esa puntuación. No se trata solo de que la forma esté cambiando, sino que el cambio real se debe a uno de nuestros factores DoE.
Eso es básicamente lo que hice al principio del proceso. En toda la tabla, repetí esto cada vez: recopilé toda la información sobre los términos activos en ese proceso, la visualicé y dije: «Existe, si hay un término ahí, es algo significativo en ese proceso». Además, obtenemos automáticamente una fórmula de predicción que nos permite, como ya he mostrado, analizar los efectos de cada factor en la forma de cada analito.
Toda esta información se recopila para cada analito en ese proceso para crear la herramienta final mostrada, analizando una visualización y el perfil de la herramienta. En definitiva, esto permite identificar rápidamente dónde han cambiado esos analitos y determinar dónde esos cambios de factor han causado una alteración en los analitos que pueda afectar el proceso de producción.
Quizás estemos observando un cambio inesperado en la relación entre analitos. Quizás haya un factor clave que haya cambiado uno de nuestros analitos y que también altere nuestros procesos de producción. Podemos usar esta herramienta para analizarlo detalladamente. La revista, voy a decir esto, pero podría ser interesante. La revista estará disponible si les interesa, y podrán consultar el proceso de cómo se ha realizado, al que se añadirán detalles adicionales.
Muchas gracias. Este conjunto de datos es realmente completo y tiene muchísimas cosas interesantes. Además, quiero añadir un par de cosas más a nuestro flujo de trabajo. Hasta ahora, hemos visto cómo Waters Add-in puede recopilar los datos del instrumento y presentarlos en un formato atractivo para su análisis y JMP. También hemos visto algunas formas básicas de crear gráficos atractivos para empezar a contar una historia y descubrir qué sucede, las diferentes relaciones entre las variables.
Ben también nos ofreció una introducción muy interesante a un enfoque basado en curvas funcionales, que me gustaría profundizar aún más en las posibles relaciones, especialmente entre los factores DoE y todo lo demás que medimos. Para concluir, quería presentar un par de aspectos adicionales que considero muy importantes en el marco JMP y que podrían ser muy valiosos tanto para comprender lo que sucede en el sistema como para tomar decisiones clave, por ejemplo, para cambiar algunos factores o predecir cosas y, posteriormente, quizás, tomar decisiones de no proceder en ciertos puntos clave del proceso.
Comencemos con la tabla resultante del complemento Waters. Un punto importante que quería mencionar, y que es mi primer tema principal, es que tenemos 120 filas en esta tabla. Observen que tenemos una variable de agrupación: el biorreactor. Las primeras 15 filas que acabo de resaltar provienen del primer biorreactor, lo que en estadística se conoce como diseño de parcela dividida, ya que los factores DoE, que son la tasa de superposición de aire y la tasa de aspersión, están por encima de la concentración.
Son constantes en todo el biorreactor. Se establecen para toda la duración, y los 15 puntos corresponden a 15 días. Esto también podría verse desde una perspectiva de series temporales. A eso se refería Ben con las curvas. Pero desde una perspectiva puramente de diseño experimental, debemos ser cuidadosos con la estructura del diseño al realizar modelos estadísticos.
En particular, JMP es muy sólido e incluso tradicionalmente, durante muchos años en SAS, hemos utilizado lo que se conoce como modelo mixto. Este modelo consta de los llamados efectos fijos y aleatorios. Hoy no tenemos tiempo para profundizar en la teoría de modelos mixtos, pero la conclusión básica es que el biorreactor es nuestro modelo mixto, el efecto aleatorio, nuestro escenario de parcela completa en parcela dividida, también conocido como un factor difícil de modificar en nuestras plataformas DoE.
El concepto es que si queremos extraer conclusiones, por ejemplo, inferencias causales sobre estos factores DoE, es fundamental utilizar un modelo mixto para asegurar que las conclusiones estadísticas reflejen correctamente el diseño experimental. Es fácil. Aquí se puede caer en una trampa. Digamos que ignoramos esto y comenzamos a realizar, por ejemplo, un ANOVA simple de los factores DoE frente a un resultado más estricto o cualquier otro que nos interese, y simplemente realizamos un ANOVA unidireccional simple, por ejemplo, o quizás un factorial.
Las inferencias derivadas de esto estadísticamente están sesgadas, ya que no se ha considerado que todos estos grupos de mediciones están correlacionados o agrupados, ya que ocurren dentro del mismo biorreactor. La forma de abordarlo adecuadamente es con el modelo mixto. De nuevo, es un tema complejo, pero hoy abordaremos uno muy simple.
Como referencia adicional, tenemos un libro muy útil llamado JMP para modelos mixtos que recomiendo si realmente quieres profundizar en el tema. Es muy práctico y, una vez que empiezas a verlo, los modelos mixtos suelen aparecer por todas partes, simplemente porque los datos y los experimentos no suelen ser las clásicas observaciones independientes que asumimos en estadística básica. Normalmente, hay algún tipo de factores de agrupamiento, como en este caso con el biorreactor.
Para configurar esto, partamos de una idea básica: configuremos un modelo mixto y JMP. Se puede integrar tanto en JMP como en JMP Pro. Ahora, en la versión Pro, que tiene algunas funciones adicionales, así que vamos con ella. Entra en el modo de ajuste del modelo. Modelemos la respuesta de forma más precisa, y luego tenemos los factores que queremos incluir como efectos fijos. Añadamos algunos términos factoriales. Analizaremos todos los efectos principales y luego todas las interacciones bidireccionales.
Aquí está la clave. Para cambiar al modo de modelo mixto, debes elegir la personalidad del modelo mixto. Observa que esto activa estas pestañas adicionales. Hay dos tipos de modelos mixtos: uno que usaremos hoy, donde usamos efectos aleatorios, y otra clase donde realizamos medidas repetidas con diferentes estructuras. No usaremos este último tipo hoy, pero como puedes ver, aquí es donde entra en juego parte de la complejidad.
Por ahora, utilicemos el modelo mixto más simple posible, adecuado para una configuración de parcela dividida como esta. Tomaremos nuestro biorreactor (observen que lo he configurado como una variable nominal, no continua) y lo añadiremos como un efecto aleatorio. Tenemos tres efectos fijos o factores DoE junto con sus interacciones y este efecto aleatorio. Esta es la configuración ideal para cualquier tipo de modelado estadístico de datos como estos.
Procedamos a ejecutar esto. Se ejecuta rápidamente. Para que se hagan una idea de lo que verán, en este punto pueden empezar a considerarlo como un análisis de varianza, pero notarán que hay algunos resultados adicionales. Por ejemplo, aquí obtenemos una estimación del componente de varianza del biorreactor, que en este caso resulta ser negativa. Es algo inusual, pero indica un escenario competitivo dentro de cada biorreactor.
Quizás tenga sentido, ya que se consumen nutrientes y, si uno aumenta, es probable que el otro disminuya. Se trata de un escenario cerrado y fijo, por lo que podría tener sentido. Normalmente, esto será positivo si las mediciones tienen una correlación positiva. Es una forma de medir la correlación dentro de un biorreactor. En ese caso, el enfoque principal se centrará en los factores DoE. En este caso, podemos empezar a analizar las pruebas y, en este caso, no observamos diferencias significativas para el modelo más estricto, solo para este modelo simple.
Pero esto es solo un punto de partida. Probablemente quieras añadir covariables adicionales y ajustar un modelo más completo que tenga en cuenta el sistema. Pero por hoy, solo quería destacar este punto clave sobre el uso de un modelo mixto para casos como este, donde se configura una gráfica dividida o medidas repetidas dentro de algún mecanismo de bloqueo.
Ese es el primer análisis que quiero mostrar. Ahora, pasemos a un concepto más de modelado predictivo. Si observan, cada uno de los pequeños segmentos que mencionamos aborda preguntas ligeramente diferentes. Esta es la potencia y la flexibilidad de JMP, y este es un conjunto de datos excelente con muchas preguntas diferentes que podemos plantear.
Ahora, vamos a cambiar nuestra pregunta de los factores DoE a una idea más predictiva. Planteemos una idea básica. Supongamos que intentamos predecir. Supongamos que estamos ejecutando este experimento en vivo, que acabamos de completar el día 13 y que queremos predecir qué ocurrirá mañana, el día 14, pero solo tenemos datos hasta hoy. ¿Cómo plantearíamos un problema de predicción como ese?
El primer paso clave en JMP es manipular ligeramente los datos. Para ello, queremos dividirlos. Ahora, consideramos una serie temporal dentro de cada biorreactor y, mediante tablas, la dividiremos. Ahora se puede crear una tabla, la llamada tabla ancha, que se ve así: solo tenemos ocho filas, una por biorreactor, y todas las mediciones se han distribuido en diferentes columnas.
Aquí pueden ver las más ajustadas, con una columna por día, y lo mismo ocurre con todas las demás variables que medimos. En la terminología de series temporales, estas se conocen como variables de retardo. Ahora tenemos esta tabla amplia, ideal para el problema de modelado predictivo. Con solo ocho filas, debemos ser muy cuidadosos. Es muy fácil sobreajustar datos como este.
En la práctica, es probable que tengas muchos más datos que estos, pero para este pequeño ejemplo, repasaremos un par de puntos rápidamente con fines ilustrativos para mostrarte cómo recomiendo realizar el modelado predictivo. Hay muchas maneras diferentes de hacerlo, desde las series temporales clásicas hasta otras plataformas predictivas en JMP. Quiero mostrarte lo que considero quizás la forma más moderna y potente de hacer predicciones. Para mí, esto nació tras muchos años de participar en competiciones de Kaggle, que suelen ser de naturaleza predictiva, y algunas cosas se aprenden a la fuerza en todas esas competiciones.
Lo que les mostraré hoy se acerca, si no es que es exactamente, a lo que podrían considerarse las mejores prácticas para realizar predicciones. Lo primero que se suele hacer es configurar algunos pliegues, y la idea es realizar una validación cruzada de K-folds, donde tomamos una fracción de las filas de nuestra tabla y las reservamos. Después, entrenaremos un modelo con una parte de los datos y lo probaremos con otro conjunto.
Como saben, en JMP hemos utilizado este tipo de sistema durante muchos años, aunque tradicionalmente hemos utilizado lo que se conoce como una división de tres vías con una prueba de validación de entrenamiento. Aquí simplemente vamos a realizar una serie de divisiones de dos vías, a las que llamamos entrenamiento y validación. Hay que tener cuidado con las llamadas fugas; sea lo que sea que se mantenga, el algoritmo no debe analizarlo durante el entrenamiento, ya que se corre el riesgo de sesgar los resultados.
La idea ahora con el pliegue K es tomar esta variable llamada pliegue A. Solo tenemos ocho filas. Esta está configurada para un pliegue quíntuple, donde asignamos números aleatorios del 1 al 5, pero lo hacemos porque solo hay ocho filas, un par de lugares donde solo hay una fila disponible y luego en las otras tres tenemos dos.
También podría tener sentido para lo que... En este caso, sería más sencillo usar un método cuádruple, donde tendríamos que mantener dos filas a la vez y luego recorrerlas para ajustar el modelo cuatro veces. Ese es el escenario de entrenamiento básico que recomendaría, incluso para conjuntos de datos pequeños como este, especialmente porque debemos ser muy cuidadosos y evitar el sobreajuste de los datos, sobre todo porque usaremos, en mi opinión, los dos métodos más potentes: árboles potenciados, tal como se implementan en el complemento XGBoost, y luego ajustaremos una red neuronal profunda moderna con el complemento de aprendizaje profundo Torch. Ambos complementos están disponibles en la tienda JMP.
Primero, veamos XGBoost y cómo configurarlo una vez instalado el complemento, y luego se convierte en una opción del menú. Puedes usar esta función para crear K pliegues. Ya lo hice, así que vayamos directamente a la plataforma.
Aquí la configuración es similar a la anterior, pero ahora volvemos a pensar en la predicción. Tenemos variables de agrupación, así que vamos a expandirlas. Digamos que queremos predecir el título 14, que es nuestra Y, y tenemos muchas opciones para usar como datos de entrada. Por supuesto, introduzcamos nuestros factores DoE y, como modelo de retardo básico, tomemos los valores previos del título (13) y los usemos como X. Hay literalmente más de 1000 predictores potenciales, pero, para ilustrarlo, simplifiquemos.
Si tienes más datos, definitivamente querrías incluirlos. Podrías incluirlos en tu modelo. Pero con solo ocho filas, nos estamos buscando problemas si exageramos demasiado. Normalmente, estas variables de rezago suelen ser predictores muy potentes, como puedes suponer. Si sabes lo que pasó hoy, probablemente será similar. Si observas la trayectoria previa, estos suelen ser predictores muy buenos. También queremos ver cómo se comparan con nuestros factores DoE. Luego, agreguemos algún tipo de variable de validación cruzada. Podemos usar nuestra variable de pliegue A. Haremos cinco veces. De nuevo, podrías querer hacer cuatro veces. Eso no importa demasiado.
Hay que tener cuidado con datos tan pequeños como estos, pero no nos obsesionemos demasiado con eso. Aquí está el configurador básico de XGBoost. Hay muchos hiperparámetros que se pueden ajustar. Hoy no tenemos tiempo para eso. Ejecutemos el modelo predeterminado. A menudo funcionará bastante bien, y luego veremos qué sucede. De hecho, el modelo se ejecutó cinco veces.
Mira lo que pasó aquí. Esta es la llamada pérdida de entrenamiento. Observa que disminuyó y luego volvió a aumentar, lo que indica que estamos empezando a sobreajustar los datos después de la quinta o sexta iteración. No conviene usar este modelo en la práctica. Sería mejor decir: "Deténganlo. Vamos. Podemos hacerlo una vez más. Detengámonos después de la quinta iteración". Es una de las cosas más sencillas.
Otra idea, si quieres ser más sofisticado, es regularizar un poco más el modelo o realizar otros ajustes para que funcione correctamente. La idea ahora es, de nuevo, predecir. Nuestro objetivo es predecir el día 14. Observa que, en los datos de entrenamiento, los ajustamos perfectamente, pero eso no es tan sorprendente. Solo hay unas pocas filas, pero el conjunto de validación son las llamadas predicciones fuera de serie.
Estos son los indicadores del probable rendimiento del modelo con datos futuros. Se puede observar que el modelo está empezando a lograrlo. Ciertamente, dista mucho de ser perfecto, solo en nuestro cuadrado de 0,3; en este caso, la correlación es de 0,65. Diría que el modelo está ganando terreno, y creo que con algunos ajustes se puede mejorar un poco. Pero, de nuevo, con solo ocho filas, hay que tener mucho cuidado. Lo muestro solo a modo de ilustración. Normalmente, se necesitan más datos para obtener un buen modelo que se pueda usar más adelante.
XGBoost incluye funciones adicionales muy útiles para ayudarte a interpretar, por ejemplo, la importancia de estas variables. Aquí vemos que nuestra tasa de superposición de aire es uno de nuestros mejores predictores, incluso sobre los valores de retardo del propio título. Esto es interesante, ya que nos permite empezar a hacer inferencias indirectas sobre nuestros factores de DoE. Sin embargo, insistimos en que nos centramos en la predicción, no en la inferencia estadística directa.
Ahora, como modelo alternativo, creemos una red neuronal con el complemento Torch. La configuración es exactamente la misma, así que necesitará instalar el complemento y luego iniciar la plataforma. Vamos a usar las mismas variables en cada ranura. Queremos predecir el día 14 para usar nuestros factores DoE, nuestros títulos de retardo y el pliegue A. Nuevamente, vamos a usar el modelo quíntuple. Ejecutemos el modelo predeterminado. El modelo de perceptrón multicapa es un modelo de dos capas. Aquí vemos que este modelo no funciona muy bien. De hecho, tiene un RSquare negativo. En este caso, diría que XGBoost, de fábrica, funciona un poco mejor.
Pero lo que descubrí es que, con un poco de ajuste en cada uno, tienden a... Suelen tener un rendimiento similar y también suelen complementarse bastante bien. Si realmente querías obtener las mejores predicciones, un truco es combinar los dos modelos, lo cual puedes hacer simplemente guardando las predicciones completas y promediándolas. Es un truco clásico. Se ve en casi todas las competiciones de Kaggle. Eso es lo que la gente suele hacer para obtener el máximo rendimiento.
En cualquier caso, para mí, JMP Pro ofrece un enfoque muy potente y flexible. Permite añadir más predictores. Estos modelos se ajustan rápidamente, lo que realmente ayuda a responder preguntas muy prácticas, como, por ejemplo, si se está aproximando el final de un lote y se quiere decidir si se continúa otro día. ¿Por qué no ejecutar esto rápidamente, ver el pronóstico para el día siguiente y tomar una decisión en base a ello, en lugar de simplemente esperar o usar reglas anticuadas? Creo que la potencia y la flexibilidad de estos modelos predictivos modernos son realmente convincentes.
Muchas gracias por escuchar y espero que esto les resulte muy útil. Hemos disfrutado mucho colaborando en este ejemplo. Cada uno de nosotros proviene de contextos diferentes. Ha sido un proyecto muy divertido y vemos que tiene mucho potencial para diferentes cosas que podemos hacer en el futuro. No duden en contactarnos si tienen alguna pregunta sobre lo que hemos mostrado hoy. Estaremos encantados de seguir hablando con ustedes y continuar la conversación.
