Hola, me llamo Abby Collins y soy estadística en FUJIFILM Biotechnologies. Hoy les presentaré el complemento de análisis comparativo que he desarrollado para realizar análisis estadísticos. Les cuento un poco sobre la razón de ser de este complemento. En FUJIFILM, somos una organización de desarrollo y fabricación de medicamentos por contrato. Parte de nuestro trabajo de desarrollo incluye el análisis de modelos a escala reducida o a pequeña escala. Este análisis determina la equivalencia entre nuestros datos de producción a gran escala y los de pequeña escala, lo que nos permite seguir desarrollando y estudiando el proceso y los atributos críticos de calidad a gran escala.
Una forma de determinar la equivalencia entre estas dos escalas es mediante análisis estadístico. El propósito y la motivación de este complemento se derivan de dicho análisis. Este complemento nos permite realizar todos los análisis estadísticos que se realizan para el modelo de reducción de escala.
Pasemos a los antecedentes. Aquí pueden ver una imagen de un biorreactor de 2000 litros, que proviene de datos de fabricación comercial a gran escala. Como pueden observar, es mucho mayor en comparación con este pequeño biorreactor de 250 mililitros. Este último será el que utilizaremos para desarrollar nuestros procesos en el laboratorio. Por lo tanto, necesitamos determinar la equivalencia entre estas dos escalas.
Para ello, estadísticamente, necesitamos tres conjuntos de datos a gran escala para realizar el análisis. Nos encontramos aún en las primeras etapas de desarrollo al realizar este análisis, por lo que a menudo no disponemos de conjuntos de datos tan grandes. Sin embargo, necesitamos al menos tres. Recomendamos reevaluar y reutilizar este complemento a medida que dispongamos de más datos, conforme avancemos en el proceso de desarrollo y fabricación.
Pasemos al complemento en sí. Como puede ver en la imagen de la estructura de datos, incluyo una captura de pantalla de un conjunto de datos ideal para usar este complemento. Los únicos requisitos para ejecutarlo son una columna de identificación de ejecución o de fila (resaltada en amarillo) y una columna de identificación de grupo. Por lo tanto, sus datos deben estar agrupados según estos dos niveles. Aparte de eso, el complemento es compatible con cualquier nombre de columna o de grupo. No importa. El script es compatible con todo esto. Solo se requiere que sus datos estén correctamente organizados y que, además de sus datos, cuente con al menos estas dos columnas de información.
Pasemos a ejecutar el complemento. La primera ventana que aparecerá es la de pruebas de equivalencia de SSM. Aquí deberá introducir la estructura de sus datos para que el script pueda reconocerlos y analizarlos. En este ejemplo, la columna de identificación de fila o ejecución sería el número de ejecución. ¿Qué columna contiene el tipo de ejecución o la variable de agrupación? En este caso, sería la escala. Se le pedirá que indique el grupo de referencia dentro de esa variable de agrupación, que serán nuestros datos a gran escala. El grupo de prueba con el que queremos compararlo son nuestros datos a pequeña escala, es decir, los datos a pequeña escala. La columna que contiene el primer parámetro para las pruebas de equivalencia, o la primera columna numérica, sería la columna 3.
Pasemos a la siguiente solicitud. La siguiente ventana emergente le pide al usuario que identifique las columnas numéricas de su conjunto de datos sobre las que desea realizar el análisis. Se muestran todas las columnas numéricas del conjunto de datos, y puede seleccionar desde una hasta las que desee. Esto es útil porque el complemento generará un subconjunto específico solo con las columnas seleccionadas. Así que, si comienza con un conjunto de datos muy grande, no tendrá que preocuparse por dividirlo en subconjuntos. Podrá hacerlo aquí.
¿Qué hace realmente el complemento al ejecutarse? Este pequeño diagrama de flujo muestra su funcionamiento en segundo plano. En el cuadro superior, después de la sección de entrada del usuario, vemos que se obtienen estadísticas resumidas por escala para los datos. No me extenderé mucho en esto; lo mostraré al llegar a la salida. También hablaré más sobre este cuadro inferior, donde se indica el diagrama de dispersión Six Sigma. Lo veremos en la salida. Pero el diagrama de flujo central es del que me gustaría hablar ahora.
En segundo plano, el complemento evalúa la homogeneidad de varianzas entre los dos grupos. Para ello, utiliza la prueba de Brown-Forsythe, la prueba de Leven y una prueba F. Si dos de estas tres pruebas arrojan valores p mayores que 0,05, el complemento procede asumiendo que existe homogeneidad de varianzas entre los grupos. En consecuencia, realiza una prueba t de Student para muestras independientes, la prueba de Welch y una prueba TOST, o bien dos pruebas t unilaterales con varianza agrupada. Del mismo modo, si dos de estas tres pruebas no superan la homogeneidad de varianzas, lo que implica un valor p menor que 0,05, el complemento procede asumiendo que existe desigualdad de varianzas entre los dos grupos y, por lo tanto, genera los resultados de una prueba t estándar, la prueba de Welch y una prueba TOST asumiendo desigualdad de varianzas.
Si alguna vez has ejecutado una prueba TOST en JMP, sabrás que debes definir la equivalencia práctica e introducirla en la plataforma de pruebas de equivalencia. Sin embargo, este complemento genera automáticamente los resultados de la prueba TOST y utiliza una equivalencia práctica equivalente a tres veces la desviación estándar de tu grupo de referencia. En nuestro caso, esto corresponderá a tres veces la desviación estándar de nuestros datos a gran escala para cada parámetro incluido en el análisis.
Dado que nos encontramos en la fase inicial de desarrollo, aún no contamos con una equivalencia práctica, científica y sólida que podamos utilizar en la mayoría de los casos, aunque a veces sí. Sin embargo, este es un buen punto de partida para usar el triple de la desviación estándar, ya que no solemos disponer de esa información, y eso es precisamente lo que hace este complemento. La utilizará y generará automáticamente los resultados de TOST. Posteriormente, el complemento crea una tabla resumen con todos los resultados de las pruebas, junto con la salida de JMP correspondiente.
Ahora, procederé a hacer una demostración del complemento y a hablar sobre los resultados.
Aquí está la tabla de datos que viste en el póster. Voy a ir a mis complementos. Voy a hacer clic en Análisis de comparación y completar esta primera ventana. ¿Cuál es mi columna de ID de ejecución? Será el número de ejecución. ¿Cuál es mi grupo de tipo de ejecución? Es escala. Y mi grupo de referencia son mis datos a gran escala. Mi grupo de prueba es a pequeña escala. Y la primera columna que quiero probar es la columna 3. Es importante tener en cuenta las mayúsculas y minúsculas, así que asegúrate de usar mayúsculas si ya están en mayúsculas en el conjunto de datos. Voy a hacer clic en Aceptar. Quizás no quiera incluir los parámetros 5 y 6. Así que voy a mantener presionada la tecla Control y seleccionar todo lo demás. Voy a hacer clic en Aceptar.
Lo bueno es que ahora tenemos un informe JMP con todos los resultados de este análisis comparativo. En la parte superior, tenemos un subconjunto de los datos que seleccioné para este análisis. Tenemos todos los parámetros excepto los parámetros 5 y 6, que no se incluyeron en mi selección. A continuación, se muestran las estadísticas descriptivas de los parámetros seleccionados según nuestra escala. Así, tenemos nuestros datos a gran y pequeña escala. Actualmente, el complemento incluye por defecto el mínimo, el máximo, la media, la desviación estándar y el tamaño de la muestra por grupo. Después, se genera una tabla resumen con todos los resultados de la comparación realizada con este complemento. Aquí se pueden ver las tres primeras columnas: grupo de prueba, recuento de fallos y porcentaje de aprobados. Estas tres columnas de información se corresponden con el diagrama de dispersión Six Sigma que se muestra aquí.
En este gráfico, el área verde representa la región Seis Sigma. Si trabaja en el sector, probablemente esté familiarizado con este término; se refiere a tres desviaciones estándar por encima y por debajo de nuestros datos a gran escala, que constituyen nuestro grupo de referencia. Esto crea el área sombreada en verde. Al desplazarme hacia abajo, puede ver una línea roja. Esta representa el promedio de sus datos a pequeña escala o grupo de prueba. Tenemos una línea azul para el promedio de nuestros datos a gran escala. Se muestran los puntos de datos individuales, así como un promedio general con una línea negra. El grupo de prueba indica la cantidad de puntos de datos que lo componen. Estos son mis datos a pequeña escala. El recuento de fallos es la cantidad de puntos de datos que se encuentran fuera del rango Seis Sigma para sus datos a pequeña escala. Por lo tanto, el porcentaje de aprobación es la proporción de puntos de datos que se encuentran dentro de Seis Sigma. Dado que tenemos 7 de 8 puntos incluidos en esta área sombreada en verde, nuestro porcentaje de aprobación es del 88 % según este diagrama de dispersión.
Pasando a la siguiente columna de información, se encuentra nuestro supuesto de prueba. Aquí es donde el complemento, en segundo plano, ejecuta las pruebas de igualdad de varianzas. Se considera que hay igualdad de varianzas si se superan dos de las tres pruebas. En caso contrario, se indica que hay varianzas desiguales. A partir de aquí, tenemos el valor p de la prueba t correspondiente a dicho supuesto. Si hay igualdad de varianzas, se utiliza el valor p de una prueba t agrupada. Si hay varianzas desiguales, se utiliza el valor p de la prueba t estándar. Posteriormente, se crea una columna que muestra si la prueba se supera o no. Se supera si el valor p es mayor que 0,05, lo que indica que no existe una diferencia de medias igual a cero entre los dos grupos. Si el valor p es menor que 0,05, se considera no superada, ya que existe una diferencia significativa entre las medias de los dos grupos. De manera similar, tenemos el valor P para la prueba de Welch, y también el resultado (aprobado/suspenso) basado en ese valor P.
A continuación, tenemos los resultados de nuestra evaluación TOST. Tenemos equivalente y no equivalente. Estas son las únicas opciones que ofrece JMP por defecto. Si nos desplazamos hacia abajo después de ver el resumen de resultados, podemos observar que toda la información del ajuste Y por X para obtener dichos resultados se encuentra en este informe. Aquí tenemos el gráfico estándar con los rombos de medias y los círculos de Tukey-Kramer. También tenemos la información de la prueba t, la prueba de varianza y la prueba de Welch. Si seguimos desplazándonos hacia abajo, también tenemos los resultados de la prueba de equivalencia o TOST. Tenemos el intervalo de confianza, la región de equivalencia sombreada en azul, la región de fallo en rojo y toda la información de los parámetros incluidos, todo ello en este informe.
Por defecto, el complemento permanece abierto. Si lo minimizo, se abre la ventana de ajuste individual de la plataforma Y por X. También se abre la plataforma donde se crearon estos diagramas de dispersión, para que pueda guardarlos en la tabla de datos. Aquí se genera este subconjunto DT, que es el subconjunto de sus datos con solo los parámetros que seleccionó. Decidí dejarlo abierto desde el complemento para que pueda guardar estos datos en la tabla y guardar la tabla de datos si desea volver a consultarla o si sus datos se actualizan; así no tendrá que volver a ejecutar el complemento. Tendrá todo guardado aquí mismo. Minimizaré estas ventanas y volveré a la presentación.
Otro aspecto que quería comentar sobre nuestro resultado específico es la creación de la tabla de resultados finales. Como pueden ver, simplemente combiné los datos, hice clic derecho en los resultados del resumen y los convertí en tabla de datos. Aquí vemos una conclusión estadística y una conclusión científica. La conclusión estadística se determina a partir de estos resultados. Aparecerá en verde si todas las pruebas seleccionadas para este análisis se superan al 100%.
Ahora bien, si alguna prueba falla por algún motivo, estadísticamente, la mostraríamos en rojo e indicaríamos que hay un fallo en alguna parte. Solo veríamos un indicador amarillo si todas las pruebas se superan excepto la prueba TOST, cuyo resultado es inconcluso. Definimos un resultado inconcluso en la prueba TOST como aquel cuyo intervalo de confianza, como en este ejemplo, se superpone tanto en la región equivalente como en la no equivalente. Dado que no tenemos un 100% de certeza de aprobar ni de suspender, técnicamente, lo definimos como un resultado inconcluso. En ese caso, aparecería en amarillo. De lo contrario, si obtenemos un resultado inconcluso pero fallamos en alguna otra prueba, entonces veríamos un indicador rojo.
Como puede ver, en este ejemplo aparece un valor rojo porque, según la información del diagrama de dispersión, no se obtiene una aprobación del 100% y el resultado de la prueba TOST es inconcluso. Por eso aparece en rojo. Posteriormente, enviamos esta información a nuestros científicos, quienes revisan todos los resultados. Luego, aplican sus conocimientos científicos sobre el atributo o proceso estudiado y, basándose en las estadísticas, llegan a la conclusión final de equivalencia para nuestro análisis del modelo de reducción de escala.
Trabajo futuro y estado actual del complemento. Actualmente estoy trabajando en permitir a los usuarios introducir una equivalencia práctica para la prueba TOST. Como mencioné, por defecto, el complemento utiliza tres veces la desviación estándar de los datos del grupo de referencia como región de equivalencia práctica. Sin embargo, si esto no siempre es así, y se desea utilizar un multiplicador diferente de la desviación estándar, o si se dispone de una equivalencia práctica real que se desea introducir, estoy trabajando para que esta opción se pueda configurar al inicio del complemento, en lugar de tener que realizar la prueba TOST manualmente. Esta opción está en desarrollo.
Otro aspecto que quisiera agregar es la posibilidad de decodificar la tabla de resumen para que el resultado no concluyente de la prueba TOST aparezca directamente en ella, en lugar de que, como sucede actualmente, se muestren por defecto "equivalente" y "no equivalente", lo que obliga a modificarlo manualmente. Esto también está en desarrollo. Además, me gustaría que fuera más personalizable para nuestros científicos que utilizan el complemento. Si desean incluir otras pruebas, seleccionar un subconjunto o utilizar diferentes visualizaciones, me gustaría incorporar sus comentarios. Siempre hay margen de mejora para que la presentación sea más atractiva visualmente. Esto también es algo en lo que estamos trabajando constantemente.
En conclusión, este complemento nos ha resultado muy útil al reducir el tiempo necesario para realizar este análisis estadístico. Si alguna vez ha utilizado TOST en JMP, sabrá que debe introducir manualmente la equivalencia práctica, seleccionar el tipo de varianza y, si desea un grupo de control, repetir este proceso para cada parámetro analizado.
Contar con una función TOST automática, que genera tablas resumen automáticamente y permite obtener todos estos gráficos con un solo clic, ha sido de gran ayuda para reducir el tiempo y mejorar la eficiencia de nuestro análisis. También ha sido una herramienta excelente para los nuevos usuarios de JMP y para que los científicos puedan realizar análisis estadísticos de forma independiente. Aunque no sean usuarios expertos de JMP, aprenden a usar el complemento, interpretan los resultados y es muy fácil de usar: basta con hacer clic en un botón. Por lo tanto, ha sido realmente fantástico para nosotros y esperamos que estas mejoras continúen en el futuro, que se difunda el conocimiento de la estadística y que se creen más complementos. Gracias.
