JMP celebró un seminario Statistical Speaking sobre diseño de experimentos (DOE) a principios de este mes. Un agradecimiento muy especial a Julia O'Neill de Moderna, Andrea Geistanger de Roche y Rachel Findlay de CPI por participar en una interesante discusión con el moderador Malcolm Moore. Los asistentes también escucharon dos presentaciones magistrales. La primera fue la de Dame Sally Davies, presidenta ejecutiva de The Trinity Challenge, quien describió los desafíos que enfrentan los científicos en el panorama actual de datos y lo que se puede lograr cuando se adopta la analítica. La Dra. O'Neill pronunció el segundo discurso de apertura, en el que explicó cómo Moderna utilizó DOE y análisis para resolver con éxito un problema del mundo real, a saber, cómo desarrollar una vacuna contra el nuevo coronavirus, SARS-CoV-2.
El evento despertó mucho interés, a juzgar por la cantidad de preguntas que recibieron los panelistas. Si bien hicieron un gran trabajo al abordar muchas de ellas, no fue posible responder a todas en el tiempo permitido. Por eso hemos decidido responderlas en este post.
P: ¿Podría relacionar el tamaño de la muestra con las posibilidades de tener una innovación confiable?
R: Podemos hacerlo mejor que eso. Los nuevos Exploradores de tamaño de muestra, presentados en JMP 16 y JMP Pro 16 , se crearon para fomentar la exploración de la relación entre el poder, el tamaño de la muestra y otras métricas clave involucradas en determinar la mejor manera de garantizar que sus experimentos sean un éxito, como se explica en esta publicación de blog por Caleb King ( @calking ). Recomendamos a cualquier persona interesada en asignar recursos o presupuestos entre proyectos de desarrollo, planificar cronogramas o simplemente comprender los cálculos del tamaño de la muestra que consulte esta nueva característica.
P: ¿Tiene recomendaciones sobre recursos para abordar la parte más desafiante del DOE: elegir factores y definir rangos?
R: Este es un tema de mucho interés y por una buena razón: elegir factores que afecten su respuesta y rangos lo suficientemente grandes como para detectar un efecto son los primeros pasos críticos en la planificación y ejecución de un DOE exitoso. En este punto, también sería útil definir el éxito. Una DOE tiene éxito si da como resultado un modelo que abarca suficiente comprensión del proceso para satisfacer una necesidad empresarial: “¿Cómo podemos establecer nuestros factores para lograrlo?” este ¿Nivel de calidad en nuestra producción? Por ejemplo.
Una DOE también tiene éxito si identifica factores significativos, cuantifica la variación no capturada por el modelo y señala el camino hacia un experimento de seguimiento (una DOE aumentada). Un experimento que no logra identificar un solo factor significativo constituiría un fracaso, aunque el aprendizaje sería que se eligieron los factores equivocados o que los rangos no se establecieron lo suficientemente amplios. Cualquier buen recurso sobre el DOE incluye alguna discusión sobre cómo elegir factores y rangos, aunque a menudo no es mucho más que “elegir factores que probablemente afecten su respuesta y rangos que sean lo suficientemente amplios como para ver un efecto, si existe, pero no tan ancho como para hacer que las tiradas fallen”. Esto se debe a que la elección de factores y rangos depende enteramente de las características específicas de la situación en cuestión. Por lo tanto, las mejores personas para determinarlos son los expertos en procesos, en lugar de los estadísticos con un gran conocimiento del DOE pero un conocimiento limitado de la aplicación. Dicho todo esto, echemos un vistazo a esta discusión en la comunidad de usuarios de JMP , que incluye mucha información útil sobre el tema.
P: ¿Cómo se puede garantizar la confiabilidad de los datos "históricos" o de los datos que provienen de "fuentes externas"? Alguien dijo una vez "nunca analices datos que no hayas recopilado tú mismo". ¿Cómo se puede superar esto para asegurarse de que sus datos históricos sean fiables y significativos, que el sistema de medición utilizado sea capaz de evaluar las variaciones del proceso al mínimo, etc.?
R: No sé quién dijo eso sobre los datos que usted no ha recopilado usted mismo, pero no estoy de acuerdo con eso. En su discurso de apertura, Dame Sally Davies analizó la multitud de formas en que se generan y recopilan los datos, así como los riesgos para los analistas que “trabajan en silos” utilizando diferentes conjuntos de datos que “no se informan entre sí”. En sus palabras, actualmente existe “un mayor compromiso que nunca entre los científicos y los datos”, y limitar nuestro análisis a los datos que recopilamos nosotros mismos impediría gravemente el progreso.
Por supuesto, siempre debemos ser escépticos con respecto a los datos, del mismo modo que lo somos con respecto a los modelos generados a partir de ellos. Pero tratar algo con escepticismo no equivale a descartarlo de plano. Nada es perfecto, y esto ciertamente es cierto para los datos y los modelos, como lo expresó sucintamente George Box en su famoso aforismo. No se sigue que porque algo no sea perfecto o no se pueda confiar en él no se pueda aprender nada de ello. Tenemos razón al hacer preguntas sobre la fuente o la exactitud de los datos. Cualquier conclusión extraída de su análisis debe considerarse junto con nuestro propio conocimiento del proceso y experiencia en la materia, y nunca aceptarse ciegamente.
P: ¿Estaría dispuesto a dar más detalles sobre los errores comunes que los nuevos usuarios del DOE deberían tener en cuenta?
R: Uno de los errores que comete la gente es centrarse demasiado en el diseño en lugar de centrarse en el motivo por el que están haciendo un DOE. Sucede con demasiada frecuencia que alguien comienza por elegir primero un diseño y luego compromete sus necesidades experimentales para adaptarse a ese diseño. El Diseño personalizado plataforma en JMP Le permite crear diseños óptimos adaptados a cualquier situación. Además, Rachel Findlay de CPI dio un gran consejo durante el evento: “Comparta su aprendizaje y sus errores” con sus colegas. Cuanto más promovamos el DOE dentro de nuestra organización, más se beneficiará la organización.
P: ¿Cuál es el factor más importante a tener en cuenta al seleccionar una DOE?
R: Hay muchos factores importantes a la hora de seleccionar la DOE adecuada, empezando por la pregunta empresarial que intentamos responder. ¿Qué pretendemos lograr exactamente al ejecutar una DOE en primer lugar? ¿Queremos minimizar los defectos o aumentar los rendimientos? Quizás queramos incorporar material de un nuevo proveedor a nuestro proceso, descubrir cómo acelerar la producción o disminuir costos. DOE es a menudo un proceso iterativo de aprendizaje incremental, y comprender nuestro objetivo es fundamental a la hora de determinar si debemos seguir experimentando. También debemos preguntarnos cuántas variables podrían estar afectando nuestro proceso, así como nuestro cronograma y presupuesto. Una vez claro todo esto, podemos comenzar el proceso de elección de diseño.
Por ejemplo, si ya sabemos que una pequeña cantidad de variables son significativas y estamos buscando la mejor combinación de configuraciones para maximizar la producción, podemos optar por una Experimento de superficie de respuesta . Alternativamente, un gran número de factores y un presupuesto ajustado pueden señalar el camino hacia una Diseño de cribado definitivo . Respuestas bien definidas sobre nuestra situación, nuestras limitaciones, y lo que estamos tratando de resolver, señalarán el camino hacia un diseño, o una serie de diseños, que aseguren que nuestros requisitos sean satisfechos. También cabe mencionar que el Evaluar diseño y Comparar diseño Las plataformas son herramientas útiles para ayudar a tomar la mejor decisión posible.
P: DOE puede ser una técnica enormemente poderosa... cuando se usa correctamente... pero también he visto demasiados ejemplos de modelos muy sobreajustados que no son predictivos, y esto a menudo no es obvio para los estadísticos/biólogos novatos. ¿Cómo podemos ayudar mejor a los principiantes a comprender las herramientas que están utilizando y lo que realmente significan sus resultados?
R: Hay muchos recursos para ayudar a los nuevos experimentadores a ponerse al día con el diseño de experimentos muy rápidamente. También cubren las diversas formas de eliminar términos insignificantes de un modelo y utilizar la validación para evitar el sobreajuste. En última instancia, la mejor prueba de un modelo es la verificación con datos independientes: ¿la predicción propuesta como solución determinada a partir de nuestro modelo está respaldada por ejecuciones de verificación? Un excelente lugar para comenzar es el Pensamiento estadístico de la resolución de problemas industriales Curso en línea, que incluye un módulo sobre DOE. También hay varios libros de texto disponibles. aquí . Aquellos nuevos en JMP y DOE pueden pasar por el kit de bienvenida para nuevos usuarios y Kit de introducción al diseño de experimentos . El Dominar JMP Los seminarios web también incluyen el DOE. Finalmente, el Comunidad de usuarios de JMP es un recurso poderoso donde cualquiera que tenga una pregunta específica puede publicarla como tema de discusión; Las preguntas suelen ser respondidas por uno de los 30.000 miembros de la comunidad en unas pocas horas.
P: ¿Cómo puede la inteligencia artificial complementar al DOE?
R: El tema de la inteligencia artificial (IA) se discutió en un artículo anterior. Evento estadísticamente hablando . Decir que es un campo muy prometedor no le hace justicia. Ya ha cumplido muchas de sus promesas. Sin embargo, los mayores riesgos que surgen de la IA se relacionan con nuestra excesiva dependencia de ella para resolver todos los problemas o aceptar ciegamente las soluciones que pretende presentar. El dicho de que “correlación no significa causalidad” resalta las deficiencias de la IA. Para separar los dos y llegar al meollo de la comprensión de cualquier proceso, se necesita DOE. Por supuesto, el DOE no puede gestionar un proceso de trabajo de forma autónoma. Yo diría que existen oportunidades para que tanto la IA como el DOE se complementen.
Para obtener más información sobre cómo el DOE puede acelerar la innovación, regístrese en estos eventos gratuitos en noviembre:
