En JMP, somos fanáticos de Dennis Lendrem, sus libros, sus publicaciones de LinkedIn y su boletín informativo,Simios con batas de laboratorioSu pasión por promover una ciencia mejor y su encantador ingenio británico. En este episodio de "Estadísticamente Hablando" , tuvimos más preguntas que tiempo para responderlas, así que Lendrem tuvo la amabilidad de responderlas para esta entrada del blog. Nos complace destacar su mensaje sobre la necesidad de una ciencia mejor y una resolución de problemas más rápida.
En sus colaboraciones con científicos, mostrándoles cómo el DOE puede hacer que sus experimentos sean más eficiente y eficaz, ¿alguno de ellos ha quedado tan sorprendido por el poder del DOE que se sintió motivado a aprender sobre él y usarlo por su cuenta?
Unos pocos. Pero no te hagas ilusiones. Para la mayoría, es como mostrarle fuego a un cavernícola. Al principio hay asombro, pero al día siguiente vuelven a frotarse palos. ¿Por qué? Porque no es hábito. No es instinto. No es como los entrenaron. Quienes se convierten suelen ser los que ya sospechaban que algo andaba mal. Llevan años buscando comida sin llegar a ninguna parte.
Vemos una búsqueda de alimentos de baja densidad en ingeniería, pruebas de software y otros campos: ¿deberíamos comenzar a enseñar experimentación inteligente en la escuela secundaria y finalmente desplazar el enfoque de un factor a la vez?
Sí. De hecho, deberíamos disculparnos por no haberlo hecho hace 30 años.
El enfoque de un factor a la vez es pan comido para la ciencia. Es simple, satisfactorio y totalmente engañoso. Para cuando los estudiantes llegan a la universidad, ya lo tienen integrado. Ni siquiera lo cuestionan. Debemos reconocer que el mundo es complejo y que el pensamiento univariable es una mentira que nos decimos para sentirnos cómodos. No se trata de estadísticas, sino de curiosidad, descubrimiento y exploración estructurados. Es una mentalidad que vale la pena inculcar desde pequeños. (Véase también la pregunta complementaria relacionada a continuación).
En cuanto a tu punto sobre los espacios de aprendizaje amables y crueles, con la creciente complejidad en tantos dominios, ¿ves más oportunidades para las pruebas combinatorias y los diseños de matrices de cobertura? Por ejemplo, el software se está volviendo más omnipresente; piensa en los coches autónomos..
Por supuesto. El espacio de aprendizaje ya no es amable: es de alta dimensión, disperso y lleno de trampas. No se puede confiar en la intuición ni en manipular variables individuales. Así es como se pierde la interacción letal. Las pruebas combinatorias y las matrices de cobertura ya no son opcionales, sino herramientas de supervivencia. Las pruebas de software lo descubrieron. La ingeniería se está poniendo al día. La ciencia aún está en negación. Y sí, los coches autónomos son el ejemplo perfecto, con millones de posibles combinaciones de entrada. O diseñas tus pruebas o dejas que el mundo real las haga por ti, con peatones.
La interrupción/caída de 5.400 millones de dólares en 2024 no fue un error; fue una avería. Una verificación de entrada fallida y ¡zas!, cancelaciones de vuelos y hospitales sin servicio. Por eso las pruebas combinatorias no son un lujo, sino un riesgo.‐Mitigación. Crowdstrike enfrenta una demanda de 500 millones de dólares de Delta Airlines, y se avecinan más.
¿Una variable a la vez? ¿Qué pasa con el bloqueo y los robots, así como con el DOE factorial fraccional y la confusión?
Necesitamos una ley que prohíba la experimentación con una sola variable a la vez.
El bloqueo es clave, incluso en robótica, porque el equipo puede fallar y las cosas pueden salir mal. Véase la Ley de Murphy enGorilas con traje.
Los factoriales fraccionarios reducen significativamente los recursos y al mismo tiempo suponen un modesto sacrificio en términos de pérdida de información.
Tanto el bloqueo como la selección de fracciones ayudan a proteger contra la confusión.
En tres industrias diferentes, he experimentado el desarrollo de productos que alinea al equipo con un conjunto de límites y plazos objetivo, y el pensamiento colectivo, en última instancia, impide el uso eficaz de experimentos diseñados. Esto se debe a que la recopilación rápida de datos (sin diseño, las condiciones las determinaba el científico) tuvo una profecía autocumplida y se convirtió en el enfoque principal y único. He recibido un gran apoyo de la ciencia estadística, tanto interna como externa, pero me interesa escuchar otras ideas sobre cómo influir más en el pensamiento científico, especialmente en el ámbito del desarrollo de productos.
La I+D está rota; la experimentación deficiente es endémica. Sepan que no están solos. Mantengan la fe. Formen parte de la Nueva Ola. Busquen la compañía de quienes saben que hay una mejor manera de superar eventos como estos. Y vean a continuación.
¿Su conjunto de datos para experimentación aleatoria vs. recolección científica está disponible en línea (JMP Live?) Me encantaría usarlo como ejemplo dentro de mi propio grupo (¡con todo el crédito, por supuesto!).
Todavía no. Se publicará como apéndice del tercer libro en elSimios con batas de laboratoriotrilogía,Monos y anoraks, cuya fecha de lanzamiento es el 1 de noviembre. Pero para obtener una copia más completa y actualizada del conjunto de datos completo, comuníquese con Harrold Fellerman, quien tiene una gran cantidad de datos nuevos, en la Universidad de Newcastle.
Creo que una de las ideas erróneas sobre el enfoque DOE es que "cuesta" más o que requiere más "condiciones" (algo que he escuchado una y otra vez). ¡He descubierto justo lo contrario! Es la forma más eficiente de obtener resultados porque permite modelar y predecir el efecto de los factores en las respuestas sin tener que ejecutar todas las combinaciones posibles. ¡Es iterativo! No empezamos con un factorial completo, ¡lo terminamos!
En primer lugar, si se desea minimizar la cantidad de condiciones y recursos consumidos y, al mismo tiempo, maximizar la cantidad de información sobre lo que sucede en un espacio multidimensional, la única manera de lograrlo es mediante un enfoque diseñado. Eso es lo que hacen los diseños. Punto. La única manera de lograrlo con menos recursos es sacrificando información. Punto final.
En segundo lugar, si observamos la cantidad de recursos que se consumen en el campo mediante la búsqueda científica tradicional, se observa que se consumen más recursos para generar información de menor calidad. Además, los recursos que se deben proporcionar son más impredecibles. A veces se encuentra algo que funciona y se puede descartar rápidamente. Otras veces, se termina dando tumbos hasta que se agota el tiempo antes de descartarlo. En ambos casos, lo más probable es que la información esté incompleta y que la solución fracase en un abrir y cerrar de ojos, lo cual representa una pesadilla para la gestión de I+D. VerGorilas con traje.
¿Le resulta difícil transmitir este mensaje en persona a un científico que prefiere confiar en su intuición? Hablar de ello en abstracto parece más fácil que decirle que debe cambiar su enfoque.
Sí. No todos lo entienden. Colaboramos con los científicos que sí lo entienden. Se autoseleccionan como usuarios principales. Simplemente les pedimos que dejen de lado su incredulidad mientras los guiamos en ese primer estudio. Y trabajamos con ellos para generar los casos de estudio exitosos que convencerán al diseño de la organización. Nada vende más que el éxito. Y el DOE tiene un éxito extraordinario.
¿Se está trabajando para desarrollar una medida objetiva de la aplicación de la DOE multidimensional y las mejores prácticas estadísticas en un estudio? En otras palabras, un sistema de calificación que no intente evaluar los resultados ni las conclusiones del estudio, sino que evalúe si el estudio utilizó la DOE multidimensional y las mejores prácticas estadísticas de forma objetiva.
Esta es una muy buena idea. Actualmente, es irregular. ElECUADORLas redes (p. ej., STROBE, STARD, CONSORT) han sido proactivas, aunque tienden a estar orientadas a la clínica. Además, ha habido iniciativas en el pasado que no son de dominio público; por ejemplo, GSK elaboró una serie de hojas de referencia del Departamento de Energía (DOE) de una sola página para uso interno de sus investigadores.
La necesidad de una mayor colaboración con científicos y expertos en el DOE es evidente. ¿Cómo podemos fomentarla?
Crear un entorno de aprendizaje acogedor, donde las personas tengan la oportunidad de aprender de forma segura, es fundamental. Eventos como seminarios web, talleres y conferencias reúnen a personas con ideas afines para ayudarles a desarrollar una comprensión compartida de las aplicaciones prácticas. Otras opciones incluyen herramientas de software colaborativas compartidas; la fácil visualización de resultados y el mapeo de los espacios multidimensionales de interés; y ayudar a los usuarios a liderar el cambio de mentalidad en su organización.
Estoy convencido de que debería usar DOE. ¡Pero no sé por dónde empezar! ¿Algún consejo?
Mantenlo simple. Busca a alguien que ya lo haya hecho. Haz que sujete el clavo cuando uses el martillo por primera vez. Sé conservador. Opta por un diseño relativamente seguro. Y recuerda la observación de Moore: Casi cualquier diseño es mejor que ninguno.
Hay muchísimos fundadores en la industria biotecnológica e investigadores principales en el ámbito académico que han forjado sus carreras y reputaciones basándose en la investigación científica. Siguen en el poder. ¿Cómo podemos abrirnos paso? Parece imposible desde abajo. ¿Qué opinan?
Todo cambio empieza con una persona. Y todo cambio es de abajo hacia arriba hasta que esa persona llega a la cima para impulsar el cambio desde arriba hacia abajo. Recuerden la historia de Imo, el macaco japonés joven que introdujo en la manada la costumbre de lavar la arena de las batatas antes de comerlas. La nueva tendencia se extendió por todas las filas, pero fueron los machos dominantes los últimos en adoptar el comportamiento.
Me interesa su opinión sobre la mejor manera de remediar la falta de enseñanza del Departamento de Educación en ciencias. ¿Incorporarla en los planes de estudio de secundaria? ¿Enfocarse en los cursos de doctorado? ¿En los decanos? ¿O dejarlo pasar y dejar que la industria llene el vacío?
Ahora mismo, necesitamos hacer todo eso. Necesitamos a la próxima generación YA . Hasta entonces: ¿Preparatorias? Sí. ¿Componente de doctorado? Sí. ¿Decanos? Demasiado tarde para la mayoría, pero uno o dos decanos de investigación e innovación podrían ser útiles. ¿Industria? Sí.
Necesitamos impulsar la EDO en las primeras etapas del ciclo de desarrollo, en las escuelas. Los niños lo entienden. Nadie les ha dicho todavía que deben centrarse en una sola variable a la vez. Les gustan los materiales didácticos de la EDO, como helicópteros y catapultas. Muéstrenles cosas como la Paradoja de la Profecía Autocumplida y se reirán cuando les digan que la mayoría de los científicos utilizan enfoques de una sola variable a la vez. Necesitamos enseñar a los niños que el mundo es complejo y que el pensamiento univariable es una mentira que los adultos se dicen a sí mismos para sentirse cómodos y evitar sentirse abrumados. Se trata de desarrollar una mentalidad científica: explotar la curiosidad natural, brindar oportunidades para la exploración estructurada y fomentar los descubrimientos científicos.
Estoy totalmente de acuerdo en que la DOE está empezando a filtrarse en las biociencias industriales, pero es mucho menos frecuente en el ámbito académico. Esto podría deberse en parte al alto umbral de costos que aún existe para robots, automatización y consumibles. ¿Cómo pueden los académicos y estudiantes con presupuestos limitados abordar la DOE de forma más eficaz?
No necesitas robots. Si tienes acceso, genial, pero no necesitas robots. Si quieres minimizar los consumibles, el DOE maximiza la información y minimiza los costes. Los investigadores científicos subestiman el coste asociado a deambular a tientas en la oscuridad multidimensional.
¿Puede hablarnos de cómo la experimentación secuencial puede ser útil, pero también un poco peligrosa, basándose en su ejemplo de científicos que quieren sacar conclusiones rápidamente?
La experimentación secuencial puede ser valiosa cuando el costo de cada experimento es totalmente exorbitante. Pero la experimentación paralela es ideal, razón por la cual los robots pueden ser tan útiles. Sin embargo, en ciencia, cuanto más larga sea la secuencia, más vulnerable será a la confusión con los cambios a lo largo del tiempo, mayores serán las oportunidades de deriva analítica y otras tendencias, y mayor la probabilidad de que se cumpla la Ley de Murphy. (Véase el capítulo sobre la Ley de Murphy enGorilas con traje.) Mantenga las secuencias cortas, aproveche el bloqueo y verifique los efectos de ejecución.
¿Dennis hizo referencia al libro de Ronald Fisher sobre el Departamento de Energía?
Ya no se imprime, pero es de interés histórico:
- Fisher RA 1935 El diseño de experimentos Editorial: Oliver & Boyd, Edimburgo.
Pero para un tratamiento más moderno y relevante del DOE:
¿Esperas que el resultado de JMP DOE sea diferente al de cualquier otra aplicación? De ser así, ¿por qué?
En lugar de permitir que el software fuera un obstáculo, solíamos impartir la capacitación de DOE en el software elegido por el cliente. Como resultado, llegamos a familiarizarnos con la mayoría de los paquetes de DOE disponibles (Modde, DesignExpert, SPSS, BMDP y varios paquetes de DOE basados en R). Si bien JMP DOE ofrece resultados computacionales similares a otros paquetes, destaca en la experiencia de usuario: facilidad de uso, visualización e interpretación de datos.
Agradecemos a Dennis no solo por responder las preguntas que no tuvimos tiempo de responder en la transmisión en vivo, sino también por profundizar en las que sí respondió. Esperamos que disfruten del esclarecedor y entretenido programa a la carta "Estadísticamente Hablando" . Esperamos con ansias el tercer libro de la trilogía "Simios con Batas", que se publicará en noviembre.
