Estuvimos encantados de presentar al increíble dúo padre-hija, el Dr. Chris Nachtsheim y la Dra. Abby Nachtsheim en nuestra primera Estadísticamente hablando de 2023. Hemos disfrutado eventos pasados con Chris como este excelente. charla plenaria en una pasada Discovery Summit Americas (¡vale la pena volver a verla!). Y estábamos muy interesados en saber más sobre los fascinantes proyectos de Abby.
Chris es el presidente Frank A. Donaldson de Gestión de Operaciones en el Departamento de Operaciones y Cadena de Suministro de la Escuela de Administración Carlson de la Universidad de Minnesota. Sus intereses de investigación abarcan diseños óptimos de experimentos industriales, modelos predictivos y gestión de calidad. Es coautor de varios libros y numerosos artículos publicados en literatura estadística.Es miembro de la Asociación Estadounidense de Estadística y también ha recibido numerosos premios, entre ellos los más destacados:
- Ganador en cuatro ocasiones del premio Brumbaugh de la Sociedad Estadounidense para la Calidad
- Recibió dos veces el premio Lloyd S. Nelson
- Ganador en tres ocasiones del premio Jack Youden al mejor artículo expositivo en tecnómetro.
Abby es estadística del grupo de ciencias estadísticas del Laboratorio Nacional de Los Alamos. Colabora regularmente con físicos, químicos, biólogos, informáticos e ingenieros para desarrollar soluciones a problemas complejos e interdisciplinarios. Sus intereses de investigación se centran en el diseño y análisis de experimentos y aporta su experiencia en el DOE a una amplia gama de aplicaciones en el Laboratorio Nacional de Los Álamos. También es un miembro activo de la comunidad estadística nacional y actualmente se desempeña como presidenta del capítulo de Ciudades Gemelas de la Asociación Estadounidense de Estadística.
Su plenaria de Statistical Speaking fue muy interesante, como lo demuestran las numerosas reacciones y comentarios de Zoom en el chat, como estos:
- “¡Me encanta* DOE! Literalmente ha cambiado la eficacia con la que trabajaban mis científicos de I+D”.
- “¡¡¡Me encanta la colaboración del trabajo de Abby!!!”
- “Presentación esclarecedora, ¡gracias!”
- "Esto es increíble."
- "Es una pena que el DOE no se utilice más en ciencia de datos, ya que puede resultar muy útil para crear el conjunto de datos de formación más informativo y representativo posible".
- "Gracias por una discusión increíble".
Su sesión plenaria también inspiró muchas buenas preguntas, varias de las cuales quedaron sin respuesta durante el tiempo limitado que tuvimos para preguntas y respuestas, pero Abby y Chris amablemente aceptaron responder más preguntas interesantes formuladas por los espectadores en esta publicación de blog.
Para estas empresas que tienen departamentos de experimentación o modelado causal, ¿qué otras habilidades podrían necesitar, especialmente cuando un experimento puede no ser factible?
Debe tener una buena comprensión de la regresión y el modelado predictivo, probablemente también la capacidad de codificar en R y/o Python, y pag Quizás familiaridad con algunas técnicas de modelado causal. Y, lo que es más importante, comprender bien la diferencia entre estudios observacionales y experimentales.Los experimentos dan causa y efecto.Los estudios observacionales dan hipótesis.
¿Se puede utilizar el diseño de Plackett-Burman en formulaciones químicas para evaluar componentes individuales? ¿O siempre deberían utilizarse diseños mixtos? He utilizado las herramientas de selección y modelado de Minitab bajo el asistente DOE para mezclas, pero no he utilizado el diseño de mezclas, ya que normalmente evalúo más de tres factores para las evaluaciones y alrededor de 3 o 4 para el modelado.
Sí, puede utilizar un diseño de Plackett-Burman para formulaciones químicas. Si la suma de los porcentajes de los componentes es igual al 100% o alguna otra constante (digamos, 40% de la mezcla total), necesitará: 1) usar un experimento de mezcla, o 2) omitir uno de los componentes y Utilice un diseño más estándar como Plackett-Burman. Dejar uno fuera se llama enfoque de variable de holgura. Los diseños de mezclas, por supuesto, no se aplican si la suma de los porcentajes de los componentes no es una constante fija.
¿Cuáles son las ventajas/desventajas de utilizar DOE en lugar del descenso de gradiente estocástico para el ajuste de hiperparámetros? ¿Se pueden utilizar estos métodos juntos (quizás DoE primero?) ¿Redes neuronales? ¿Podrían ser considerados? ¿Podrían ser considerados para el caso complejo?
El descenso de gradiente estocástico es una técnica de optimización importante, que a menudo se utiliza para ajustar los (quizás millones de) parámetros en la red neuronal para un conjunto fijo de hiperparámetros. Pero no lo usaría para la optimización de hiperparámetros; sería costoso en comparación con el uso de un experimento diseñado.
¿Qué pasa con PCA/PLS? ¿Pueden recibir “ayuda” del DOE?
A partir de discusiones sobre el tema con el profesor Dennis Cook de la Universidad de Minnesota, sabemos que existen razones teóricas por las cuales el DOE *no* puede ayudar a PLS (mínimos cuadrados parciales).Y si bien puede ser posible, no conocemos ninguna conexión útil entre el DOE y la PCA.
¿Dónde ve las mayores oportunidades para que los estadísticos que trabajan en el DoE moderno para que Big Data tenga un impacto? Sé que las pruebas A/B parecen estar surgiendo como una nueva área con mucho potencial (ver Nicholas Larsen, Jonathan Stallrich, Srijan Sengupta, Alex Deng, Ron Kohavi y Nathaniel Stevens, “ Desafíos estadísticos en experimentos controlados en línea: una revisión de la metodología de pruebas A/B .”
Los estadísticos del DOE pueden tener un impacto importante en las pruebas A/B, tanto mediante el uso eficiente de sujetos como mediante la implementación de experimentos multifactoriales que sean capaces de estimar interacciones entre factores, es decir, yendo más allá de las pruebas OFAAT.Pero sospechamos que el mayor impacto provendrá de la participación en el desarrollo y prueba de modelos de IA.
¿Las empresas exitosas están utilizando la experimentación?
Absolutamente.El grado puede variar, dependiendo del producto, pero la experimentación se utiliza mucho en las mejores empresas.Hay mucha literatura sobre esto.Un lugar para comenzar es este reciente Artículo de Harvard Business Review : SCHOPPNER, F.; THOMKE, S.; LOVEMAN, GW Actúa como un científico.Revisión de negocios de Harvard , [sl] , v. 100, n. 3, pág. 120–129, 2022.
En las discusiones que escucho, ML suena "preferido" al DOE. ¿Cómo describiría los beneficios del modelado basado en DOE (no en ML) y también el enfoque de utilizar DOE para recopilar datos para el análisis de ML?
No consideramos que el ML y el DOE sean métodos competitivos.DOE es simplemente una forma eficiente de recopilar datos para aprender cómo varios factores controlables afectan una respuesta de interés.ML es una forma de ajustar modelos muy complejos a (normalmente) grandes cantidades de datos existentes.Los datos podrían ser observacionales o podrían ser el resultado de un experimento diseñado.
¿Qué temas deberían incluirse en un curso DOE para programas de Análisis de Datos y Ciencia de Datos? Por ejemplo, ¿deberíamos concentrarnos en temas como las pruebas A/B que normalmente no se encuentran en un curso estándar del DOE?
Además de las pruebas A/B, los temas del DOE deben incluir el diseño y análisis de experimentos factoriales, bloqueo, análisis de covarianza y diseños de detección.Es fundamental comprender bien la diferencia entre efectos principales e interacciones.
¿Cómo evalúa la calidad de su DOE?
¿Antes o después del experimento?Antes del experimento, existen muchas medidas estadísticas estándar de la bondad del diseño, incluido el poder para detectar los efectos que queremos ver, el grado de ortogonalidad entre factores, la precisión esperada, la robustez, los grados de libertad para el error, D- eficiencia, etc No estadístico: ¿Hemos controlado? todo ¿Cuáles son los factores que pueden afectar la respuesta?¿Aleatorizamos? ¿Es confiable la medición de la respuesta?Después del experimento: ¿el modelo estadístico predice de forma fiable?¿Es replicable el experimento?
¿Serían útiles los diseños de Max Entropy para estimar parámetros para modelos mecanicistas/deterministas?
Los diseños de máxima entropía que analizamos no serían útiles en esa aplicación.Nuestros diseños están diseñados para discriminar entre dos o más modelos, que podrían ser mecanicistas/deterministas.
¿Cómo se pueden encontrar los factores relevantes para una DOE? Mi experiencia es que a menudo ejecutamos un DOE y nos damos cuenta de que hemos pasado por alto algún factor oscuro pero importante y luego necesitamos volver a ejecutar el diseño.
Ése es un problema importante y nosotros también hemos tenido esas experiencias.Como diseñadores de experimentos, debemos confiar en los expertos en la materia para identificar los factores importantes de antemano.Así que primero, si puedes, trabaja con personas realmente inteligentes.Si hay mucha incertidumbre, se puede examinar una gran cantidad de factores potenciales de forma económica y reducir el conjunto a los relevantes.Entonces ve desde allí.
¿Tiene alguna sugerencia específica sobre cómo incorporar el DOE en los programas y planes de estudio de ciencia de datos?
Centrarse en las pruebas A/B y A/B/n, pero también introducir los conceptos de experimentos factoriales, bloqueo, análisis de covarianza y diseños de detección.Es fundamental comprender bien la diferencia entre efectos principales e interacciones.
Si ya disponemos de grandes conjuntos de datos de observación, ¿todavía necesitamos el DOE?
Los estudios observacionales no pueden probar causa y efecto, y la mayoría de los conjuntos de datos observacionales equivalen a estudios muy mal diseñados que a menudo no son replicables.Si desea identificar relaciones de causa y efecto de manera confiable, necesita DOE.Los estudios observacionales pueden ser útiles para identificar factores potenciales para la experimentación de seguimiento.
Una pregunta que hicimos durante la transmisión en vivo, pero no teníamos una respuesta lista, fue: “¿Hay participantes que estén trabajando con el DOE o estén interesados activamente en él para mejorar las operaciones hospitalarias? Un recurso útil para comenzar podría ser: Diseño de experimentos en la industria de servicios: una revisión crítica de la literatura y direcciones futuras de investigación. . Si otras personas que leen esta publicación de blog conocen más recursos que aplican el DOE a las operaciones hospitalarias, lo invitamos a compartir los comentarios. ¡Gracias!
Muchas gracias a Chris y Abby por tomarse el tiempo de compartir más de su experiencia estadística.Esperamos que veas el programa bajo demanda. episodio de Statistical Speaking para ver algunas aplicaciones verdaderamente inspiradoras de experimentos diseñados que nos benefician a todos.
