Informe de los resultados del DOE para su publicaciónHola,
Estoy escribiendo un manuscrito que incluye Diseño de Experimentos (DOE Plackett-Burman y DOE Factorial Completo).
Sin embargo, no estoy seguro de qué es importante informar en las publicaciones para ser lo más transparente posible.
Hasta ahora, he incluido las métricas del modelo (R², R² ajustado, PRESS, valor p del modelo, valor p de falta de ajuste), así como los términos e interacciones significativos y su valor p. Creo que no tiene sentido informar las estimaciones de los parámetros para los factores/interacciones cuando se tiene un modelo de regresión que incluye términos de interacción significativos (ya que estas estimaciones cambian debido a las interacciones). En ese caso, lo mejor es usar el perfilador de predicción. Sin embargo, es muy difícil incluirlo para su publicación. Entonces, ¿cómo puedo informar los resultados de los factores y sus interacciones de forma significativa?
Agradecería cualquier consejo.
Gracias
Sara
Diseño de experimentosRe: Informe de los resultados del DOE para su publicaciónHola @SaraA ,
Lamentablemente, puede ser muy difícil saber cómo producir publicaciones del DoE porque hay mucha variación y calidad en lo que se produce en las publicaciones académicas. Tengo algunas ideas sobre esto basadas en mis propias experiencias de publicación de trabajos del DoE y estoy seguro de que otros agregarán otras.
La regla más importante: ¡Asuma que sus lectores no saben nada sobre el Departamento de Energía o las estadísticas!
Aunque es una herramienta popular para la experimentación, es posible que muchos lectores no la conozcan, lo que significa que es necesario usar herramientas como la visualización para transmitir lo que hace un DoE y ayudar a los lectores a comprenderlo. Aquí es donde muchos autores fallan, y mi mayor queja es que incluyan la fórmula completa en el artículo: ¿realmente refleja los resultados del DoE? De igual manera, aspectos como las estimaciones de parámetros (como mencionaste) no son muy relevantes cuando se utilizan otras herramientas como los diagramas de Pareto.
Voy a tomar algunos ejemplos de cómo mostré mis resultados para transmitir algunas de las formas de mostrar su DoE (publicidad descarada; también puede encontrar el artículo aquí).
Preparación : utilice visualizaciones sencillas para mostrar la estructura del DoE y cómo se exploran los puntos. Puede hacerlo con el Constructor de Gráficos o la Matriz de Diagramas de Dispersión cuando tenga muchos factores. Esto ayuda a los lectores a comprender que el DoE es un enfoque estructurado para la experimentación. De igual manera, contar con una tabla donde muestre la codificación de sus factores (si usa -, 0, + y axiales (a, A)) será de gran ayuda.
Demostrando lo que lograste : antes de adentrarte en el modelo de regresión y las mayores complejidades del enfoque DoE, debes destacar los valores reales obtenidos. Un gráfico simple en "Ajustar Y por X" usando algo como una prueba de Tukey es una forma muy clara de mostrar "¡Mira cuánto más cosas hice!" usando el enfoque DoE. Una de las grandes ventajas del DoE es que es una forma estructurada de explorar una región experimental, ¡y el enfoque de modelado posterior es otra ventaja! En el ejemplo anterior, puedes ver que mi "00a" es mucho más productivo que los otros puntos; en realidad, podría detenerme ahí porque ya conseguí lo que quería.
Presentación del modelo : como mencionaste, estás mostrando la información básica necesaria para demostrar que tu modelo es suficiente. Dependiendo de la revista de destino, esto debería ser más que suficiente para demostrar que has creado un buen modelo y podría no ser necesario profundizar más (a menos que tu revista se centre en las estadísticas). Si tienes material como los residuos estudentizados y la gráfica de valores reales por predicción, asegúrate de incluirlos, aunque quizás también en la información complementaria.
Introducción al concepto de modelado : el diagrama de Pareto es una excelente manera de que el lector analice y analice rápidamente la importancia de los términos, además de introducir conceptos más complejos como la curvatura cuadrática (X1*X1) y las interacciones (X1*X2). El lector puede ver rápidamente que la línea azul es útil y comprender dónde los términos tienen menor importancia. Este es un punto clave para vincularlo con la comprensión del sistema. Por ejemplo, el nitrógeno es fundamental para la producción debido a la dependencia del organismo utilizado en este artículo para su crecimiento. Esto ayuda a demostrar que no se trata solo de un método de experimentación estadística, sino de que se utiliza para comprender mejor el sistema.
Combina las diferentes maneras de mostrar tu superficie . Personalmente, me encanta el Perfilador de Predicción y es una excelente manera de mostrar tu sistema y su funcionamiento. Sin embargo, como mencionaste, puede resultar limitado si tienes que presentarlo estáticamente. Si tienes un sistema simple, puedes mostrar diferentes capturas del Perfilador de Predicción con diferentes configuraciones. En mi caso, mostré el Perfilador de Predicción en su estado óptimo (que mostraba la forma de mis factores) y lo combiné con los Gráficos de Contorno para comprender mejor mi sistema. Un consejo: si configuras tu Gráfico de Contorno con la misma configuración de factores que en tu Perfilador de Predicción, el área donde la cuadrícula alta se interseca con la superficie (a la que añadí un resaltado blanco) refleja la superficie en el Perfilador de Predicción.
Considere compartir sus resultados en JMP Public: cada vez más publicaciones brindan acceso a los datos que formaron las secciones de resultados (¡lo cual es genial!). Personalmente, me gustó mucho publicar mis resultados en JMP Public e incluirlos en mis artículos: esto les da a los lectores la oportunidad de jugar realmente con los Prediction Profilers y descargar los datos disponibles (aquí hay un ejemplo de cómo compartí mis resultados ).
¡Espero que esto te ayude y buena suerte con la etapa de revisión!
Gracias,
Ben
Re: Informe de los resultados del DOE para su publicaciónHola @SaraA ,
Es difícil ayudarle sin saber a qué revista o público va dirigida su publicación. Además, ¿cuál es su objetivo con esta publicación y qué tan confidencial y de código abierto puede ser?
Dependiendo de las respuestas, la mejor opción para los lectores es proporcionarles (en anexos) el conjunto completo de datos, con todas las entradas y respuestas, así como las respuestas previstas y cualquier procesamiento o decisión que haya tomado sobre sus datos (transformaciones, gestión o exclusión de valores atípicos, etc.). De esta manera, proporciona toda la información para que sus hallazgos y trabajo sean reproducibles.
Sobre tu comentario:
@SaraA escribió:
Creo que informar estimaciones de parámetros para los factores/interacciones no tiene sentido cuando se tiene un modelo de regresión que incluye términos de interacción significativos (ya que estas estimaciones de parámetros cambian debido a las interacciones).
Estoy totalmente en desacuerdo. Las estimaciones de parámetros ayudan a determinar la importancia práctica (tamaño del efecto) de los factores en las respuestas. La significancia estadística no basta para determinar si un modelo es adecuado, fiable y útil en la práctica. Se necesitan ambas para interpretar el modelo y los resultados.
Consulte la discusión ¿Cuál definir el tamaño del efecto: estimaciones logarítmicas o escaladas? para obtener más explicaciones sobre la diferencia entre significancia práctica y estadística.
Como nota al margen, también es una buena práctica garantizar la reproducibilidad de los resultados del modelado.
Acerca del Prediction Profiler, quizás puedas proporcionar un archivo HTML interactivo o incrustar el Profiler en una página web (sitio web o JMP Live) si deseas compartirlo.
Todavía consideraría proporcionar visualizaciones "estáticas" útiles de sus modelos, como un gráfico de tamaño del efecto (en gráfico de barras), un mapa de calor (si desea ver la influencia de sus factores en varias respuestas), mapas de correlación (para sus respuestas), un gráfico de superficie, diagramas de dispersión... Hay muchas cosas que puede hacer con JMP para visualizar los resultados de su modelo.
Espero que esta respuesta pueda ayudarte.
Re: Informe de los resultados del DOE para su publicación@Victor_G
Digamos que tiene una interacción entre el término X1 y X2 en su modelo y reporta las estimaciones de los parámetros para X1 y X2, pero debido a la interacción, estas estimaciones (es decir, los coeficientes de pendiente) pueden cambiar, por ejemplo, de una pendiente positiva a una pendiente negativa, dependiendo de los niveles del otro factor con el que interactúa, entonces ¿por qué reportaría las estimaciones de los parámetros?
Re: Informe de los resultados del DOE para su publicaciónNo entiendo tu punto.
El efecto de interacción todavía tiene el mismo valor de coeficiente sin importar los niveles de X1 y X2 (si estos dos factores son continuos).
Si uno (o varios) de sus factores es categórico/ordinal, puede proporcionar el valor del efecto de interacción para cada nivel categórico mostrando las estimaciones ampliadas de su modelo:
Espero que esto aclare mi punto.
Re: Informe de los resultados del DOE para su publicación@Victor_G
Claro, el término de interacción tiene el mismo valor de coeficiente sin importar los niveles de X1 y X2, pero los valores de los coeficientes de los términos principales (X1 y X2) tendrán valores diferentes, dependiendo de los niveles del otro factor, ¿verdad?
Re: Informe de los resultados del DOE para su publicaciónNo, creo que existe una confusión entre la pendiente en una ubicación específica, según los niveles de un factor, y el efecto principal de dicho factor. La pendiente puede cambiar según la posición en la superficie de respuesta, pero la estimación del efecto principal no cambia.
Re: Informe de los resultados del DOE para su publicación@SaraA, siempre puedes incluir las estimaciones de parámetros en la información complementaria para quienes estén interesados. Si publicas en una revista sobre desarrollo biotecnológico (como hice yo), al público objetivo no le resultaría muy útil incluirlas en el texto principal (en mi opinión). En cuanto a su significado (los coeficientes representan la cantidad de cambio en la respuesta por cada cambio de una unidad en el predictor, si los demás se mantienen constantes), verás que estos mismos valores aparecen en la fórmula de predicción.
Gracias,
Ben
Re: Informe de los resultados del DOE para su publicaciónOtro aspecto a tener en cuenta con respecto a las interacciones en general es si existe alguna confusión en los efectos provocada por el propio diseño inherente; en otras palabras, si existe algún fraccionamiento en el diseño, y si son realmente estimables los efectos de la interacción. Otro modo de fallo es, por ejemplo, si se pierden algunas combinaciones de tratamientos, algunos efectos podrían ser inestimables. Pero si la ejecución experimental fue favorable y todo salió según lo planeado, otra forma de mostrar los efectos de la interacción es incluir el Informe de Modelo de Ajuste y el Informe de Gráficos de Interacción. Se describe aquí: Gráficos de Interacción . No es tan impresionante como el Generador de Perfiles de Predicción, pero cumple su función.
Re: Informe de los resultados del DOE para su publicación@Ben_BarrIngh
En términos de lo que son, los coeficientes son la cantidad de cambio en la respuesta por cada cambio de una unidad en el predictor (si los demás se mantienen constantes).
Este es precisamente mi punto: cuando hay una interacción, no se puede cambiar un término una unidad mientras se mantienen los demás términos constantes debido a la interacción. Si se cambia el término X una unidad, el término Y también cambiará (si hay una interacción entre X e Y). Por eso me enseñaron que no es útil reportar estimaciones de parámetros de los efectos principales cuando hay términos de interacción significativos.
Re: Informe de los resultados del DOE para su publicaciónEl problema no es reportar los coeficientes, sino interpretar los resultados. Si una interacción es significativa, se debe tener cuidado al interpretar los efectos principales involucrados en ella.
Re: Informe de los resultados del DOE para su publicación@Ben_BarrIngh
¿Dónde puedo encontrar más información sobre cómo hacer los primeros 2 gráficos que estás mostrando aquí?
Re: Informe de los resultados del DOE para su publicaciónHola @SaraA ,
Para el primero utilicé un constructor de gráficos para trazar los puntos, luego utilicé PowerPoint para dibujar la forma de los cuadrados y círculos en el mismo color.
Para el segundo, puedes usar Ajustar Y por X, donde X es tu "Patrón" e Y es tu respuesta; luego hice una comparación de medias con una prueba de Tukey para mostrar los círculos de comparación.
¡Espero que ayude!
BenRe: Informe de los resultados del DOE para su publicaciónHola Ben,
Muchas gracias. Una última pregunta: ¿cómo puedo generar un gráfico de estimaciones escaladas tras el análisis REML? JMP no genera este gráfico para el análisis de modelos mixtos (aunque proporciona las estimaciones de los parámetros, pero creo que las estimaciones escaladas o el gráfico de Pareto son más intuitivos).
Gracias
Sara
Re: Informe de los resultados del DOE para su publicaciónHola @SaraA ,
Sí, la magnitud del cambio que X1 puede causar en su respuesta puede alterarse cuando existen términos de interacción con X2 (es decir, mantener X2 en un valor alto puede disminuir X1 por completo), pero las estimaciones de los parámetros pueden usarse para mostrar una relación general. Si cuenta con una descripción suficiente de su sistema en su análisis y de cómo funcionan esas interacciones, las estimaciones de los parámetros podrían proporcionar más detalles.
Gracias,
Ben
Re: Informe de los resultados del DOE para su publicaciónHola @SaraA ,
Debido a la naturaleza del método, REML se centra en los componentes de varianza y (a diferencia de métodos como los mínimos cuadrados) no realiza la estandarización (que es un paso de preprocesamiento en el flujo de trabajo para el modelado); hay mucha complejidad adicional con los modelos mixtos y el intento de estandarizarlos (¿se estandariza globalmente o dentro de los grupos? ¿cómo se estandariza una variable que es diferente entre dos grupos?).
Gracias,
Ben
