Mediciones repetidas... más o menos...Supongamos que tengo un diseño factorial completo de 2 ^ 3 con réplica, por lo que 2x8 = 16 ejecuciones. Cada ejecución dura 30 minutos, donde los participantes detectan y persiguen 8 'objetivos' en el transcurso de esos 30 minutos. Es posible que cada uno de los 8 objetivos tenga su propio tiempo de respuesta. Dado que los perfiles de destino varían, estoy aleatorizando su orden para cada ejecución. No me importa un factor de tipo de destino, por lo que no es un factor de diseño para el que estoy tratando de medir un efecto.Estoy tratando de detectar efectos principales y de 2 vías.
¿Tiene sentido tratar esos 8 tiempos de respuesta por ejecución como observaciones independientes, como si estuviera obteniendo 8 puntos de datos de tiempo de respuesta para cada nivel de factor, para un total de 16x8 observaciones? ¿O en cambio promediar los 8 tiempos de respuesta para una sola observación por ejecución? Si puedo usar 8 observaciones por ejecución, ¿es mejor tratarlas como mediciones repetidas para una ejecución? Porque son no mediciones repetidas: cada objetivo es único y sé de antemano que no producirán el mismo tiempo de respuesta. Los 8 están sujetos al mismo tratamiento, por supuesto, pero varían de otras maneras y es una fuente de variación.
Diseño de experimentosRe: Mediciones repetidas...más o menos...Adjunto una imagen del diagrama de relación de factores. Esto incluye el bloque, los factores de diseño X1-X3 en todo el gráfico y un factor para el perfil objetivo (TP) en el subgráfico (TP1 podría ser TP1-TP3 en un factorial si desea 8 configuraciones diferentes de los perfiles objetivo, por ejemplo, tamaño del objetivo, distancia del objetivo, color del objetivo). O dado que no le importa la resolución de los factores TP (solo está tratando de crear un gran espacio de inferencia), puede hacer esto en 4 tratamientos (la mitad de la fracción de los 3 factores TP) por ejecución de 30 minutos. O podría aprovechar la confusión de parcelas divididas para reducir aún más la cantidad de tratamientos... con muy poco sacrificio de resolución. Necesitaría saber más detalles de su situación.
Re: Mediciones repetidas...más o menos...Creo que entiendo lo que quieres decir, pero puedo estar malinterpretando tu propuesta. Sería útil ver su diseño en un gráfico si no le importa.
Para ser claros, nuestras ejecuciones de 30 minutos consisten en múltiples objetivos y la única razón real por la que estamos haciendo múltiples 'perfiles' es para que haya variedad operativa y para ayudar a evitar un efecto de aprendizaje. Si hay una forma más común de manejar estos problemas, entonces me gustaría conocerlos en lugar de forzar innecesariamente el experimento en un diseño particular.
Re: Mediciones repetidas...más o menos...Parece que estás cambiando tu descripción original de la situación. Para su propuesta, está confundiendo los "escenarios" con Día (y el ruido asociado), lo que no sería un beneficio. Lo que sugiero es que para cada combinación de tratamiento de parcela completa (el factorial indicado en su publicación original, creo que 2^3), ejecute un conjunto de tratamientos basados en un factorial de perfiles objetivo (no estoy seguro de qué cambia de perfil a perfil, pero creo que podría identificar cuáles son esas x y experimentar con ellas). En lugar de repeticiones, el factorial de los factores de perfil crearía la subparcela. Dado que los grados de libertad de la gráfica completa y la gráfica secundaria se analizan por separado (por ejemplo, cada uno con su propia gráfica normal), ha aumentado la precisión de la gráfica completa (menos ruido solo en la gráfica completa) y ha aumentado la precisión de la gráfica secundaria. trama también. También obtendrá interacciones WP por SP, por lo que si los factores en los efectos de las gráficas completas dependen del perfil de destino que se utilizó, podrá identificar y cuantificar esto.
Re: Mediciones repetidas...más o menos...@statman
Ok, en la opción de parcela dividida, supongo que desarrollaría, digamos, 6 escenarios que involucran varios perfiles objetivo. Esos escenarios serían las tramas principales y ocuparían un día. Luego, dentro de esas parcelas principales, tendría parcelas divididas para los niveles del diseño del sistema bajo investigación: sistema A, sistema B.
| día | 1 | 2 | 3 | 4 | 5 | 6 |
| soy | A | A | B | A | B | B |
| pm | B | B | A | B | A | A |
| Guión | 5 | 2 | 3 | 1 | 4 | 6 |
¿Cuáles son los beneficios reales de este enfoque, si como es mi caso, cambiar los escenarios no es difícil?
Re: Mediciones repetidas...más o menos...Debe leer "Diseños de parcelas divididas para la experimentación robusta de productos" Box y Jones, Journal of Applied Statistics, vol. 19, No.1, 1992. Los factores difíciles de cambiar son solo una razón para hacer parcelas divididas (y no la mejor razón). Las restricciones en la aleatorización se pueden usar de manera efectiva para dividir el ruido en un experimento para aumentar simultáneamente la precisión para detectar los efectos de los factores sin afectar negativamente el espacio de inferencia.
Cuando esté calculando la media para usarla como variable de respuesta, también calcule la desviación estándar (o varianza) y comemos como variable de respuesta.
Parece que finalmente quieres entender las acciones y decisiones humanas. Aleatorizarlos no permitirá estimar esos efectos ni permitirá comprenderlos.
Re: Mediciones repetidas...más o menos...Hola @statman salta adentro
@statman escribió:
¿Qué respuestas están tratando de entender? ¿Tiempo de respuesta? Tasa de respuesta (de desde detectar hasta enjuiciar)?
Es un escenario de comando y control donde tiempo de detección es una (de muchas) medidas del efecto de varios factores de diseño.
¿Qué es un "perfil objetivo"? ¿Y por qué no te importa la interacción entre los factores de diseño y el perfil objetivo?
Los perfiles de destino agregan variedad y un error razonable al experimento, pero son simplemente una pequeña muestra de una gran cantidad de perfiles potenciales. Realmente no necesito saber si hay un efecto de perfil objetivo.
¿No está tratando de elegir factores de diseño que afecten el tiempo de respuesta, robustos al perfil objetivo?
bueno, sí
¿Parece que solo te interesa la media? ¿Por qué no la variación? Me es imposible pensar en las medias sin tener una idea de la varianza... es como dar la puntuación de un equipo y no del otro en un evento deportivo.
De ahí mi preocupación anterior de que colapsar un montón de valores en una media no parece una buena idea. Quizás un percentil 90 sea más apropiado si estoy tratando de caracterizar una muestra con un solo valor.
Estás replicando el diseño, ¿por qué? ¿Sabes qué ruido está cambiando entre réplicas?
Es solo la aleatoriedad asociada con las acciones del operador humano. Dos ejecuciones con los mismos niveles de factor definitivamente arrojarán resultados diferentes, porque la respuesta se ve afectada por las acciones y decisiones humanas.
Otra idea es tratar la estructura de diseño como la parcela completa y el factor de perfil como la subparcela de un diseño de parcelas divididas. Creo que le gustaría saber más sobre esta fuente según la declaración. " Los 8 están sujetos al mismo tratamiento, por supuesto, pero t varían de otras maneras y es una fuente de variación "
Tiendo a pensar en diseños de parcelas divididas para casos en los que tengo un factor difícil de cambiar, que no es el caso aquí. Esta es una simulación en la que podemos controlar los factores con bastante facilidad de una ejecución a la siguiente.
Re: Mediciones repetidas...más o menos...No debería afectar tanto las estimaciones de los efectos fijos. Su diseño es ortogonal. Es como tener dos términos de error, dentro y entre objetivos. Es solo información más detallada sobre la variación aleatoria.
Re: Mediciones repetidas...más o menos...Llega tarde a la fiesta, pero hay una serie de cosas que me vienen a la mente, aunque no puedo decir que entiendo qué es exactamente lo que quieres del experimento.
Pero esto suena interesante... así que si me permite, tengo algunas preguntas (por supuesto, si está satisfecho con las respuestas que ha recibido, lo entiendo):
¿Qué respuestas están tratando de entender? ¿Tiempo de respuesta? Tasa de respuesta (de desde detectar hasta enjuiciar)?
¿Qué es un "perfil objetivo"? ¿Y por qué no te importa la interacción entre los factores de diseño y el perfil objetivo?
¿No está tratando de elegir factores de diseño que afecten el tiempo de respuesta, robustos al perfil objetivo?
¿Parece que solo te interesa la media? ¿Por qué no la variación? Me es imposible pensar en las medias sin tener una idea de la varianza... es como dar la puntuación de un equipo y no la del otro en un evento deportivo.
Si está utilizando la media, ¿no debería probar primero para ver si esa es la estadística adecuada? ¿Qué pasa si hay puntos de datos inusuales en los 8 perfiles objetivo? Entonces, la media podría ser una estadística de resumen deficiente.
Estás replicando el diseño, ¿por qué? ¿Sabes qué ruido está cambiando entre réplicas? Si es así, ¿no estaría interesado en conocer el efecto de ese ruido y posiblemente las interacciones de ruido por factor (piense en un diseño robusto)? Trate la réplica como un bloque y un efecto fijo. Si no, entiendo el uso de la réplica para obtener una estimación "imparcial" del MSE.
Otra idea es tratar la estructura de diseño como la parcela completa y el factor de perfil como la subparcela de un diseño de parcelas divididas. Creo que le gustaría saber más sobre esta fuente según la declaración. " Los 8 están sujetos al mismo tratamiento, por supuesto, pero t varían de otras maneras y es una fuente de variación "
Re: Mediciones repetidas...más o menos...gracias de nuevo @Mark_Bailey Le pedí a JMP que creara la tabla con algunos datos falsos, luego modelé los resultados solo para implementar su recomendación. Con la tabla de salida, ejecuté dos modelos: un modelo con los tres términos de efectos principales y tres términos de 2 vías, y el término de perfil objetivo como un efecto aleatorio y un modelo en el que simplemente excluí el término del perfil de destino del modelo. En el cuadro de diálogo del primer modelo, JMP recomendó REML. Estoy usando la personalidad SLS y el énfasis en el apalancamiento del efecto. En el segundo modelo, sin el término de efecto aleatorio, JMP no me solicitó un método.
En cualquier caso, los resultados en ambos modelos son bastante similares, quizás porque los datos no tenían sentido ya que eran sintéticos. Todos los efectos e interacciones principales fueron significativos al 0,05 en ambos modelos. Eso parece contrario a la intuición: parece que tratar el perfil como un término de efecto aleatorio debería haber arrojado resultados muy diferentes. Pero tal vez estoy comparando manzanas con naranjas en la forma en que modelo los datos con estos dos modelos. En el modelo 2, probablemente estoy sacando malas conclusiones ya que hay un efecto que no tomé en cuenta. Pero hubiera pensado que eso habría resultado en menos efectos significativos.
Re: Mediciones repetidas...más o menos...Sí, ingrese la respuesta para cada objetivo como una observación separada (fila). Agregue una columna de perfil con el tipo de modelado nominal. Agregue el efecto aleatorio a este término en la lista de efectos. No agregue ningún término para la réplica, ya que se utilizará para la estimación del error (repetibilidad).
¿Cómo funciona?
Re: Mediciones repetidas...más o menos...Gracias @Mark_Bailey , Creo que esa es la forma correcta de pensarlo. Estoy reutilizando los mismos 10 perfiles de destino, simplemente variando aleatoriamente su orden para reducir la previsibilidad de los operadores. Quiero poder eliminar el objetivo perfil fuente de varianza, pero no necesito medir la perfil objetivo efecto. Entonces, ¿eso significa que simplemente tengo una variable de perfil (columna) y produzco 10 observaciones (filas) por ejecución... una observación para cada perfil objetivo, para cada una de las 16 ejecuciones? Eso significaría una tabla de datos de 10x16 = 160 filas si sigo su lógica. ¿Necesito decirle a JMP que trate el perfil objetivo variable diferente en la construcción del diseño o en el ANOVA?
Re: Mediciones repetidas...más o menos...@Mark_Bailey ¿Cómo estructuraría los datos para incluir el tipo de objetivo como un efecto aleatorio?
Re: Mediciones repetidas...más o menos...Alternativamente, podría considerar el perfil objetivo como un factor. Es decir, tiene un efecto sobre la respuesta. Parece que no considera que el perfil objetivo tenga un efecto fijo. Si bien cada tratamiento incluye los mismos ocho perfiles, los perfiles representan una muestra aleatoria de una población de posibles perfiles. Introducen una variación adicional a la respuesta, un efecto aleatorio. Este enfoque le brindaría información adicional: variación entre y dentro de los perfiles.
Re: Mediciones repetidas...más o menos...Muchas gracias @Byron_JMP , Veré la presentación de Kevin. Creo que la media será suficiente. Otro enfoque sería tomar el percentil máximo o 90 (de los 10 objetivos) en lugar de los medios. El pensamiento aquí es que el mayor de los tiempos de detección son los valores más preocupantes, y un efecto deseado debería ser una reducción en esos valores más críticos. Usar el máximo (de los 10) sería un valor arriesgado: los valores atípicos serán problemáticos. Tal vez el valor del cuartil superior o el percentil 90 sería un buen compromiso.
Re: Mediciones repetidas...más o menos...Tomar la media de las (10) repeticiones para cada ejecución (1 de 16) le dará una mejor estimación del tiempo medio para adquirir un objetivo, o el tiempo entre la adquisición, sin embargo, está calificando los eventos...
Si también desea tener en cuenta el orden de los objetivos, en el caso de que los objetivos no sean todos idénticos, hay un diseño experimental un poco diferente para eso. (experimentando factores de orden).
En la conferencia Discover de 2019, Kevin Gallagher, científico de PPG Industries, presentó un estudio de caso muy bueno sobre este tema. https://community.jmp.com/t5/Discovery-Summit-Tucson-2019/The-Design-and-Analysis-of-Experiments-With-Order-Factors-2019/ta-p/223351
Re: Mediciones repetidas...más o menos...Debería haber evitado causar confusión en el ejemplo que proporcioné al suponer que tengo 10 objetivos por ejecución. Si se expresaran de alguna manera como un valor de resumen único (media), tendría 1 media para cada una de las 16 ejecuciones. Si los tratara como valores separados, tendría 10 valores para cada una de las 16 ejecuciones. Estoy tratando de pensar en el futuro sobre cómo estaría analizando los resultados en ambos casos si mi objetivo es simplemente verificar el efecto de un factor (para cada uno de los 3 factores).
Re: Mediciones repetidas...más o menos...Definitivamente es el caso 1: el objetivo del experimento es medir el efecto de las condiciones experimentales en las acciones medidas. Yo también pensé que sería incorrecto apilar las observaciones como si tuviera 8 observaciones para el nivel de cada factor.
Si tuviera que tomar la media y la desviación estándar de las 8 observaciones, entonces mi variable de respuesta se convierte en... ¿la media? Entonces, ¿tendría 8 medias para ambos niveles de un factor y probaría una diferencia significativa de las medias de esas medias?
Re: Mediciones repetidas...más o menos...Tratando de entender tu experimento.
Parece que tienes 16 unidades experimentales.
Dentro de cada unidad alguna acción se repite 8 veces.
1. Las 8 acciones dependen de las condiciones de la unidad experimental.
El objetivo del experimento es medir el efecto de las condiciones experimentales en las acciones medidas.
o...
2. El experimento da como resultado una curva de respuesta con 8 puntos durante 30 min.
El objetivo es entender cómo las condiciones experimentales afectan la curva de respuesta.
Creo que podrías estar trabajando con el caso 1. Apilar todas las filas para los puntos de datos de 16x8 está lleno de peligros.
Sospecho que tiene su tabla de datos configurada en una columna para cada variable experimental y una columna para cada una de las 8 mediciones. Una opción es tratar esto como un modelo mixto y analizar la variación entre y dentro de los 8 tiempos. Otra opción es utilizar la media y la desviación estándar de las 8 medidas como respuestas.
