What else should I consider when planning my test?What else should I consider when planning my test?What else should I consider when planning my test?What else should I consider when planning my test?¿Qué más debo considerar al planificar mi prueba?
Para esta tercera entrega de mi Serie de blogs "Aprendiendo de mis errores" , Me gustaría resumir mis pensamientos sobre los preliminares de la planificación de una prueba. Ya hemos hablado de lo que podemos esperar de una prueba t en general. Entonces, ahora sabemos que necesitamos establecer un nivel de confianza, establecer un objetivo de mejora en comparación con la condición actual y establecer una dirección para la mejora (mayor o menor que la condición actual). Ahora hablemos de algunas otras consideraciones de prueba y luego terminemos con Haga la pregunta completa .
Otras consideraciones antes de la planificación de la prueba
Recordar de el escenario original que el ingeniero decidió extraer tres muestras de cada una de las poblaciones para determinar si la media poblacional cambió entre el Nuevo Tratamiento y el Control. ¿Por qué eligió tres muestras? ¿Por qué no cinco? ¿O 10? ¿O 2? Quizás fue porque “siempre lo hemos hecho así”. Quizás hubo otras consideraciones que aún no se han descrito.
Desde una perspectiva puramente estadística/matemática, más siempre es mejor a la hora de elegir un tamaño de muestra. Después de todo, si pudiéramos muestrear TODAS las partes de una población, entonces no tendríamos que hacer ninguna suposición sobre la media o la varianza de la población. ¡Lo sabríamos!
Desafortunadamente, existen muchas consideraciones prácticas en nuestro trabajo diario que afectan la selección del tamaño de la muestra. Y aún más lamentablemente, yo mismo he sido culpable de no considerar todas las limitaciones e impactos de ejecutar una prueba determinada. Sería mucho más prudente considerar estos factores antes de comenzar la prueba, en lugar de perder el tiempo por las prisas.
A continuación ofrezco algunas cosas que podrían afectar la forma en que planifica su prueba:
- ¿Cuál es el presupuesto para esta prueba?
- ¡La gerencia siempre está interesada en el presupuesto!
- ¿Cuándo necesitamos una respuesta?
- Si se necesita una respuesta para el final de la semana, pero la prueba tardará al menos un mes en completarse, entonces debemos repensar la pregunta que estamos tratando de responder y la metodología que estamos utilizando para responderla.
- ¿Cuántas muestras de prueba podemos permitirnos construir?
- Esto podría implicar el costo de las piezas mismas, así como el tiempo y la programación para construirlas. ¿Vamos a cerrar una línea de producción para fabricar estas piezas?
- ¿Será importante para nosotros el “lote” (suponiendo que las piezas se fabriquen en lotes)?
- Si es así, considere tomar muestras en varios lotes. Por supuesto, esto afecta el tiempo para producir las piezas de prueba iniciales y el tiempo hasta que tengamos los resultados finales.
- ¿Cuántas muestras podemos probar realmente?
- ¿El laboratorio que analiza las muestras está ocupado con otras cosas? ¿Cuesta dinero enviar las muestras a un laboratorio externo?
- ¿Estamos realmente planeando probar el parámetro correcto, de la manera correcta? En nuestro escenario, queremos aumentar la "fuerza" de nuestras piezas. Hay muchas formas de medir la fuerza (p. ej., pruebas de tracción, ciclismo repetido, pruebas de impacto). O tal vez realmente necesitemos medir el módulo elástico, el durómetro o algún otro parámetro. ¡No se apresure y empiece a medir!
- ¿Podemos siquiera medir la “diferencia importante” que queremos detectar utilizando nuestro equipo de prueba actual?
- Un análisis del sistema de medición ayuda a comprender la variación de su calibre. Cubriré más sobre esto en mi próxima publicación de blog, incluido qué hacer si su medidor no es lo suficientemente bueno.
- ¿Conoce la variación normal de resistencia entre piezas en sus piezas de Control? ¿Espera que las piezas nuevas tengan la misma variación? ¿Se espera que la variación tenga una distribución normal?
- Estas preguntas juegan un papel importante cuando planificamos la prueba y analizamos los resultados.
- Además de mejorar la resistencia promedio de la pieza, ¿es importante para el producto mantener la variación existente entre piezas? ¿Es necesario mejorar también la variación? Por el contrario, ¿se puede ampliar?
- Si mejoramos la resistencia promedio de las piezas pero aumentamos la distribución (variación) de las mismas, ¿realmente produciremos más chatarra?
- Generalmente nos preocupamos por procesos que están fuera de control y/o por fabricar piezas defectuosas. Pero si tenemos un proceso bajo control que produce piezas consistentemente buenas, ¿cuánto estamos gastando para mantener ese control?¿Podríamos tolerar una mayor variación en las piezas del Nuevo Tratamiento y ahorrar algo de dinero en los controles del proceso?
Todas estas consideraciones se combinan a la hora de seleccionar el tamaño de la muestra para nuestra hipótesis. prueba t . (Estoy seguro de que también se le ocurren muchas más consideraciones que deben analizarse antes de planificar la prueba).
Entonces, llamaré a este error: No considerar adecuadamente todos los factores que podrían afectar la planificación de las pruebas.
¿Cuál es la pregunta completa que intentamos responder?
Puede mitigar todas las discusiones y errores anteriores reservando tiempo para "Hacer la pregunta completa". (Aquí necesito agradecer a Bill Kappele , mi mentor y amigo, quien me enseñó este método hace muchos años).
“Hacer la pregunta completa” significa revisar toda la discusión anterior (y en las Partes 1 y 2) y asegurarse de que se haya considerado todo, de modo que estemos midiendo la cantidad correcta, definiendo restricciones en nuestras pruebas, definiendo cuánta diferencia es importante. a nosotros, etc.
En nuestro escenario, digamos que hemos hablado con todas las partes interesadas y partes interesadas, y reescribimos la pregunta de la siguiente manera:
"Con un 95% de confianza, ¿podemos decir que el Tratamiento A mejora la resistencia promedio de la pieza en más de 1 unidad, en comparación con el proceso actual, sin aumentar la variación del proceso?"
Después de esto, enumeraríamos las restricciones. Algunos de estos podrían ser:
- Podemos permitirnos construir y probar un total de 40 piezas (total de todas las piezas del Tratamiento A + Control <=40)
- Podemos ignorar el efecto de Batch.
- Necesitamos la respuesta en un mes (¡tiempo suficiente para completar esta serie de blogs!)
Confirme que hemos formulado la pregunta completa
A lo largo de mi carrera, he visto a ingenieros gastar mucho tiempo y recursos en el laboratorio tratando de llegar al fondo de algún problema, sólo para descubrir que a nadie le importan los resultados. El problema no está en el pensamiento inicial y la planificación de las pruebas. El problema no está en la ejecución de la prueba. El problema es que los ingenieros no se aseguraron de antemano de que se estuviera respondiendo la pregunta correcta/completa.
Does the boss agree with your plan?Does the boss agree with your plan?Does the boss agree with your plan?Does the boss agree with your plan? ¿El jefe está de acuerdo con tu plan?
Entonces, una vez que hayamos hecho toda esta visión de futuro y planificación de pruebas, es una gran idea hacer una última cosa: preguntarle a su gerente si está de acuerdo en que esta es la pregunta que necesita respuesta. De hecho, si la prueba tarda bastante en ejecutarse, es una buena idea consultar periódicamente con la gerencia para asegurarse de que las condiciones no hayan cambiado. ¡Nadie quiere perder el tiempo realizando una prueba inútil!
Subiendo
Estoy planeando tocar todos los siguientes temas a medida que avancemos. Espero que puedas unirte a mí para toda la serie !
- Parte 1: Diseñar un escenario típico
- Parte 2: ¿Qué nos dice realmente la prueba t?
- Parte 3: Otras consideraciones sobre la prueba y hacer la pregunta completa (esta publicación)
- Parte 4: ¿Su medidor es capaz (y qué hacer si no lo es)?
- Parte 5: Planificación y ejecución de la prueba: desde tamaños de muestra hasta mejores prácticas
- Parte 6: Análisis de los resultados (incluyendo basura que entra = basura que sale)
- Parte 7: Resumen
Un muy buen enfoque para hacer la pregunta correcta.
En 1993, Doug Montgomery y yo ideamos simultáneamente una "guía maestra del DOE". Publicó primero (Technometrics, 1993). He estado usando la guía desde entonces. Hace las mismas preguntas que tú.
Tengo una copia en mi sitio web ( http://cawseandeffect.com/doe-master-guide/ ) Siéntete libre de echar un vistazo.
Para nada quisquilloso, @calking !Feliz de tener los comentarios.
Sí, los tamaños de muestra tienen ventajas y desventajas, y usted destaca varios puntos positivos.Y no me estás robando el protagonismo... sólo abriendo el apetito por lo que nos espera en el futuro en cuanto a la selección de tamaños de muestra adecuados.¡Gracias por los pensamientos y aportes!
Hola jerry,
¡Me encanta tu serie! Como alguien que tiene experiencia previa en la industria, me entusiasma ver a alguien que cubra los mismos temas que yo (y que también supere algunos de los mismos errores). ¡No puedo esperar a ver qué sigue!
Tengo un comentario rápido y espero que no sea demasiado quisquilloso :-/. Mencionas que desde una perspectiva estadística/matemática, más muestras siempre son mejores. Ciertamente estaría de acuerdo... hasta cierto punto. Ese punto sería donde empezaría a considerar los rendimientos decrecientes. ¿Cuánta información adicional proporcionan las muestras adicionales para responder mi pregunta? ¿Vale la pena el esfuerzo adicional en tiempo y/o dinero para obtener esos datos adicionales?
Quizás un ejemplo extremo podría ayudar a ilustrar mi punto. Supongamos que le ofrezco la posibilidad de elegir entre toda la población de interés y un subconjunto de esa población. Si lo dejo así, probablemente elegirías a toda la población como una obviedad. Pero, ¿qué pasaría si les dijera (con mi mejor voz de Lawrence Fishburne y gafas de sol geniales) que el subconjunto estaba formado por todos los miembros de la población menos uno? En este punto, la elección probablemente sería más difícil. Podrías empezar a preguntar: "Bueno, ¿cuál es realmente la diferencia entre los dos? ¿Realmente necesito un miembro extra para responder mi pregunta completa?" (que habrá determinado utilizando las preguntas guía de la publicación del blog anterior 
). Tal vez sí, tal vez no. Pero la cuestión es que la elección ya no es tan clara.Me recuerda a un famoso. paradoja de cuando un montón de arena deja de ser montón al ir quitando los granos uno a uno. Si lo piensas de manera inversa, ¿agregar más arena (datos) me proporcionará información valiosa o simplemente me dará un montón un poco más grande que el que ya tengo?
Ahora bien, obviamente, las situaciones de la mayoría de las personas caen en la categoría de tener más datos que claramente significa tener más información. Por lo general, no necesita preocuparse por esto hasta que llegue a situaciones de muestra grandes. Pero yo diría que si alguna vez ha utilizado un cálculo de poder estadístico para ayudar a determinar los tamaños de muestra, implícitamente está utilizando este argumento de rendimiento decreciente. Después de todo, un cálculo de potencia simplemente le indica el tamaño de muestra mínimo requerido para lograr sus objetivos estadísticos (suponiendo que se use correctamente), con la implicación de que los datos adicionales son solo la guinda del pastel.
(Espero no haberme robado nada de tus próximas publicaciones :-/. O he sido demasiado quisquilloso :-/.)
