Autores
William D. Kappele, presidente, Experimentos objetivos
Julie Kidd, ingeniera de materiales, US Synthetic
Heather Schaefer, ingeniera de materiales, US Synthetic
Introducción
A veces te encuentras con un problema interesante en el transcurso de tu trabajo normal. Eso es lo que nos pasó a nosotros. Mientras usábamos un experimento diseñado para formular diamantes sintéticos, tuvimos algunas pruebas para las que no pudimos medir la respuesta: estaban por debajo del límite de detección de nuestro sistema de medición.
Podríamos haber cambiado la configuración de los factores hasta que pudiéramos realizar una medición, pero no queríamos agregar ese gasto si no fuera necesario.
Al principio simplemente asignábamos “cero” a todo lo que no podíamos medir. Estábamos un poco nerviosos por esto; después de todo, le estábamos mintiendo a JMP – ¡algo que no nos gusta hacer!
Es con el deseo de honestidad que comenzó nuestra aventura.
https://www.youtube.com/watch?v=Zf0REURPFU0
La aventura
Dos de nuestras respuestas estuvieron por debajo del límite de detección de nuestro sistema de medición. Todo lo que sabíamos de estas respuestas era que estaban en algún lugar en un rango entre el límite de detección y cero. Los datos que sólo se sabe que se encuentran dentro de un rango se denominan "datos censurados". Sabíamos cómo manejar datos censurados en el Análisis de confiabilidad, pero no sabíamos cómo manejarlos en un experimento diseñado.
Le preguntamos a Bill si sabía qué hacer. Sugirió que usáramos la estimación de máxima verosimilitud, pero no estaba seguro de cómo hacerlo en JMP. Se puso en contacto con Brad Jones (de JMP) y Brad lo condujo a la plataforma Parametric Survival. Si bien no fue diseñado para hacer exactamente lo que necesitábamos, podría usarse para obtener nuestra respuesta.
Queríamos compartir lo que habíamos aprendido (cómo se comparan los diferentes análisis y cómo utilizar JMP para realizarlos), pero nuestro proyecto era propietario. Parecía que nuestro aprendizaje tendría que ser nuestro secreto hasta que a Heather se le ocurrió una gran idea: ¡disfrazar nuestro trabajo como si estuviéramos horneando galletas con chispas de chocolate! Luego, ella y Julie crearon con éxito un conjunto de datos de "cookies" fiel a nuestro trabajo que no revelaría secretos.
Como ocurre con todas las analogías, nuestra analogía con las cookies parecerá un poco artificial. Sin embargo, si tiene paciencia con nosotros, podrá ver el problema al que realmente nos enfrentamos y aprender cómo lidiar con este mismo tipo de problema si surge en su trabajo.
Una analogía simple: hornear galletas
Supongamos que en realidad estuviéramos trabajando en hornear galletas con chispas de chocolate. Nuestro objetivo sería producir la galleta más fina que podamos usando nuestra receta. (¡Te dijimos que podría parecer un poco artificial! Realmente habríamos intentado galletas gruesas). La receta que usamos fue la receta clásica de galletas Nestlé Toll House en la Figura 1.
|
Figura 1: La receta oficial de galletas Toll House, cortesía de Nestlé. |
Agrupamos los ingredientes de forma lógica para crear 5 factores para nuestro experimento. Los factores se enumeran en la Figura 2.
Papas fritas Seco (harina, bicarbonato de sodio, sal) Crema (mantequilla, azúcar, panela, vainilla) Temperatura Tiempo |
Figura 2 – Los factores. |
Estos son los factores y niveles que utilizamos para crear el diseño de nuestro experimento:
Factor | Tipo | Nivel bajo | Nivel alto |
|---|
Papas fritas | Mezcla | 0 | 0,5 |
crema | Mezcla | 0 | 0,5 |
Seco | Mezcla | 0 | 0,8 |
Temperatura | Continuo | 375 | 450 |
Tiempo | Continuo | 5 | 12 |
También teníamos varias limitaciones. En la Figura 4 se muestra una parte del diseño de un experimento con estas restricciones (ver Figura 3).
|
Figura 3: Creación del diseño con restricciones |
|
Figura 4: una parte del diseño de nuestro experimento. |
Luego horneamos galletas….
Usando JMP para analizar los datos
Después de hornear nuestras galletas, necesitábamos medir el grosor. ¿No lo sabrías? No teníamos un muy buen gobernante. Realmente no pudimos medir nada por debajo de 1 mm. Ciertamente podríamos decir que teníamos una galleta delgada, pero no pudimos decir exactamente qué tan delgada. Nuestro límite de detección fue de 1 mm.
Inicialmente, simplemente ingresamos un "cero" para el grosor de las cookies que no podíamos medir: aquellas que estaban por debajo de nuestro límite de detección. Recuerde, sabíamos que teníamos una galleta, por lo que "cero" no podría haber sido correcto, pero pensamos en intentarlo.
Estos datos fueron fáciles de analizar. Simplemente usamos el comando "Ajustar modelo" con la personalidad "Mínimos cuadrados estándar".
Para entender cómo analizamos los datos censurados, necesitamos un poco de historia.
Estimación de máxima verosimilitud
Si bien los mínimos cuadrados son una técnica excelente para ajustar datos a modelos, no es fácil de usar con datos censurados. Otra técnica, la estimación de máxima verosimilitud, es mucho más fácil de utilizar con datos censurados. JMP utiliza la estimación de máxima verosimilitud en varios momentos en el comando "Ajustar modelo" (por ejemplo, si elige la opción "Modelos lineales generalizados"), sin embargo, solo ofrece una opción para datos censurados en la plataforma Parametric Survival.
Necesitábamos "convencer" a JMP para que hiciera lo que queríamos que hiciera.
La plataforma de supervivencia paramétrica
La plataforma “Parametric Survival” de JMP utiliza la estimación de máxima verosimilitud y ofrece la capacidad de analizar datos censurados. Está diseñado para funcionar con respuestas de “Tiempo hasta el fracaso”, no con alturas de cookies, pero resultó fácil solucionarlo. Cuando JMP solicita el "Tiempo hasta el evento", simplemente elija "Altura de la cookie" como en la Figura 5.
Elegir una distribución
La plataforma Parametric Survival requiere que elijas una distribución. La distribución Normal habría sido nuestra primera opción, pero no estaba disponible. Elegimos la distribución logNormal porque tiene una gran capacidad para imitar la distribución Normal. Además, dado que estábamos cerca de la altura cero, una distribución normal podría haber modelado el ruido que permitiría predicciones de altura negativa (algo que nunca quiero en una galleta!). La distribución logNormal evita esta molestia.
Agregar una columna de "censura"
Agregar una columna de censura a la tabla nos permite indicarle a JMP qué ejecuciones contienen datos censurados (datos por debajo del límite de detección). Los tratará de forma diferente al resto de mediciones. (No los tratará como si fueran cero; los tratará de una manera más sofisticada).
Optimización de la receta: mediana frente a media
El Optimizador de la plataforma Parametric Survival trata la "probabilidad de fallo" como un factor. Esto es innecesario para nuestro análisis, entonces, ¿en qué deberíamos fijarlo?
Por lo general, en la metodología de superficie de respuesta, predecimos el valor medio. Dado que esperamos que la distribución logNormal se aproxima a la distribución Normal, la mediana debería estar bastante cerca de la media. Si configuramos la "Probabilidad de falla" en 0,5 deberíamos obtener lo que necesitamos. Figura 6
|
Figura 5 – La plataforma de supervivencia paramétrica |
muestra cómo "bloquear" la "probabilidad de falla" en la mediana.
Tenga en cuenta también que la respuesta siempre estará etiquetada como "Tiempo". Por supuesto, sabes que en realidad es "Cookie Height".
Puede agregar las “Funciones de deseabilidad” y configurarlas como de costumbre. También encontrará el "punto ideal" utilizando "Maximizar la deseabilidad" como de costumbre.
Si desea realizar trazados de contornos, deberá guardar la fórmula de predicción y utilizar el "Perfilador de contornos" en "Gráfico".
|
Figura 6 – El perfilador cuantil |
Resultados
Entonces, ¿qué encontramos?
Primero, desenterramos una regla realmente buena para poder saber el grosor real de las galletas (esto fue bastante difícil y tomó mucho tiempo). Luego pudimos hacer un gráfico real versus previsto (consulte la Figura 7). Esto no contó toda la historia ya que omitió el ruido. Así que también creamos un gráfico de Real versus Residuos (ver Figura 8). Al observar los dos, se puede ver que los resultados fueron similares. Los residuos fueron de tamaño similar con un sesgo diferente.
A continuación predijimos Sweet Spots con ambos modelos. Ambos modelos predijeron esencialmente el mismo punto dulce, difiriendo sólo ligeramente en el tiempo de horneado previsto (ver Figuras 9 y 10). Horneamos 50 galletas para cada Sweet Spot y comparamos los resultados (ver Figura 11).
|
Figura 7 – Curvas reales versus previstas |
|
Figura 8 – Curvas reales versus residuales |
|
Figura 9 – El punto óptimo para el análisis de datos censurados |
|
Figura 10: El punto óptimo para el análisis de datos reducidos a cero |
Los dos Sweet Spots produjeron el mismo grosor de galleta. . Encontramos esencialmente el mismo punto óptimo con ambos modelos, por lo que la técnica de análisis no importó para encontrar un punto óptimo.
Mire más de cerca las Figuras 9, 10 y 11. Aunque predijeron el mismo punto óptimo, la predicción real del modelo censurado fue más precisa. Incluso los límites de confianza para la predicción del modelo censurado estaban más cerca de la realidad. Entonces, si necesita predicciones precisas, el modelo censurado es mejor.
|
Figura 11 – Comparación del punto óptimo |
Realmente tuvimos 2 problemas.
- Teníamos datos censurados.
- Necesitábamos modelar el ruido con una distribución que no predijera Cookie Heights negativos.
El modelo con los datos puestos a cero no abordó ninguno de estos problemas. El modelo que da cuenta de los datos censurados tuvo en cuenta ambos problemas. Una pregunta natural es: "¿Abordar sólo uno de estos problemas produciría resultados tan buenos como el modelo censurado?"
Si bien no tenemos una manera fácil de probar el problema 1 (no tenemos forma en JMP de ver datos censurados con una distribución Normal), podemos analizar el problema 2. No podemos usar fácilmente la plataforma de Modelos Lineales Generalizados ya que no se puede usar con mezclas. Sin embargo, podemos realizar una transformación logarítmica de nuestros datos y analizarlos con mínimos cuadrados estándar. Esto tiene el efecto de tratar los datos como si estuvieran distribuidos normalmente.
Un problema con este enfoque es que poner a cero los datos no funcionará. En cambio, reemplazamos los ceros con el promedio del rango censurado (0,5). Por supuesto que lo estábamos sigue mintiendo a JMP ! También analizamos estos datos. sin la transformación logarítmica para comparar.
Los resultados de este análisis se encuentran en las Figuras 12 y 13. Observe que los puntos óptimos son idénticos al ajuste de mínimos cuadrados estándar para datos distribuidos normalmente que utilizan ceros. Sin embargo, las predicciones de 0,63 con límites de confianza del 95% de 0,53 y 0,76 para la transformación logarítmica y de 0,68 con límites de confianza del 95% de 0,42 y 0,93 para la media del rango censurado, son mucho mejores que la predicción para el análisis de datos puesto a cero. En la Figura 14 se muestra una comparación de los cuatro modelos.
|
Figura 12 – El punto ideal para el análisis de transformación de registros |
|
Figura 13 – El punto óptimo para el análisis de media de rango |
|
Figura 14 – Gráficas reales versus residuales para los tres modelos |
Puede ver que tanto el modelo de datos censurados como el modelo logarítmico transformado predijeron bastante bien: el modelo censurado predijo un poco alto, el modelo logarítmico transformado predijo un poco bajo. Parece que no era necesario utilizar la distribución logNormal.
Resumen
- Asignar “cero” a las respuestas por debajo del límite de detección predijo mal, pero arrojó un punto óptimo viable.
- Asignar la media del rango censurado a respuestas por debajo del límite de detección previsto bien y produjo un punto óptimo viable.Es poco probable que esto funcione en general; parece que esta vez tuvimos suerte.
- Una transformación logarítmica del conjunto de datos en (2) arrojó resultados similares a (2) con una advertencia similar.
- Usando la plataforma Parametric Survival de JMP con datos censurados y una distribución logNormal para modelar el ruido predicho bien y produjo un punto óptimo viable para la mediana . Es probable que esto funcione mejor en general.
Conclusión
En nuestro trabajo nos encontramos con dos problemas:
- Datos censurados
- Necesitábamos modelar el ruido de manera que se evitaran valores negativos (al menos en el extremo inferior).
Con nuestros datos pudimos resolver estos problemas de dos maneras:
- Analiza con datos censurados y una distribución logNormal utilizando la Plataforma Paramétrica de Supervivencia.
- Analice la transformación logarítmica de los datos con los valores censurados reemplazados por la media del rango utilizando mínimos cuadrados estándar.
Al final resultó que, la distribución Normal funcionó bien aquí: no se predijeron alturas de cookies negativas.
Ambos métodos predijeron mejor que simplemente poner a cero los datos por debajo del límite de detección. Ambos métodos encontraron esencialmente el mismo punto ideal.
Entonces, ¿qué hicimos? en realidad ¿aprender?
- Asignar ceros a valores desconocidos funcionó bastante bien. Probablemente esto se debió a la buena suerte. No esperaríamos que esto funcionara para todos los conjuntos de datos.
- Asignar la media del rango censurado funcionó mejor, pero probablemente también fue buena suerte. No esperaríamos que ésta fuera una buena estrategia en general.
- La plataforma Parametric Survival de JMP nos permitió analizar los datos como censurados, aunque en este caso no arrojó mejores resultados que la media del rango censurado. A pesar de ello, es probable que ésta sea la mejor estrategia en el futuro. Si bien (1) y (2) son simplemente conjeturas, la estimación de máxima verosimilitud detrás de la Plataforma Paramétrica de Supervivencia está bien establecida.
- Tanto la distribución Normal como la logNormal funcionaron bien para nosotros.
Y ahora hemos compartido nuestra aventura (y nuestro aprendizaje) contigo. ¡Ahora es el momento de las galletas!
¿Buscando por mas?
Aquí hay algunas referencias interesantes para más información:
Russell B. Millar, Estimación e inferencia de máxima verosimilitud: con ejemplos en R, SAS y ADMB , J. Wiley e hijos, 2011, ISBN 978-0470094822 .
http://ussynthetic.com/ (para obtener información sobre sintéticos estadounidenses)
http://www.ObjectiveExperiments.com (para información sobre capacitación y talleres)
http://www.jmp.com/ (para obtener información sobre el software JMP)
http://en.wikipedia.org/wiki/Censoring_(estadísticas) (para una buena explicación de la censura)
http://mathworld.wolfram.com/MaximumLikelihood.html (para una breve explicación de la estimación de máxima verosimilitud)
http://en.wikipedia.org/wiki/Chocolate_chip_cookie (para conocer la historia de la galleta con chispas de chocolate)
Sobre los autores
Julie Kidd es ingeniera de materiales en US Synthetic. Sus especialidades son sistemas cerámicos y compuestos, y caracterización de materiales, incluida metalurgia forense y análisis de fallas.
Heather Schaefer es ingeniera de materiales en US Synthetic.Su Las especialidades son materiales energéticos fundidos y prensados con énfasis en el desarrollo de bengalas de señuelos infrarrojos.
Actualmente, juntos están desarrollando diamantes sintéticos mejorados para la industria del petróleo y el gas.
Bill Kappele es Presidente de Ob Experimentos objetivos. Es responsable de la impartición y el desarrollo del curso.julia y Brezo Aprendió Diseño de Experimentos de Bill.
