Bien, hablemos sobre el diseño y análisis de experimentos cuando tenemos una respuesta de aprobado/reprobado. Voy a hablar sobre las respuestas de aprobado/reprobado a lo largo de esta sesión. Sin embargo, esto se aplicará realmente a cualquier caso en el que estemos tratando con una respuesta que tenga dos categorías, que sea binaria, que pueda ser una de las dos categorías o la otra. Son mutuamente excluyentes y exhaustivas. Aprobado/reprobado, pasa/no pasa, sí/no, siempre que esa respuesta tenga dos categorías mutuamente excluyentes y exhaustivas. Dividiremos la sesión en cuatro partes diferentes. Comenzaremos con un ejemplo. Tal vez, con suerte, le resulte familiar.
Con suerte, será algo que quizás hayas visto en el pasado en términos de cómo lidiar con un experimento con respuestas fallidas anteriores. Analizaremos un poco las cosas que pueden salir mal. Después de eso, vamos a hablar sobre el modelo porque todo depende de las suposiciones subyacentes que hago sobre el modelo y hacia dónde conduce eso la dirección en términos del análisis que elijo y en términos del tamaño del experimento. Una vez que terminemos con las diapositivas de PowerPoint, veremos cómo analizaría los datos experimentales, los datos de ejemplo que voy a presentar.
Hablaremos de algunas de las opciones disponibles tanto en JMP como en JMP Pro. Por último, terminaremos con la cuestión de cómo dimensionar un experimento. Resulta que, en el caso de los experimentos de aprobación o reprobación, lo que importa no son las ejecuciones experimentales, sino la cantidad de ejecuciones experimentales, la cantidad de ensayos por condiciones experimentales. Hablaremos de cómo configuramos en JMP Pro, cómo configuramos la simulación que nos permitirá determinar si esta cantidad de ensayos es lo suficientemente buena. Hablemos de nuestro ejemplo: estamos creando widgets. Tenemos un proceso en el que no estamos particularmente satisfechos con la tasa de fallos.
Identificamos cuatro factores diferentes que creemos que nos ayudarán a mejorar nuestra tasa de fallas para estos widgets. Tenemos un aditivo, tenemos un paso de compresión, donde hay tres factores que vamos a variar. Tenemos la temperatura, la presión y el tiempo de retención que vamos a variar. La pregunta es, ¿el widget tiene un defecto? Procesamos el widget. Sí, tiene un defecto, no, no tiene un defecto. Si tiene un defecto, lo llamamos un fracaso. La tasa de defectos actual es del 15%, y vamos a utilizar eso al final para dimensionar nuestro experimento.
Nuestro objetivo es reducir la tasa de fallos al cinco por ciento. Sin embargo, nos alegraríamos si pudiéramos identificar una diferencia de entre el tres y el cinco por ciento. Si pudiéramos detectar que nuestra tasa de defectos baja, digamos, al diez por ciento, entonces estaríamos contentos. Nos gustaría poder detectar eso. La otra cosa que quiero saber es que cada ejecución lleva unos diez minutos. No tengo límite en cuanto a tantas ejecuciones como quiera. Puedo hacer unas seis ejecuciones por hora.
Bien, digamos que ponemos este factor en JMP. Abrimos un diseñador personalizado. Decidimos que queremos un diseño de superficie de respuesta. Vamos a añadir tres puntos centrales y este es el diseño que se nos ocurre. Hasta aquí todo bien. Tomamos el diseño, se lo enviamos al operador que va a ejecutar el experimento y nos devuelve esto. Tenemos 24 ejecuciones, aproximadamente 4 horas para ejecutar este experimento. Nos dicen que esos unos y ceros representan una observación con un defecto o una observación sin un defecto. Ahora, voy a analizar los datos y los pongo en JMP.
Ahora, sé que esos unos y ceros no son datos continuos. En realidad, son datos categóricos. Son datos binarios. Los trataré como tales. Tal vez sé lo suficiente como para saber que lo que estoy tratando se llama regresión logística. El modelo, debido a que he diseñado este experimento en JMP, el modelo de superficie de respuesta aparece en mi cuadro de diálogo de construcción de modelos. Voy a ajustar el análisis y, de inmediato, debería preocuparme. Con respecto a esas estimaciones de parámetros, recibo este mensaje que dice que esas estimaciones de parámetros son inestables.
Digamos que hablo de esto con alguien que sabe un poco más sobre este tipo de experimentos y me dice que el problema es que solo se hizo un ensayo para un conjunto de condiciones de tratamiento. Realmente se necesita hacer más de uno para poder obtener una buena estimación. Digamos que vuelvo y hablo de esto con el operador porque no le gusta la idea de aumentar el tamaño de mi experimento de un ensayo a cinco ensayos. Ahora tengo un experimento que durará aproximadamente 20 horas, pero lo convencí de que realmente necesitamos hacerlo y decidí volver a ejecutar el experimento en el que ahora tengo cinco ensayos para cada conjunto de condiciones experimentales.
Recupero mis datos. Tengo dos columnas nuevas que llegaron con mi experimento. Tengo la columna Y5 que corresponde al número de veces que se observó un fallo. Tengo la columna con la N que corresponde al número de ensayos, para un conjunto de condiciones experimentales. Ahora, esta vez, en lugar de trabajar con los datos de recuento, creo que tal vez lo que haré es dividir el número de ensayos fallidos, dividido por el número total de ensayos, y trataré eso como datos continuos. Aquí tengo la proporción de fallos para un conjunto dado de condiciones experimentales.
Voy a tratar eso como datos continuos. Me siento más cómodo porque estoy más familiarizado con el modelado de datos de esta manera. El mismo modelo que vimos la última vez, sin embargo, en lugar de usar regresión logística, simplemente usaré cuadrados de arrendamiento estándar. Muy bien, hasta ahora todo bien. Utilizo mi técnica de modelado favorita, tal vez use mi técnica de reducción de modelo favorita y luego obtengo este modelo final. Nuevamente, hasta ahora todo bien. Lo siguiente que quiero hacer es optimizar.
Quiero saber qué condiciones van a reducir esa tasa de error lo máximo posible. Utilizo el optimizador dentro del generador de perfiles y me dice que establezca el tiempo total en 45 segundos, que establezca la temperatura en 45 grados C y que eso me debería dar una tasa de error prevista por debajo de cero. Tal vez esté dispuesto a descartar esto porque es lo suficientemente cercano a cero como para decir, bueno, tal vez esté muy cerca de cero, no está por debajo de cero. Pero sé que técnicamente esto no es posible. No puedo tener tasas de error por debajo de cero. Aunque podría seguir con esto, podría decirme a mí mismo, bueno, ¿qué tan precisa es esa estimación?
¿Qué tan cerca estoy realmente de cero? ¿He construido un mal modelo? Todo vuelve al modelo que he... Las suposiciones que he hecho, cuando trato los datos como continuos y las suposiciones que probablemente debería estar haciendo cuando tengo datos de aprobado/reprobado. Este es nuestro modelo típico. En el lado izquierdo tenemos nuestras respuestas, nuestras observaciones. En nuestro caso, es la probabilidad de un fracaso. Lo siento, en el lado izquierdo tenemos la probabilidad de un fracaso.
En el lado derecho, tenemos nuestros modelos lineales, lo que estamos intentando, la relación que estamos tratando de construir entre nuestras entradas y nuestras salidas. Esto es lo que generalmente consideramos. Las suposiciones típicas en este caso son que esa relación es lineal, que mi rango de respuesta es ilimitado y que mis residuos son normales. Mis residuos son, ajusto un modelo a los datos, lo que quede, esos son mis residuos. Supongo que están distribuidos normalmente, lo que significa que son simétricos alrededor de cero, y tienen todas estas buenas propiedades. Esa es una parte del problema.
Si estamos tratando con probabilidades, nuestra respuesta realmente se parece a esto, donde tengo algo que creo que es más una forma de S que una relación lineal. Esa relación lineal realmente no se cumple. El rango de respuesta ilimitado tampoco se cumple porque sé que, como estoy tratando con probabilidades, no puedo tener nada por debajo de cero, no puedo tener nada por encima de uno. Incluso el punto final, la suposición de errores normales, no funciona. Si lo piensas, a medida que me acerco cada vez más a cero, cuando mis valores predichos se acercan cada vez más a cero, mi residuo tendrá cada vez menos espacio para operar. Que entre mi valor ajustado y cero, comienza a reducirse.
No puedo tener errores simétricos cercanos a cero. Del mismo modo, no puedo tener errores simétricos a medida que me acerco cada vez más a uno. Algo tiene que ceder en este caso. Ahora, espero que haya una solución a este problema que sea simple. Una transformación simple, probablemente. Con suerte, y tal vez el uso de una distribución diferente. ¿Podemos hacer esto en JMP? La respuesta es que tenemos tres opciones diferentes. La primera opción, que ya hemos visto en el ejemplo, es la regresión logística. Es decir, usar la transformación Logit en los datos.
En este caso, no estamos considerando las probabilidades como una respuesta, estamos considerando la relación entre nuestros dos niveles de respuesta diferentes. La probabilidad de un fracaso dividida por la probabilidad de un pase, y tomamos el logaritmo de eso. Tomamos ese logaritmo para hacer que la relación sea lineal. Otra forma de ver esto es que, dado que solo tenemos dos niveles diferentes, podría ser la relación entre la probabilidad del fracaso dividida por 1 menos la probabilidad del fracaso. Ahora bien, si alguna vez ha utilizado este tipo de modelos y ha escuchado el término probabilidades y probabilidades logarítmicas, esta es exactamente la definición.
Esa primera parte de la ecuación es la definición de lo que son las probabilidades. Es la relación entre un nivel y la relación entre el otro nivel. Esas son mis probabilidades y luego simplemente tomo el logaritmo de eso. Esa es una opción. Otra opción es usar lo que se llama análisis de sucesiones. Con el análisis de sucesiones, simplemente estoy usando una transformación diferente. En este caso, estoy usando la inversa de la distribución normal. O si alguna vez construí esto en el editor de fórmulas o usando JSL, esa es simplemente la función de cuantil normal.
Ahora bien, existe una tercera opción que es posible en JMP. Requiere un poco de trabajo y no vamos a entrar en muchos detalles en términos de su uso, pero quiero presentarla porque se ve mucho en la literatura, y es la función Log complementaria. Ahora bien, no está disponible directamente en JMP. Necesitamos usar algo como la plataforma no lineal para construirla nosotros mismos. Se puede aproximar con una distribución llamada la Distribución de Valor Extremo Más Pequeño, pero tendremos que dejar eso para otro día. En realidad, nos vamos a centrar en lo que está disponible de fábrica en JMP.
Ahora bien, hay una segunda suposición importante que debemos hacer aquí, y es que, incluso dada la transformación que elijamos, ya sea Logit o Probit, vamos a suponer que el error es como una distribución binomial, porque tiene dos partes. No solo estoy haciendo la transformación, sino que también estoy suponiendo una distribución diferente. Como mencioné, las dos primeras están disponibles directamente en las plataformas de JMP, por lo que son fáciles. Nos centraremos en ellas. La última se puede modelar utilizando la plataforma no lineal. Lo bueno es que todo está disponible desde la plataforma de modelos de ajuste. Tengo tres opciones diferentes dentro de JMP.
Puedo usar la regresión logística, que, nuevamente, hemos visto en el ejemplo. Hay una opción llamada modelo lineal generalizado, y hay una fuerte relación entre la regresión logística nominal y la lineal generalizada. Luego, para los usuarios de JMP Pro, tenemos la regresión generalizada, que también me brinda muchas otras opciones. Ahora, hay otra plataforma donde puede hacer una regresión logística simple que se ajusta a Y por X. Pero, como estamos tratando con una condición experimental y generalmente tenemos más de un factor, no voy a hablar de eso. Pero para la regresión logística simple, ajustar Y por X también funciona.
Antes de analizar cómo implemento esto en JMP, debemos hablar sobre la organización de los datos, porque ¿cómo organizamos los datos? ¿Cuáles son los datos que sabemos cómo organizar? Es fácil configurarlo en el cuadro de diálogo de ajuste del modelo. Permítanme darles un ejemplo rápido y simple. Supongamos que tenemos un experimento de dos factores, tiempo y temperatura. Hemos realizado un factorial completo, por lo que tenemos todas las combinaciones posibles de tiempo y temperatura. Supongamos que planeamos hacer cinco ensayos por tratamiento experimental.
Por tratamiento, me refiero a la fila, nuestro conjunto único de combinaciones, nuestra fila en esta tabla de datos. Tengo tres formas diferentes de configurar los datos. La primera forma en que podría configurar los datos es simplemente como datos sin procesar. Cada fila en mi tabla de datos corresponde a un ensayo. Notarás que la primera fila en los datos sin procesar es una combinación de tratamiento, con un tiempo y una temperatura determinados. En este caso, mi respuesta binaria es si mi respuesta es verde o roja. Esa primera respuesta fue verde. La segunda fila es la combinación de tratamiento uno nuevamente, y esa respuesta fue roja y así sucesivamente.
Ese es el formato sin procesar. Los tres enfoques pueden utilizar el formato sin procesar. Ahora, puedo resumir. A veces tiene más sentido resumir los datos. Cuando resumo los datos, estoy resumiendo tanto la condición de tratamiento como el nivel de respuesta. Notarás que, para la primera fila, en la pila resumida, tengo la condición de tratamiento uno, tengo todos los verdes y tengo dos casos en los que vi verde. La segunda fila es mi segunda combinación de tratamiento, tres observaciones de verde, y así sucesivamente. Lo que acabo de agregar, sobre mi combinación de tratamiento y mis niveles de respuesta.
Bien, los tres enfoques pueden utilizar ese formato de pila resumida. La tercera organización, y probablemente la más natural para mucha gente porque se parece mucho a la organización que yo utilizaría para un modelo lineal, es el formato de división resumida. En este caso, he agregado, de nuevo, sobre la combinación de tratamientos, pero solo para uno de mis niveles de tratamiento. Notarás que en este caso, he contado la cantidad de veces que vi una observación verde para cada ensayo, y también he contado la cantidad de ensayos. Si tuviera que, digamos, crear un DOE utilizando el diseñador personalizado, este es el formato que esperaría utilizar, si estuviera ingresando datos.
Si quisiera utilizar el formato de pila resumida, tendría que duplicar estas ejecuciones. Tendría una para mi verde, una para mi rojo y simplemente reorganizaría las cosas de manera un poco diferente. Ahora bien, la regresión logística no puede utilizar este formato. Tengo que utilizar uno de los otros dos formatos. Los modelos lineales generalizados y la regresión generalizada pueden utilizar este formato. Algo que hay que tener en cuenta si planeas utilizar la regresión logística. Bien, déjame hacer esto. Ya basta de PowerPoint. Permíteme pasar a JMP y hablemos de cómo habría analizado cada uno de esos ejemplos, con los datos experimentales que vimos.
Bien, hagamos una regresión logística. Comenzaremos con el primer ejemplo, la regresión logística. También observo que tengo mi pila resumida, tengo un formato aquí. Tengo una columna que tiene mis aprobados y mis reprobados, el recuento. Estos son datos agregados. Tengo el recuento también en otra columna. Muy bien, bastante sencillo. Todo lo que vamos a hablar va a estar bajo el modelo de ajuste. Debido a que diseñé esto en JMP, viene junto con mi modelo.
Este es mi modelo de superficie de respuesta donde diseñé el experimento. Ya está precargado mi cuadro de diálogo aquí. Pero todo lo que quiero señalar es que aquí tengo mi respuesta, en este caso nominal. Eso es aprobado/reprobado. También necesito esos recuentos allí porque he agregado mis datos. Voy a elegir mi nivel objetivo, y esto realmente depende de la orientación en la que quiero ver mi resultado, si quiero hacer cosas desde la orientación de aprobado o la orientación de reprobado. Déjame configurar esto. Volvamos a ponerlo en aprobado. Ahora, tengo un par de opciones diferentes aquí.
Ambos son regresiones logísticas. Tengo una regresión logística nominal. Si sé un poco sobre regresión por pasos, también puedo realizar una regresión por pasos en mi modelo Logit, en mi modelo de regresión logística. Esa también es una opción. Muy bien, sigamos con la regresión logística nominal original. Voy a ejecutar mi modelo. Nuevamente, voy a utilizar alguna técnica de reducción de datos o alguna técnica de reducción de modelo. Podría simplemente entrar allí y eliminar manualmente elementos del modelo, etc. O podría haber utilizado una regresión por pasos para esto.
En realidad, no es importante porque tengo el modelo correcto para empezar. Permítanme eliminar un término más de mi modelo. Ahí lo tenemos. Digamos que este es nuestro modelo final, estamos contentos con este modelo. Vayamos a nuestro generador de perfiles. Permítanme desplazarme hacia abajo hasta el generador de perfiles, hacerlo un poco más grande, para que podamos ver mejor. Ahora, uno de los beneficios de usar este modelo es que mi perfil, mis aprobados y reprobados, estoy acotado, pero tenemos que tener probabilidades entre cero y uno. Permítanme activar mis funciones de deseabilidad. Ahora, esto se verá un poco diferente porque realmente está dividido en dos grupos.
Tengo la proporción de pases que quiero alcanzar y la proporción de fallos. Simplemente voy a reducir esos fallos a cero porque no quiero optimizar para ningún fallo en absoluto. Aumentaré mi deseabilidad en mis pases y, sigamos adelante y maximicemos mi deseabilidad. Me dice, nuevamente, todo el tiempo en temperatura. Sin embargo, obtengo una mejor estimación de cuál es esa tasa de fallos prevista o la tasa de aprobados prevista en este caso. Esto me dice que debería tener aproximadamente, con esos ajustes, una tasa de aprobados de aproximadamente el 96 %, por lo que aproximadamente una tasa de fallos del cuatro por ciento.
Ciertamente no por debajo de cero y un poco más lejos de cero de lo que podría haber esperado. Bien, pasemos a nuestros modelos lineales generalizados y vamos a utilizar el formato de división resumida. Nuevamente, esto es algo que si usó modelos lineales antes de esto, este formato debería resultarle familiar. Tengo estas probablemente sean las observaciones que surgieron de mi experimento de diseño. He contado la cantidad de observaciones en uno de mis niveles y, en este caso, he contado la cantidad de elementos que fallaron y luego tengo la cantidad total de ensayos.
Muy bien, de nuevo, voy a ir al cuadro de diálogo Ajustar modelo. Está configurado de forma un poco diferente. Para esta organización en particular, tengo dos variables continuas. La primera tiene que ser el recuento de mi nivel individual y la segunda tiene que ser mi recuento total. Ya he elegido el modelo lineal generalizado de forma predeterminada. Elegí mi distribución. En este caso, está predeterminada en Binomial. Aquí es donde tengo la opción de buscar Logit o Probit. Tenemos ligeras diferencias en términos de probabilidades. Sigamos con Logit. Ahora, de forma predeterminada, Logit y la regresión logística me darán los mismos resultados.
Lo que hace que los modelos lineales generalizados sean un pequeño beneficio es que tengo la capacidad de relajar algunos de los supuestos que vimos antes. Uno de esos supuestos es que el término de error sigue una distribución binomial. Con los errores binomiales, son fijos, son los mismos independientemente de cuál sea esa probabilidad. Activar mi sobredispersión dice, bueno, la variabilidad es un poco mayor de lo que esperaba que fuera, o el error podría ser un poco mayor de lo que esperaba que fuera. Relaja un poco ese supuesto de errores binomiales.
También puedo ajustar mis estimaciones para detectar posibles sesgos. Simplemente voy a activar mi sobredispersión. Nuevamente, voy a ejecutar mi modelo. Ahora bien, una de las desventajas de este enfoque es que no tienes la capacidad de realizar el cálculo por pasos. Debes ingresar y hacerlo manualmente o tener un modelo asumido antes de decidir con qué modelo final quieres trabajar. Nuevamente, simplemente voy a hacer esto manualmente. Voy a pensar en mis tres factores importantes. Notarás que si comparas esto con la regresión logística, debido a que tenía activada esa sobredispersión, mi variabilidad en realidad es un poco mayor de lo que se estimó.
Mi valor P es un poco más alto. Aquí necesito preguntarme, bueno, ¿realmente quiero creer que, aunque estos no sean significativos, no vale la pena mantenerlos en el modelo, etc.? Pero lo bueno es que tengo la opción de poder relajar ese supuesto particular en el modelo. Nuevamente, si quiero activar mi generador de perfiles y hacer mi optimización, eso también está disponible. Tengo las mismas buenas habilidades. En este caso, una organización un poco diferente porque no estoy modelando fallas pasadas, estoy modelando probabilidad. Es el generador de perfiles al que estamos más acostumbrados a ver. Obviamente, en este caso, no quiero optimizar esto porque estaría maximizando mis fallas. Voy a minimizar eso. Sigamos adelante y optimicemos eso.
Nuevamente, me indica el tiempo total, 45 segundos, la temperatura, 45 segundos. Me dará una estimación ligeramente diferente, aunque son muy parecidas. Nuevamente, lo bueno es que estoy limitado aquí. No importa a dónde vaya ese control deslizante, estoy limitado entre cero y uno con esas probabilidades. Muy bien, para el ejemplo final, hablemos de la regresión generalizada. Ahora bien, esta es una característica exclusiva de JMP Pro. Me brinda un par de opciones adicionales. Obtengo el mismo lugar para comenzar, ajustar el modelo, la misma configuración porque tengo mis datos divididos resumidos.
Sin embargo, voy a elegir la regresión generalizada. Ahora, voy a elegir una distribución diferente. En este caso, sé cuál es mi respuesta porque está configurada con dos variables diferentes aquí. Tengo una respuesta binomial, o puedo elegir beta-binomial. Beta-binomial es una técnica análoga a usar esa opción de sobredispersión en mi modelo lineal generalizado. Esto me permite tener en cuenta una varianza que cambia en función de dónde está la probabilidad. En este caso, nos quedaremos con la opción predeterminada. Sigamos adelante y ejecutemos el modelo.
Si ya ha utilizado la regresión generalizada antes, sabrá que todas las técnicas de reducción de modelos están disponibles en esta plataforma. Lo que probablemente haría en este caso es utilizar una de estas técnicas. Permítanme asegurarme de que tengo mi... Voy a aplicar la herencia. Utilicemos la regresión progresiva por pasos. Tengo un montón de opciones diferentes aquí. Si nunca ha visto una regresión generalizada antes, tengo un montón de opciones diferentes en términos de mis técnicas de reducción de modelos. Utilizaré la regresión progresiva por pasos, que es la predeterminada para la regresión progresiva. Haga clic en Ir y aquí está mi modelo final.
Nuevamente, muy consistente. Los tres modelos me están mostrando resultados muy consistentes. Las estimaciones de los parámetros van a ser ligeramente diferentes. Las probabilidades van a ser ligeramente diferentes. Bien, entonces ahora la pregunta es, ¿he realizado suficientes ensayos para poder hacer que este experimento realmente valga la pena? Eso nos lleva a cómo dimensionar correctamente mi experimento. Permítanme volver a mi presentación de PowerPoint para un par de diapositivas breves sobre cómo configurar el experimento.
La forma en que vamos a hacer esto, la forma en que vamos a dimensionar el experimento y, por cierto, esta es una característica que solo está disponible de fábrica en JMP Pro. Para aquellos usuarios que no sean de JMP Pro, es posible que puedan escribir un script JSL para esto, pero sería muy complicado. JMP Pro hace que esto sea extremadamente fácil en términos de configuración. Vamos a comenzar con el diseñador personalizado. Lo que vamos a hacer es construir nuestro diseño previsto utilizando el diseñador personalizado. Antes de generar esa tabla final que vemos, vamos a activar la simulación de respuestas.
Eso estará en el punto de acceso en la esquina superior izquierda. Una vez que creamos la tabla de datos, obtendremos un cuadro de diálogo donde podemos cambiar los coeficientes. Entonces, en la siguiente diapositiva, hablaré un poco sobre cómo establecemos cuáles son esos coeficientes. Vamos a cambiar esos coeficientes. Los cambiaremos a nuestra magnitud deseada. Nuevamente, entraré en un poco más de detalle en la siguiente diapositiva. Una vez que cambiemos los coeficientes, estableceremos el error como binomial y seleccionaremos el tamaño de la muestra, la cantidad de ensayos que queremos ver y luego simplemente haremos clic en Aplicar.
Lo que me da la opción de simular respuesta, porque elegí errores binomiales, me dará dos columnas, una columna con el número de ensayos simulados, éxitos de ensayos y la otra con el número total de ensayos. Eso es lo que vamos a usar para hacer nuestra simulación general. Hablemos de cómo establecemos estos coeficientes porque este es un paso crucial en términos de dimensionar el experimento. La forma en que establezcamos estos coeficientes dependerá del modelo subyacente. Es decir, si elijo un modelo Logit o Probit.
En mi ejemplo, utilizaremos los datos que ya hemos visto, el ejemplo que hemos visto con el modelo Logit. Eso determinará cómo establecemos esos valores, la probabilidad de referencia. Si recuerdan nuestro ejemplo, dijimos que, en la línea de base, tenemos una tasa de fallas de alrededor del 15 %. Esa será nuestra línea de base. Luego, tenemos que preguntarnos, ¿con qué probabilidad querré poder ver una diferencia? Nuevamente, recuerden, dijimos que si pudiéramos ver un cambio del 10 %, entonces estaríamos contentos. Entonces, ese es el tamaño que queremos en nuestro experimento, esta capacidad de ver un cambio que pase del 15 % al 10 % de mejora.
Lo que vamos a hacer es utilizar la transformación que vimos para calcular los valores de nuestra línea base, en nuestro 10 %, en la probabilidad que queremos detectar. Vamos a tomar la diferencia de esos dos valores y la vamos a utilizar como nuestro coeficiente. Si estamos utilizando esta línea base de Logit, es solo ese 15 % dividido por 1 menos el 15 %. Nuestra línea base es -1,73. Si nos interesa ver un cambio en la tasa de fallas del 10 %, nuevamente, simplemente lo voy a introducir en la ecuación. Es 0,1 dividido por 1 menos 0,1. Eso me da un -2,2. Eso hace que el coeficiente sea solo la diferencia entre esos dos valores. Voy a utilizar aproximadamente 0,5 como mis coeficientes.
Basta de PowerPoint. Veamos cómo se hace eso en la práctica. Tengo mi experimento, mis factores experimentales. Simplemente voy a utilizar el diseñador personalizado. Déjame continuar y cargar mis factores allí. Voy a crear el diseño que quiero. Si recuerdas, dije, bueno, tengo un diseño de superficie de respuesta. Agreguemos tres puntos centrales allí. Hagámoslo en 24 ejecuciones, digamos. Simplemente haré clic en Crear diseño, dejaré que se ejecute y determinaré el mejor diseño a partir del algoritmo. Antes de generar esa última tabla, iré al punto de acceso y diré Simular respuestas. Ahora, voy a crear mi tabla. Esa tabla me da mi diseño y voy a cambiar mis coeficientes a los valores que calculé.
Permítanme continuar y restablecerlos. Dije que mi intersección era -1,73. Voy a establecer cada uno de mis coeficientes en 0,5. Permítanme copiar esto para poder pegarlos. Finalmente, voy a establecer mi distribución, mi distribución de error en Binomial. Ahora, voy a hacer clic en el botón Aplicar. Quiero que estén atentos a esa tabla. Lo que eso hará es generar esas dos columnas que voy a usar para mi análisis. Permítanme retroceder un segundo. Quería establecer mi tamaño de muestra. No puedo olvidarme de hacerlo. Si recuerdan, en el experimento original, tenía cinco ejecuciones. Esa misma segunda vez que ejecuté el experimento. Voy a volver a aplicar eso. Ahora tengo las ecuaciones correctas allí.
Estas son las columnas que voy a utilizar para el análisis inicial y para hacer la simulación. Ahora bien, si quisiera, podría firmar estos efectos. Por firmar, me refiero a hacerlos negativos o positivos, dependiendo de la relación que espere ver. Por una cuestión de tiempo, no he hablado de eso. Tengo una diapositiva que explica cómo podría analizar estos diferentes efectos y decir, bueno, ¿debería ser positivo o negativo? Eso también se puede hacer. Ciertamente, afectará los resultados en menor medida que la magnitud real de los tamaños de los efectos. Pero en la medida en que con la mayoría de los diseños, a menos que sean completamente ortogonales, existe una correlación en esos efectos, y si un efecto es positivo o negativo puede tener cierta influencia sobre mis valores de potencia.
Ahora que terminé, ahora que realmente generé mi diseño inicial, voy a entrar en mi modelo de ajuste. Voy a analizar el diseño. Tengo que asegurarme de poner mis simulaciones y pruebas. Normalmente, con esta situación particular, usaré la regresión generalizada y, nuevamente, usaré Binomial debido a todas esas opciones en términos de reducción del modelo. Lo bueno es que con la simulación, todas esas opciones se trasladan. No tengo que preocuparme por escribir ningún script para poder hacer eso. Sigamos adelante y ejecútelo. Nuevamente, voy a usar la selección hacia adelante. Simplemente haré clic en Ir. Permítanme desplazarme hacia abajo hasta mi modelo de selección hacia adelante. Está aquí.
Ahora que tengo mi única observación, lo que puedo hacer es hacer clic derecho. Normalmente, paso el cursor sobre uno de los valores de probabilidad. Haré clic derecho y, en la parte inferior, hay una opción Simular. Tengo que asegurarme de que esa columna de fórmula con el número simulado de éxitos esté seleccionada en ambos, y de forma predeterminada, debería estarlo. Especificaré el número de ensayos de muestra que quiero hacer. Ahora, una vez que haga clic en Ir, lo que sucederá es que en cada iteración de la simulación, se volverá a calcular esa columna de fórmula y me dará un nuevo conjunto de número de ensayos dado mi modelo subyacente.
Voy a hacer eso para 2500 ejecuciones y luego voy a agregar esos datos en un buen informe. Ahora, en lugar de perder tiempo y ver cómo se ejecuta, es rápido. Por lo general, solo toma alrededor de medio minuto, tal vez un minuto. De hecho, he ejecutado resultados y así es como se ven. Aquí tengo mis 2500 ejecuciones, menos esa primera ejecución inicial. De hecho, he agregado algunas funciones adicionales aquí, fórmulas aquí, que estaré encantado de compartir. Pero estos son los dos scripts que se agregan cuando se genera este informe. El análisis de potencia es solo un subconjunto de la distribución. Echemos un vistazo al análisis de potencia.
Lo que esto hace es darme un montón de datos en términos de, para todas esas ejecuciones, ¿cuál es la distribución de esos valores P? Si recuerdas el modelo subyacente en este caso, todo era significativo. Lo que esto me dice es que esta es la distribución de mis valores P que vi a través de mi simulación, que mi valor predicho es de aproximadamente 1 de cada 10 000, así que eso es bueno. Obtengo un cálculo de mi intervalo de confianza en torno a mi valor P predicho. En realidad, no creo que sea un intervalo de confianza, ya que estamos haciendo un enfoque bayesiano.
Este es más bien un intervalo creíble. Tal vez sea un intervalo de confianza. Pero va a limitar el valor de probabilidad. Pero un dato interesante e importante es la cantidad de veces que he rechazado mi hipótesis nula, en este caso. Esto me indica que si eligiera un nivel alfa de 0,01, habría rechazado esa hipótesis nula aproximadamente la mitad de las veces, aunque sé que, de hecho, la modelo como un efecto real. Si voy a 0,05, la he rechazado aproximadamente tres cuartas partes de las veces, y así sucesivamente.
Esta es la información que utilizo para plantearme la pregunta: ¿he dimensionado correctamente mi experimento? ¿Podré detectar mis efectos principales, mis efectos principales y las interacciones de dos factores, cualquier otro efecto en mi modelo, una cantidad suficiente de veces, una proporción suficiente de veces para que me sienta satisfecho con la cantidad de ejecuciones que he elegido? Lo que a menudo me he encontrado haciendo en estos casos, por lo que no solo confío en algunos de los informes integrados, sino que lo que haré será contar, por ejemplo, la cantidad de efectos significativos correctos.
Introduciré un valor de corte y calcularé la cantidad de respuestas correctas. Nuevamente, todo esto se incluirá junto con el material, con un poco de explicación y las fórmulas de cómo construiría todos estos modelos. Nuevamente, realmente necesito usar mi propia definición de riesgo para determinar si he capturado una cantidad suficiente de esos efectos significativos para que valga la pena realizar ese experimento durante 5, 10 o 20 ejecuciones, etc. Muy bien, esto concluye lo que quería mostrarles en JMP. Volvamos a nuestro resumen.
En resumen, cuando estoy modelando estos datos, voy a utilizar la plataforma Fit Model, independientemente de cuál de las técnicas utilice. Tengo regresión logística, en cuyo caso podría utilizar regresión logística o regresión por pasos con regresión logística en segundo plano. Tengo modelos lineales generalizados, que por defecto me darán el mismo resultado que la regresión logística, pero con la capacidad adicional de relajar la suposición sobre mis errores y corregir el sesgo. Luego tengo regresión generalizada para si tengo JMP Pro que me permite hacer lo que vería en regresión logística o modelo lineal generalizado, más el beneficio adicional de permitirme hacer algo de producción de modelos también.
Cuando dimensione el experimento, lo construiré utilizando el diseñador personalizado y luego utilizaré la función de simulación incorporada de JMP para poder ejecutar mi experimento de simulación de bootstrap, mi análisis de simulación de bootstrap. Eso es todo lo que quería decir. Habrá información adicional en las diapositivas complementarias, que lamentablemente no tengo tiempo de revisar, pero espero que hayas disfrutado de lo que has visto y, con suerte, sea algo que puedas usar en el futuro y que te resulte beneficioso. Muchas gracias.
