DOE: ¿Convergiría un enfoque "de arriba hacia abajo" en el análisis factorial "de abajo hacia arriba" más convencional?Soy relativamente nuevo en el uso de DOE en I+D: he sido un escéptico durante mucho tiempo, pero recientemente he llegado a ver el ENORME poder que ofrece, y he adoptado JMP como mi herramienta preferida. En el proceso de aprender a aplicar las metodologías del DOE, he llegado a pensar en su implementación preferida como una especie de enfoque de "abajo hacia arriba": comenzamos identificando TODOS los factores que podrían contribuir a un resultado medido y luego creamos un diseño que nos permite tamizar el impacto de cada factor, identificando los más críticos. Podemos generar un modelo para representar el sistema de interés, eliminando de ese modelo los factores que no contribuyen significativamente y luego refinando nuestro modelo con esos controladores. Me parece que ocasionalmente podemos encontrar que nuestro modelo TODAVÍA no representa bien nuestras observaciones, y tal vez hemos pasado por alto un factor o dos. Podemos remediar esto aumentando nuestro modelo. Para un sistema complejo con un conjunto de factores, este enfoque convencional constituye una gran matriz de prueba. Sé que puedo reducir el tamaño de esa matriz haciendo uso de factoriales fraccionarios y diseños personalizados/óptimos. Para un cliente escéptico Y un sistema complejo, esto sigue siendo una venta difícil. Pero: ¿hay algo necesariamente MALO en comenzar con un enfoque "de arriba hacia abajo"? ¿Podríamos usar nuestro conocimiento de la materia para identificar algunos factores que creemos que son los impulsores del rendimiento y, con ellos, una matriz de prueba y luego un modelo estadístico de los datos observados? Si esto conduce a un buen ajuste de los datos observados, entonces GENIAL. Pero si este modelo se queda corto al abordar adecuadamente las observaciones, entonces podríamos usar esta deficiencia evidente en el modelo para mejorarlo mediante la incorporación de factores adicionales (algunos de ese gran paquete que habíamos elegido reservar desde el principio...) y más pruebas? ¿No tenderían a converger en el mismo modelo las matemáticas de los enfoques "de arriba hacia abajo" y "de abajo hacia arriba"? ¿O es mi noción de un enfoque "de arriba hacia abajo" realmente solo una variación de un diseño personalizado?
GAMARe: DOE: ¿Convergiría un enfoque "de arriba hacia abajo" en el análisis factorial "de abajo hacia arriba" más convencional?Hay muchas razones para la falta de ajuste, incluida su sugerencia. No abordaré esa parte de su discusión ahora.
El DOE generalmente se considera parte de un programa o iniciativa de calidad más extenso. El diseño sigue un trabajo previo para identificar los factores y respuestas relevantes. Este resultado podría provenir del uso de las siete herramientas de calidad, por ejemplo. Puede provenir de un proyecto Six Sigma o Quality by Design. La experiencia en la materia siempre es esencial, aunque a menudo me he encontrado con comentarios sofocantes como "Pero sabemos que..." basados en experiencias anecdóticas, no en datos científicos. (Si ya sabemos tanto, ¿por qué no podemos explicar lo que está sucediendo o saber qué hacer al respecto?) Muchas herramientas relacionadas implican recopilar muchas ideas y luego organizarlas y priorizarlas para su estudio.
Re: DOE: ¿Convergiría un enfoque "de arriba hacia abajo" en el análisis factorial "de abajo hacia arriba" más convencional?Realmente no hay nada malo con el enfoque "de arriba hacia abajo" como lo llamaste. Sin embargo, piensa en el peor de los casos. Usted controla algunos factores para el diseño y luego determina que no se ajusta a los datos. Oh, necesitamos agregar más factores. Pero, ¿dónde se establecieron esos factores durante el primer conjunto de ejecuciones? ¿Estaban cambiando? Dependiendo de las respuestas a esas preguntas, es posible que deba comenzar de nuevo. Incluso si se registra, debe preocuparse de que las ejecuciones experimentales no hayan sido aleatorias en ese momento.
Como sugiere Mark, la mayoría de los otros enfoques le hacen identificar los factores que desea cambiar, pero también los factores que PUEDEN influir en el diseño que no desea cambiar. Ese grupo que está en el grupo MAYO debe tenerse en cuenta de alguna manera (mantenerse constante, convertirse en variables de bloqueo, etc.).
Re: DOE: ¿Convergiría un enfoque "de arriba hacia abajo" en el análisis factorial "de abajo hacia arriba" más convencional?Aquí están mis pensamientos:
Hay dos razones fundamentales por las que estamos continuamente "optimizando":
1. Nunca empezamos con todo. Los factores que estudiamos son siempre un pequeño subconjunto de todos los factores. Se toman decisiones sobre qué incluir (o no) en los estudios iniciales. Esto es más a menudo una función de la intuición, la intuición, la experiencia, la colaboración. Es interesante notar que los investigadores descartarán factores del estudio sin datos. ¿Qué sucede con estos factores en estudios posteriores?
2. Constantemente se inventan aplicaciones nuevas o alternativas de materiales/tecnologías.
Creo que su propuesta pierde algunos elementos importantes de investigación que no están necesariamente relacionados con el DOE, pero que mejoran en gran medida el uso de la experimentación. Por ejemplo, el muestreo dirigido para comprender qué componentes de variación (conjuntos de x) tienen la mayor influencia, proporcionar una evaluación de la estabilidad y evaluar la incertidumbre de la medición. La iteración es la clave para desarrollar una comprensión profunda (ciclos de inducción-deducción). También creo que los investigadores típicos no incluyen ruido en sus estrategias experimentales lo suficiente como para evaluar si el modelo tendrá un "rendimiento" consistente en otras condiciones. Hay un gran sesgo en el desarrollo de estrategias óptimas para los factores de diseño y muy poco en las estrategias de ruido.
Re: DOE: ¿Convergiría un enfoque "de arriba hacia abajo" en el análisis factorial "de abajo hacia arriba" más convencional?Gracias @STAT - y @Dan_Obermiller y @Mark_Bailey – por la retroalimentación. Tus comentarios son muy útiles.
@statman , "Nunca empezamos con todo" es un gran punto para mi calibración mental. Y sus comentarios sobre: el ruido son acertados. Mi caso de interés llega tarde en un proyecto de desarrollo en el que aún tenemos que realizar una exploración sistemática clara de los factores que ejercen mayor influencia. Al mismo tiempo, estamos tratando de definir/comprender la banda de rendimiento nominal y el ruido en ella.
@Dan_Obermiller , me das algunas ideas de cómo dar cuenta de esos "otros" factores: el grupo "MAYO". Me sentía incómodo con la "ignorancia activa", mientras que puedo ver un medio para identificar y documentar esos ajustes de factores, incluso si no los exploramos explícitamente en la matriz de prueba.
Y @Mark_Bailey , " Si ya sabemos tanto, ¿por qué no podemos explicar...?" dio demasiado en el blanco. Como mencioné anteriormente, estoy tratando de insertar algunas pruebas más sistemáticas en un punto que es tarde y posiblemente "demasiado tarde" en el juego. Tal como lo veo, mi mejor oportunidad de hacerlo requiere un conjunto muy reducido de factores, dejando de lado intencionalmente muchos otros con el fin de aclarar el impacto de lo que nuestra PYME colectiva nos dice que son probablemente impulsores de alto apalancamiento.
Gracias a todos, de nuevo.
Re: DOE: ¿Convergiría un enfoque "de arriba hacia abajo" en el análisis factorial "de abajo hacia arriba" más convencional?Podríamos hacer muchos comentarios para ayudarte, pero quiero hacer uno más ahora. A menudo veo diseños que varían factores en un rango muy estrecho. ¿Por qué? Porque sabemos o pensamos que encontraremos 'la respuesta' en este barrio. Nuevamente, no hay mucha evidencia detrás de tal decisión. También es un ejemplo de una mentalidad de 'elegir al ganador'. Si consigues lo que quieres, estás acabado. Sin embargo, no sabe si eso es lo mejor que podría haber obtenido si hubiera explorado una región más amplia para todos sus factores. Los rangos estrechos también dificultan el poder del diseño para detectar efectos reales. Puede mejorar la potencia aumentando el número de ejecuciones o ampliando el rango del factor.
Además, DOE no se trata de elegir al ganador. Se trata curar un modelo . El propósito de un diseño es esencial para estimar y probar los parámetros en el modelo. Período. Cualquier otra cosa es cosa de 'elegir al ganador'. Quiere que sus modelos tengan una larga vida útil. Deben poder representar su realidad lo suficientemente bien como para ser útiles, así que cuídelos.
Re: DOE: ¿Convergiría un enfoque "de arriba hacia abajo" en el análisis factorial "de abajo hacia arriba" más convencional?Ciertamente tengo algo de culpa en el pensamiento de "elegir al ganador", y es una crítica que tendré en cuenta en el futuro. Su comentario de "curar el modelo" se acerca más al ideal que busco y apela al poder que veo en la capacidad del diseño experimental para refinar iterativamente un modelo matemático que describe los resultados observados. Además, su argumento para explorar una amplia gama de factores cae en oídos receptivos: creo que realmente no sabemos cómo especificar el diseño de un sistema hasta que hemos llevado ese diseño a un punto de ruptura. Para mi sistema de interés actual, creo que el siguiente dato más valioso es un falla en rendimiento inicial: todo lo que le echamos parece funcionar bien (al principio…).
Veo fallas en mi noción de desarrollar un modelo "de arriba hacia abajo", pero veo un enfoque "de abajo hacia arriba" como demasiado lento en el juego. Un enfoque "de arriba hacia abajo" podría ayudarnos a generar un modelo lo suficientemente bueno para fomentar la discusión sobre cómo podemos mejorar iterativamente ese modelo y controlar mejor nuestro sistema, incorporando esos otros factores, incluidos algunos "MAY", que hemos dejado de lado intencionalmente. Hay TANTO que no sabemos, pero al menos tenemos un sistema que ofrece aliento de que estamos haciendo ALGO bien.
Gracias.
Re: DOE: ¿Convergiría un enfoque "de arriba hacia abajo" en el análisis factorial "de abajo hacia arriba" más convencional?Solo para agregar un pensamiento más... una de mis citas favoritas se aplica a muchas situaciones:
"Todos los modelos están mal, algunos son útiles" GEP Caja
En realidad, el enfoque que adopte depende de la situación. Hay "pistas" que buscamos para ayudarnos a comprender la situación y, por lo tanto, tomar decisiones racionales y lógicas sobre cómo proceder. Es poco probable que alguien alguna vez diseñe el experimento perfecto ya que la mayoría de los experimentos contienen un elemento de lo desconocido. Así que mi consejo es diseñar múltiples experimentos (o planes de muestreo), predecir el conocimiento potencial que se obtendrá para cada plan (p. ej., qué efectos se pueden estimar, qué se confunde, qué se restringe) y sopesar este conocimiento frente a las restricciones impuestas ( ej., recursos, tiempo). En última instancia, todo lo que puede hacer es la diligencia debida y luego obtener los datos. Esté preparado para iterar (de hecho, predecir TODOS los resultados posibles y qué hará con esa información).
