676944_es-ES

liliconcom

Métodos Simulate vs Bootstrap en JMP: cuál usar, cuándo y por qué

Hola a todos,

 

Espero que alguien de JMP pueda proporcionar una explicación sobre las diferencias/similitudes de los enfoques Simulate vs Bootstrap al evaluar las estimaciones del modelo. (JMP Pro)

 

Se pueden encontrar algunos enlaces a presentaciones anteriores de Discovery Summit de Gotwalt y otros. aquí , aquí , y aquí . Una diferencia clara entre los métodos es que Simulate requiere que intercambies una fórmula de columna con otra fórmula de columna, mientras que el arranque no lo requiere. Entiendo el concepto de arranque al recalcular las estimaciones de los parámetros, pero no me queda claro por qué es necesario intercambiar la columna ponderada aleatoria fraccionaria al simular los mismos datos. Vea, por ejemplo, el primer enlace anterior y la presentación correspondiente que explica este enfoque utilizando una configuración de autovalidación (en este caso estaban trabajando con resultados del DOE).

 

Lo que me gustaría entender mejor son los beneficios y desventajas de cada enfoque y cuándo es mejor un enfoque que otro. Tengo una tabla de datos amplia y alta donde tengo varias variables de proceso y mediciones de calidad del producto. Quiero reducir el conjunto de posibles variables del proceso que podrían estar influyendo en el resultado para darle a la producción una idea de dónde investigar. Para hacer esto, tomo la idea del factor nulo de sus presentaciones y la incluyo como una variable verdaderamente aleatoria en el modelo. Luego ejecuto un modelo GenReg muy básico en los factores y la salida Y, luego hago clic derecho en la columna de estimaciones y ejecuto la opción de arranque o simulación en las estimaciones de los parámetros.

 

No obtengo los mismos resultados en ambos sentidos y me gustaría entender por qué. Además, ¿es un enfoque más apropiado que otro ya que este no es un DOE?

 

A continuación se muestran ejemplos de los resultados en un diagrama de Pareto, donde cualquier factor que se introduzca en el modelo menos veces que el factor nulo simplemente se elimina. La primera imagen muestra los resultados del uso del método Simular, donde el factor en el extremo derecho del diagrama de Pareto es el factor nulo. De manera similar, la segunda imagen muestra los resultados usando el método Bootstrap, donde nuevamente el factor nulo está en el extremo derecho.

¿Por qué obtengo dos resultados muy diferentes para los dos métodos? ¿Es uno más "digno de confianza" que el otro? ¿Por qué debería utilizar un método en lugar del otro? ¿Es un método más robusto que el otro? Si obtiene resultados diferentes, ¿por qué JMP Pro tiene las dos opciones?

 

Cualquier idea sobre esto es muy apreciada.

 

¡Gracias!,

DS

 

Modelado estadístico avanzadoDiseño de experimentosModelado predictivo y aprendizaje automáticoRe: Métodos Simulate vs Bootstrap en JMP: cuál usar, cuándo y por qué

El bootstrapping o el remuestreo intentan suplantar empíricamente la distribución subyacente. Generalmente se considera que Bradley Efron inventó y desarrolló esta metodología. También ha explorado sus deficiencias. Las muestras de arranque pueden luego determinar empíricamente las estadísticas y los intervalos de la muestra. No se supone ninguna distribución de la población. La precisión y estabilidad de estas estimaciones dependen del tamaño de la muestra original y del número de nuevas muestras.

El método de simulación supone un modelo de distribución a partir del cual se generan remuestreos. Las estimaciones dependen en gran medida del supuesto del modelo.

Esta respuesta es de alto nivel y no detallada. Puedes imaginar ejemplos de ambos métodos y cómo podrían tener éxito o fracasar espectacularmente.

Re: Métodos Simulate vs Bootstrap en JMP: cuál usar, cuándo y por qué

Hola @Mark_Bailey ,

 

Gracias por tus comentarios y pensamientos.

 

Entonces, parece que (desde un nivel alto) la diferencia principal se reduce a cómo la simulación o el arranque asumen o no una distribución de la población. Debido a esta diferencia en los requisitos de distribución de la población, los dos métodos abordan el proceso de estimación de manera diferente, lo que lleva al método de simulación a requerir otra columna para intercambiar dentro y fuera.

 

Todavía me gustaría entender mejor si un método es más sólido que otro y cuándo usar un método sobre el otro. Por ejemplo, ¿cuáles son los requisitos de distribución de la población para el método de simulación? ¿Existen limitaciones/restricciones cuando no se debe utilizar un método sobre otro?

 

En mi ejemplo anterior, obtengo respuestas muy diferentes para los factores que entran en el modelo con más frecuencia que el factor nulo con cada método. ¿Qué método es capaz de proporcionar la estimación más precisa de aquellos factores que deberían permanecer en el modelo frente a aquellos que realmente no son útiles en el modelo? ¿En qué resultado puedo "confiar"?

 

La ayuda en línea de JMP tiene una explicación limitada y realmente no analiza el uso de un método u otro.

 

¡Gracias!,

DS

Re: Métodos Simulate vs Bootstrap en JMP: cuál usar, cuándo y por qué

Perdón por mi confusión....

Antes de ofrecer mis pensamientos, que probablemente sean controvertidos, ¿cuál es el objetivo final de su publicación? Algunas de sus preguntas (por ejemplo, ¿Es uno más "digno de confianza" que el otro? ¿Por qué debería utilizar un método en lugar del otro? ¿Es un método más sólido que el otro?) sugieren un objetivo. Otros (por ejemplo, ¿por qué obtengo dos resultados muy diferentes para los dos métodos?, ¿por qué JMP Pro tiene las dos opciones?) sugieren algo diferente.¿Está tratando de determinar qué método llegará a un modelo que explique la variación que ya existe (en un proceso o conjunto de datos) o un modelo que sea útil para la predicción (analítico en términos de Deming)? ¿O simplemente está interesado en una discusión técnica sobre los dos métodos?

Re: Métodos Simulate vs Bootstrap en JMP: cuál usar, cuándo y por qué

Hola @statman ,

 

Perdón por la confusión, y para ser honesto, es un poco de todo, pero no tanto para llegar al modelo "final" todavía. Se trata más bien de llegar al conjunto de factores más probable para investigar más a fondo, algo así como la plataforma Predictor Screening.

 

Estoy usando un método modificado similar al que se presentó en la Discovery Summit 2018 en Cary (el primer enlace en mi publicación original) para intentar determinar a partir de un conjunto muy grande (>130) de posibles etiquetas de producción (cosas como velocidades de la bomba, caudales, temperatura del horno y flujo de aire), cuáles contribuyen al resultado, Y, que se mide en QC. Utilizando el enfoque GenReg (por ejemplo, la selección directa o la selección anticipada podada) se pueden obtener estimaciones de los términos del modelo, y este es un modelo MUY simplista que analiza sólo los factores principales, sin interacciones, nada más. Muchas de esas estimaciones serán cero o casi cero en sus coeficientes.

 

Luego puede realizar un análisis de simulación o de arranque de las estimaciones; esto normalmente se hace para obtener una mayor confianza de cuál es el rango de valores posibles para dicha estimación. Sin embargo, otra cosa que puede obtener de las estadísticas de distribución de cualquiera de los métodos es la proporción de veces que el valor de esa estimación es distinto de cero. Comparar el valor de proporción distinto de cero de cada estimación con el factor nulo le da una idea de si el factor aparece o no en el modelo con más frecuencia que el factor nulo. Dado que el factor nulo es completamente aleatorio y no tiene correlación con las etiquetas de producción reales, si una etiqueta aparece con menos frecuencia que el factor nulo, puede descartarse de futuros esfuerzos de modelado. Esto le permite reducir los >130 factores posibles a un conjunto más manejable de quizás una docena aproximadamente. En este punto se pueden realizar más investigaciones, experimentos o modelos sobre un conjunto de factores mucho más pequeño que antes.

 

Lo que me gustaría entender mejor es por qué los métodos de simulación y de arranque producen resultados diferentes. ¿Es el tema de distribución del que hablaba Mark Bailey? ¿Es que usar el valor predeterminado de 2500 remuestreos no es suficiente? ¿Necesito más? ¿O hay alguna razón más fundamental que hace que los dos métodos proporcionen resultados diferentes?

 

Me gustaría comprender mejor el aspecto técnico de los dos métodos para poder tomar una decisión mejor informada sobre qué método utilizar y cuándo. Si los dos métodos no convergen en una solución similar (no es que sea necesario), entonces cuál es la solución "correcta".

 

No hay mucha información en la ayuda en línea de JMP y me gustaría comprender mejor estas herramientas para poder utilizarlas de manera efectiva.

 

¡Gracias!,

DS

Re: Métodos Simulate vs Bootstrap en JMP: cuál usar, cuándo y por qué

Ningún método es superior en cualquier sentido estadístico. Es decir, ninguno de los dos se desempeña mejor que el otro en todos los casos.

La exactitud del resultado debe verificarse de forma independiente con una nueva predicción (es decir, la estimación) con una nueva muestra.

La literatura sobre bootstrapping y simulación es amplia. No puedo responder aquí fácilmente a una pregunta amplia sobre las limitaciones y deficiencias en un espacio pequeño. Por ejemplo, ¿captará la muestra suficientemente las características de la población si la población tiene colas anchas o presenta valores atípicos? ¿Generará muestras de arranque como muestras reales de la población? Por otro lado, ¿hasta qué punto cree usted que el modelo de distribución se utiliza para la simulación?

La confianza es subjetiva porque dos investigadores pueden requerir diferentes tipos y cantidades de evidencia para confiar en un método sobre el otro.

La documentación del software no pretende servir como educación. Debe utilizar otras fuentes para conocer los dos enfoques en este caso.

Re: Métodos Simulate vs Bootstrap en JMP: cuál usar, cuándo y por qué

@SDF1 Voy a ofrecer mis dos centavos/opiniones también. estoy de acuerdo con todo @Mark_Bailey y @statman han contribuido hasta ahora. El camino de su investigación suena inquietantemente similar a lo que me encargaron repetidamente en mis días de trabajo en la industria de procesos químicos. Tendríamos muchos datos de producción/fabricación en tiempo real que intentaríamos aprovechar para comprender la variación del proceso/producto o tomar medidas correctivas cuando la magia de la física, la química o la biología no se unieron durante una ejecución de producción anoche. ¿Ahora todos están manos a la obra para descubrir 'por qué'? Casi parece que estás intentando encontrar un modelo "final" que lo explique todo. Descubrí que usar datos de producción para esto simplemente no era un enfoque general, con respecto a la resolución del problema, eficiente. Los datos eran demasiado confusos, incompletos o faltaban factores de ruido/molestias a menudo impactantes para ser útiles y representativos de lo que podríamos esperar encontrar en el futuro. entonces, ¿qué hicimos? Utilizaremos los datos que tiene a mano para identificar PROBABLES factores importantes. Luego, "fuera de línea" y lleve a cabo un espacio de proceso reflexivo que abarque experimentos diseñados para inducir la variación de factores de manera secuencial a fin de conducir a un camino eficiente (en términos de recursos, no de modelos/estadísticas) hacia la resolución final del problema. Al final del día, como solía decir uno de los ingenieros con los que trabajé: "No se conoce la causa raíz de un modo de falla hasta que se puede activar y desactivar el modo de falla". La única forma eficiente que conozco de obtener ese conocimiento es a través del DOE... sin torturar datos fortuitos en un modelo. Solo es mi opinión. Tomalo por lo que vale.

Re: Métodos Simulate vs Bootstrap en JMP: cuál usar, cuándo y por qué

Hola @P_Bartell ,

 

Gracias por su respuesta. Tu descripción de lo que has experimentado en el pasado es la más cercana a lo que he intentado explicar en mis publicaciones anteriores. El objetivo de este enfoque no es encontrar un modelo que funcione perfectamente, sino ayudar a la producción a eliminar aquellos datos de proceso que NO importan. Nuestro proceso realmente no permite realizar verdaderas DOE en producción: ¡MUY caro! En cambio, si podemos reducir los posibles flujos de datos de producción a aquellos que sean los más PROBABLES influenciadores, entonces podremos realizar DOE en el laboratorio, tal como usted señaló. Esto es lo que hacemos.

 

Sabemos por nuestro laboratorio de I+D que ciertos factores afectan ciertos resultados, cómo y por qué. Sin embargo, el entorno altamente controlado y en lotes pequeños (unos pocos kg/día) de fabricación de nuestro producto en el laboratorio es MUY diferente de una producción continua a gran escala, que produce más de 500 toneladas de material por día. El equipo de producción continua influye en los resultados de manera diferente a cómo se hacen las cosas en el entorno de lotes de laboratorio pequeños. Y, con nuestro proceso, no existe ningún factor de "aumento" o "reducción" que pueda simplemente traducir el lote al proceso continuo, o viceversa. Por lo tanto, con la producción continua es mucho más difícil encontrar qué proceso podría estar desviándose o fluctuando y dando lugar a un producto fuera de especificación.

 

Entonces, volviendo a lo que estaba tratando de aprender originalmente, me gustaría aprender más sobre las similitudes y diferencias entre los dos métodos mediante una discusión técnica. ¿Hay casos en los que se prefiere un método a otro y por qué?Al hacerlo, espero aprender por qué los dos métodos proporcionan resultados tan diferentes para poder elaborar un plan sobre cómo encontrar un enfoque más confiable y sólido para determinar los factores más PROBABLES que necesitamos investigar más a fondo. Este último paso es algo en lo que trabajaría con mi grupo en mi empresa, no a través de la comunidad JMP.

 

Nuevamente, la documentación de JMP tiene información limitada sobre estos métodos (quizás más sobre simulación), así como información limitada sobre dónde encontrar más detalles de cada método. Al no ser un experto en estos métodos, pensé en ir al foro de discusión para obtener ideas/aportes sobre los métodos de simulación versus arranque. Hasta ahora de esta discusión, he aprendido que bootstrap no asume ninguna distribución en los remuestreos, mientras que simular sí asume una distribución de los remuestreos, y que ninguno de los dos es superior. Nada de esto realmente aborda lo que esperaba aprender.La ayuda de JMP tenía información útil, pero no toda, y como se anuncia en la parte inferior de las páginas de ayuda de JMP:

Por lo tanto, acudí a la discusión comunitaria con la esperanza de aprender más. Nuevamente, no soy un experto en estos métodos, pero esperaba que alguien entre las páginas de la comunidad lo fuera y pudiera proporcionar más información o recursos que pudiera leer para obtener más información.

 

¡Gracias!,

DS

Re: Métodos Simulate vs Bootstrap en JMP: cuál usar, cuándo y por qué

Si desea conocer conocimientos generales sobre Bootstrap y Simulación en JMP, los enlaces (2) y (3) son más relevantes. El enlace (1) es un tema más avanzado y específico del DOE.

William Meeker es uno de los hablantes de (2) y (3). Quizás quieras consultar el Capítulo 9 de su libro "Métodos estadísticos para datos de confiabilidad", 2º. ed. Si solo tienes acceso a su primera edición, también debes consultar el Capítulo 9. Las descripciones muy detalladas están documentadas allí. Muchos de nosotros aprendimos las técnicas allí. Pero estoy seguro de que hay otras referencias. Los materiales de Meeker cubren tanto los conceptos generales de las técnicas como las aplicaciones especiales del análisis de confiabilidad. Si la parte del análisis de confiabilidad es irrelevante, puede omitirla con seguridad.

Si quisiera resumir lo que hay en el libro, junto con lo que Mark explicó, lo siguiente es mi intento.

Los pasos de "Bootstrap", también conocido como "bootstrap no paramétrico", incluyen:

1. muestra de sus datos
2. hacer algo
3. calcule la cantidad de su interés, recoja la cantidad
4. repetir.

Los pasos de "Simular", también conocido como "arranque paramétrico", incluyen:

1. comienza con un modelo con algunos parámetros conocidos, simula una muestra del mismo
2. hacer algo
3. calcule la cantidad de su interés, recoja la cantidad
4. repetir.

Como ha mencionado, el propósito es obtener un "intervalo de confianza". ¿Cuál elegir? Eso depende de tu tarea. No puedo hablar de la tarea que has descrito. Pero mire el enlace (2) y (3), el enlace (2) y la mayor parte de (3) están relacionados con aplicaciones del "bootstrap no paramétrico" (o Bootstrap), porque la tarea es cuantificar mejor el intervalo de confianza de las estimaciones. para los cuales la aproximación de una muestra grande no es el enfoque más eficaz en el contexto. Ahora observe cuándo se utiliza "arranque paramétrico" (o Simular) en el enlace (3), es decir, para el cálculo de potencia. ¿Qué es el cálculo de potencia? Para ese tipo de cálculo, se debe conocer la verdad, de modo que cuando se toma una decisión mediante un método, se debe saber si la decisión sobre una prueba de hipótesis es correcta o no. Entonces uno puede barrer la conclusión al cuadrante correcto en la tabla de Errores tipo I y tipo II . ¿Cómo se puede estar seguro de la verdad? Simplemente comience con la verdad. Ahí es cuando el "arranque paramétrico" es más apropiado.

Los métodos bootstrap son tecnologías versátiles, estoy seguro de que lo que describí es la punta del iceberg. Pero lo que dijo Mark resume la diferencia: tienen diferentes puntos de partida.

 

Para su tarea específica, tengo una pregunta: cuando hizo la Simulación, ¿cómo se le ocurrió la columna de fórmula? ¿Es la verdad que sabes?

 

Re: Métodos Simulate vs Bootstrap en JMP: cuál usar, cuándo y por qué

¡GUAU! Debimos haber trabajado en la misma empresa... usted ha descrito exactamente cómo pasé la mitad de mi carrera laboral en Eastman Kodak Company. El DOE sobre procesos y máquinas de recubrimiento de película/papel de producción estaba prohibido debido al costo y la capacidad. Había escalabilidad desde la mesa de laboratorio hasta el piloto y la producción, lo cual era una quimera escrita en papel. Nuestra gracia salvadora fue que había muchas personas inteligentes que hacían lo mejor que podían. Voy a enviarte un mensaje privado usando la función de mensajería comunitaria con algunas ideas adicionales.

Re: Métodos Simulate vs Bootstrap en JMP: cuál usar, cuándo y por qué

Ofreceré algunas de mis ideas que tal vez no tengan ningún valor y no sean útiles en relación con las preguntas planteadas por DS. Mis pensamientos se alinean con los de Pete ya que tengo experiencias similares.En el gran esquema de intentar comprender la causalidad, existen muchos enfoques diferentes.En TODOS los casos, se requiere iteración. Simplificaré demasiado dos de esos enfoques:

1. Un enfoque estadístico: este es un intento de buscar pistas en datos históricos/de observación existentes (también conocido como minería de datos).Esto a menudo implica el uso de algún tipo de enfoque de regresión (de los cuales hay muchos), buscando en última instancia patrones en las variables de respuesta (es decir, Y) y tratando de correlacionarlos con patrones en las variables de entrada (es decir, x).En lugar de simplemente una mirada cuantitativa (por ejemplo, arranque, simulación, etc.), utilice métodos gráficos para buscar patrones. La correlación de patrones debería inspirar explicaciones de por qué existen esos patrones.Estas explicaciones son hipótesis.Una vez formuladas las hipótesis, recopile datos mediante muestreo dirigido (p. ej., DOE) para generar confianza en las relaciones causales.

2. Un enfoque científico/de ingeniería (también conocido como método científico): este enfoque comienza con hipótesis sobre los efectos potenciales de los factores sobre las variables de respuesta.Estas hipótesis son función de la experiencia, la intuición, la educación, la comprensión de la teoría científica aceptada, etc. de las PYME.Cuando hay un gran número de variables (p. ej., >15) y las hipótesis son generales, se puede utilizar el muestreo dirigido para separar y dividir los componentes de la variación en subconjuntos más pequeños. Recomiendo encarecidamente este enfoque para sus procesos de producción, ya que no "perturba" el proceso. A medida que se reduce el número de posibles factores influyentes, se puede utilizar la experimentación para generar confianza en las relaciones causales (como usted indica).

Qué enfoque será más eficaz y eficiente siempre depende de la situación.Cuando nos encontramos en un nivel extremadamente bajo en el continuo de conocimiento (por ejemplo, hay una falta de conocimiento de la materia), tal vez el enfoque 1 sea ventajoso. Si ya existen hipótesis, el enfoque 2 puede ser más ventajoso.

En cuanto a la incapacidad de experimentar en el proceso de producción (sin entrar en una discusión sobre el pensamiento a corto plazo versus el largo plazo), esto puede agregar complejidad a la investigación.La cuestión es el espacio de inferencia. Lo que se desea es que la línea piloto refleje el proceso de producción.Esto es un desafío porque la mentira ilot está en un muchacho y, a menudo, es un espacio de inferencia completamente diferente. A menudo esto significa que será necesario reducir el ruido. agregado a la línea piloto (por ejemplo, variar las condiciones ambientales, utilizar múltiples lotes de materias primas).Al realizar estudios a pequeña escala es importante exagerar los efectos.Tanto los efectos de factor (por ejemplo, ajuste de nivel en negrita) como los efectos de ruido.Los efectos de ruido exagerados se pueden adaptar en experimentos utilizando estrategias de bloqueo y trama dividida.

En mi humilde opinión , la simulación y el arranque (o cualquier método cuantitativo) dependen completamente de cómo adquirió los datos y de qué tan representativos son los datos de las condiciones futuras.Si los datos utilizados para la simulación o el arranque no son representativos, ninguno de los métodos será útil.

Re: Métodos de simulación vs. Bootstrap en JMP: cuál usar, cuándo y por qué

Aunque mi respuesta no es relevante a la publicación original, su explicación incluye conceptos sobre las diferencias entre Bootstrap y Simulate.

Me gustaría aclarar estos conceptos aplicados a mi caso en el bootstrap de parámetros de ajuste no lineal de JMP. En el archivo JPG adjunto, utilizo la función "Bootstrap" con un solo clic en la columna "Estimación" del parámetro del análisis "Ajuste no lineal". ¿Estoy utilizando bootstrap paramétrico?