Guía de modelado para el clienteRecibí una pregunta de un cliente (JMP Pro) que está realizando un experimento de galvanoplastia. Él tiene un experimento diseñado donde ha variado varias entradas con el objetivo de construir un modelo para lograr un resultado objetivo.
Él está luchando para construir un buen modelo predictivo. Él dice que cuando usa el modelo para predecir nuevas carreras, no lo hace bien.
El modelo parece cambiar con respecto a la complejidad (número de términos) muy fácilmente con la eliminación de un par de puntos.
Esto suena como un problema que podría beneficiarse de una consulta personalizada con sus datos y su modelo, pero lo muy específico que me preguntó fue (estoy parafraseando un poco de nuestra conversión): "Reconociendo que los métodos de validación cruzada ya están" haciendo esto "... ¿hay un Manera automatizada de generar un modelo para cada uno de los posibles subconjuntos de las ejecuciones experimentales. . Quiero comparar el número de términos (y los términos) para cada uno de los modelos ".
Las preguntas que surgieron en mi mente fueron:
- ¿Estás sobre ajustando el modelo?
- ¿Es bueno su sistema de medición? (Él piensa que es)
- ¿Eres capaz de controlar las entradas con precisión [suficiente]?
¿Qué preguntas adicionales debo hacer? ¿Cómo puedo ayudar a este cliente?
¡Gracias de antemano!
Re: Guía de modelado para el clienteEstoy respondiendo a mi propio post! Otra evidencia de que nunca fui el niño popular ...
Tuve una charla con @tom_donnelly Y quería publicar mi respuesta al cliente aquí.
"Gracias por pasar tiempo conmigo para explicar su desafío.
He hecho algunos contactos con la comunidad técnica de JMP y la breve respuesta a su pregunta "¿Tiene JMP una Una forma sencilla de generar un modelo para cada uno de los posibles subconjuntos de las ejecuciones experimentales " no es.
Sin embargo, recibí algunos consejos en algunas de mis discusiones que pueden ser útiles para usted.
Creo que estás trabajando con datos de un experimento diseñado, ¿correcto? ¿Usaste un diseño personalizado? ¿Cuántas carreras tuviste por error?
Si este es el caso, entonces el experimento que diseñó ... es un conjunto parsimonioso de ejecuciones para ajustarse a un modelo hipotético (a menos que haya muchas réplicas). El modelo, por naturaleza, será muy sensible a los datos recopilados para cada ejecución porque el diseño se creó para responder a la pregunta (modelo hipotético que especificó) en la menor cantidad de ejecuciones posibles. Si su modelo no está haciendo un buen trabajo al ajustar ejecuciones adicionales de "prueba / validación", entonces puede tener sentido que lo agregue a su diseño original para que se ajuste a un modelo de orden superior. Por supuesto, el modelo puede no estar haciendo un buen trabajo prediciendo también por otras razones (por ejemplo, hay factores que son importantes que no está controlando, es difícil controlar sus entradas, el sistema de mediciones tiene mucho ruido, etc.)
Recuerdo que dijiste que reajustabas tu modelo con carreras adicionales. ¿Fueron estas carreras además de su diseño original? ¿O estaba ajustando su modelo cuando estaba recolectando los datos del experimento?
Si la respuesta es la última (¿hay alguna razón práctica por la que haces esto?), Podrías considerar bloquear tu diseño. Por ejemplo, el primer conjunto de ejecuciones (primer bloque) podría ser estimar los efectos principales. El segundo conjunto de ejecuciones podría ser estimar los términos de interacción, etc. De esa manera, las ejecuciones se configuran en cada bloque para que estimen un modelo completo.
Déjame saber si te gustaría discutir más a fondo ".
@tom_donnelly También mencioné que el cliente puede querer considerar si las transformaciones pueden ser relevantes en el modelo de construcción, pero no lo mencioné en mi correo electrónico (esperará hasta que conversemos en vivo).
Re: Guía de modelado para el clienteMe gusta la respuesta de Tom a esto. Creo que es lo mejor. Sin embargo, si no hay tiempo ni presupuesto para más ejecuciones, también he tenido algo de suerte con el uso de Regresión generalizada para obtener más modelos predictivos sobre los datos del DOE en mi vida pasada. Peter Hersh compartió una asombrosa demo de JMP Pro conmigo que está tan cerca de lo que hice que da miedo 
Pete, ¿puedo hacerte un comentario?
Re: Guía de modelado para el clienteHola wendy
Adjunto mi diario para el ejemplo del que habla Jason. Es una situación muy similar en la que han ejecutado un DSD y están tratando de construir un modelo predictivo. Si usa Stepwise, entonces ajuste los mínimos cuadrados (JMP estándar) obtendrá un modelo muy adecuado que termina siendo una mala predicción. Con GenReg funciona mucho mejor. Estoy fuera de la ciudad la próxima semana, así que puedo ayudar a explicarlo mejor, pero todos los scripts se guardan en las tablas de datos. Es un buen caso para GenReg vs. Stepwise / ajuste de mínimos cuadrados. Espero que esto sea de ayuda.
Re: Guía de modelado para el clientePodría valer la pena verificar si este experimento incluye factores de mezcla. Si es así, no deberíamos intentar simplificar el modelo de la forma en que lo haríamos para un experimento que involucre solo factores de proceso. En su lugar, intente ir con predicciones utilizando el modelo de diseño.
Mejor,
Malcolm
Re: Guía de modelado para el cliente¡Gracias!
