920431_es-ES

liliconcom

Ajuste RSM eficiente y regresión escalonada en grandes conjuntos de datos DoE con mínimos clics en JMP Pro

Hola a todos,

Estoy trabajando con un conjunto de datos DoE muy grande en JMP Pro y me gustaría evaluarlo rápidamente con la menor cantidad de clics manuales posible. Soy relativamente nuevo en JMP Pro y, hasta hace poco, analizaba principalmente estudios DoE utilizando métodos estándar de mínimos cuadrados. Por lo tanto, incluso después de leer la documentación y los tutoriales, sigo sin estar seguro de cuál es el flujo de trabajo más eficiente para mi tarea actual.

Mi diseño incluye tres factores y aproximadamente 20 respuestas, agrupadas por diferentes tratamientos. Me gustaría reajustar un Modelo de Superficie de Respuesta (MSR) para cada respuesta y analizarlas de forma consistente.

Mis preguntas principales son:

1. ¿Hay alguna manera de ejecutar la regresión por pasos o el ajuste RSM de manera más eficiente sin tener que hacer clic repetidamente en “Ir” para cada paso?

2. ¿Hay herramientas u opciones en JMP que permitan flujos de trabajo semiautomatizados o de un solo clic para múltiples respuestas (por ejemplo, ajustes preestablecidos de Fit Definitive Screening/Fit Model, cuadros de diálogo de modelos u otros atajos)?

3. Como pregunta adicional: si se necesita automatización completa, ¿sería la mejor manera de escalarla mediante scripts (JSL) o procesamiento por lotes? De ser así, ¿existen puntos de partida o plantillas recomendadas para principiantes?

Mi objetivo es acelerar los pasos de evaluación y reajuste del modelo tanto como sea posible, idealmente sin necesidad de scripts pesados.

Gracias de antemano por su ayuda y sugerencias.

Modelado estadístico avanzadoAutomatización y scriptingExploración y visualización de datosDiseño de experimentosPersonalización masivaModelado predictivo y aprendizaje automáticoRe: Ajuste RSM eficiente y regresión escalonada en grandes conjuntos de datos DoE con mínimos clics en JMP Pro

Es prácticamente imposible ofrecer asesoramiento específico sobre la información que proporcionaste. ¿Podrías adjuntar el experimento? ¿O al menos el experimento codificado?

Lo siento, estoy un poco confundido por tu consulta. Tu publicación sugiere que tienes un gran conjunto de datos DOE. No estoy seguro de entenderlo, ya que solo tienes 3 factores. ¿Por qué configurarías un flujo de trabajo? En cualquier caso, el primer paso para cualquier experimento es determinar si creaste suficiente variación desde una perspectiva práctica. ¿Variaron las variables de respuesta lo suficiente como para ser interesantes para el análisis del experimento? Si es así, el siguiente paso es realizar una correlación multivariante de las muchas Y. Al mismo tiempo, verifica si hay valores atípicos utilizando la prueba de valores atípicos de Mahalanobis. Dependiendo del número de Y correlacionadas (si se correlacionan, el análisis será el mismo), es posible que tengas que ajustar las Y por separado. Stepwise no es un procedimiento para el análisis de DOE. Es para datos históricos u observacionales cuando buscas un modelo. En DOE, tienes un modelo en mente (o deberías), por lo que Fit Model es tu plataforma.

Re: Ajuste RSM eficiente y regresión escalonada en grandes conjuntos de datos DoE con mínimos clics en JMP Pro

Hola Statman,

Gracias por la aclaración. Permítanme explicar mi configuración con más detalle:

Estoy trabajando con un diseño RSM de tres factores, pero para estos tres factores he medido 25 respuestas diferentes. Estas respuestas se agrupan en cinco grupos de tratamiento (utilizando la función "Por"). Por lo tanto, si bien el espacio factorial es pequeño, el número total de combinaciones de respuesta/tratamiento es elevado. Además, cuento con múltiples conjuntos de datos de este tipo (cinco DoE en total), por lo que los pasos de análisis repetitivos se suman significativamente.

Entiendo completamente que el conjunto de datos sería útil y me encantaría compartirlo, pero no puedo compartir los datos aquí debido a los CDA y, lamentablemente, la anonimización tampoco es una opción.

Generé los diseños con el Diseñador Personalizado de JMP y utilizo la plataforma Fit Model para el análisis. Mi intención era seleccionar la personalidad escalonada en lugar de los mínimos cuadrados estándar para aportar mayor objetividad al usar los criterios AIC/BIC en lugar de la selección basada en el valor p, además de reducir los clics, ya que solo tengo que pulsar el botón "GO". La personalidad escalonada sigue ajustando un modelo polinomial a mis datos, pero de forma más automatizada, con menos sesgo y no solo basada en el valor p.

Sin embargo, el problema práctico es que, para cada respuesta en cada grupo de tratamiento, sigo necesitando hacer clic repetidamente en el botón "Ir". Con tantas respuestas y múltiples conjuntos de datos, esto consume mucho tiempo. Mi pregunta es simplemente si esta parte del flujo de trabajo se puede automatizar o acelerar.

Mi objetivo final es ajustar todas las respuestas, evaluarlas y generar perfiles de predicción utilizando la plataforma de ajuste DOE. Prefiero no eliminar los valores atípicos de antemano, ya que quiero evaluarlos después del ajuste y evitar sesgos en el análisis inicial.

Así que la pregunta central sigue siendo:
¿Hay alguna manera de ejecutar Stepwise (o Fit Model) en múltiples respuestas y grupos de tratamiento sin hacer clic manualmente en “Ir” para cada respuesta, ya sea a través de accesos directos de la interfaz de usuario existentes o mediante secuencias de comandos o ejecución por lotes?

Esto reduciría sustancialmente el número de clics manuales necesarios.

¿Este contexto adicional ayuda a responder mi pregunta sobre el flujo de trabajo?

También analizo los DoE desde hace varios años con JMP, siempre usando el método tradicional de mínimos cuadrados. Ahora tengo la versión JMP Pro y espero tener algunas opciones que me ahorren tiempo.

Re: Ajuste RSM eficiente y regresión escalonada en grandes conjuntos de datos DoE con mínimos clics en JMP Pro

¿Intentaste usar CTRL+clic en "IR"?
Usar Ctrl antes de una acción ayuda a difundirla a todos los botones o cuadros similares. También permite cambiar la configuración de la estimación de ajuste escalonado para todas las respuestas simultáneamente.

Sin embargo, las observaciones de Bill sobre la selección por pasos siguen vigentes. Si ha creado un DoE con una plataforma de diseño personalizado, significa que dispone de un modelo a priori para este escenario experimental. Debe usarlo primero y, con precaución, usar otros métodos de modelado como modelos de la competencia para comparar el rendimiento y las ventajas y desventajas de cada uno.

Re: Ajuste RSM eficiente y regresión escalonada en grandes conjuntos de datos DoE con mínimos clics en JMP Pro

Hola Víctor,

Lo primero que puedo decir es ¡¡gracias por vuestra ayuda como siempre!!

Gracias, esta pequeña combinación realmente ayuda aquí.
Respecto a tu comentario sobre la restricción del modelo de ajuste, estoy un poco confundido.
Según tengo entendido, tanto la regresión de mínimos cuadrados estándar con selección manual del valor p como la regresión por pasos ajustan un modelo polinomial a mis datos; los términos del modelo polinomial se especifican en el cuadro de diálogo del modelo (en mi caso es un RSM con).
Encontré este video muy interesante: (Mastering JMP) Implementación de métodos de regresión paso a paso en JMP y JMP Pro - YouTube.
y esta explicación: 11.2 - Regresión por pasos | STAT 462

Aquí se explican bien las diferencias entre la regresión por mínimos cuadrados estándar y la regresión por pasos. Desde mi ingenua conclusión, son prácticamente iguales: no solo se utiliza la selección del valor p para la regresión por pasos, sino que también se utiliza el criterio BIC (o AIC), lo cual tiene sentido, ya que la pregunta de qué variables son importantes para el modelo sin aumentar su complejidad (conclusión simple :-)) evita el sesgo subjetivo del valor p y automatiza todo el proceso de construcción del modelo, lo que proporciona mayor objetividad. ¿Estás de acuerdo?

Mi pregunta aún no tiene respuesta y volveré a publicar mis preguntas aquí y agregaré algunas más:

1) ¿Existe una forma práctica y rápida de automatizar la creación de modelos DoE en JMP Pro para grandes conjuntos de datos con toneladas de respuestas (diseño simple realizado con un diseñador personalizado, por ejemplo, RSM, diseño personalizado, etc.)?
2) ¿La regresión por pasos es una opción aquí?
3) Como solo necesito el perfilador de predicción final con todas mis respuestas juntas, me enfrento a otro problema: ¿Cómo puedo protegerlo sin rehacer todo el análisis? Si lo guardo como script, tengo que rehacerlo todo; el perfilador de predicción, una vez creado el modelo, no se protege.
4) En JMP Pro, la opción de regresión general aparece automáticamente en la ventana de script, la cual también puedo usar (la explicación al pasar el cursor indica que este es el método preferido para todas las opciones de regresión lineal). ¿Cuál es la ventaja sobre la regresión por mínimos cuadrados estándar o la regresión por pasos? ¿Cómo puedo automatizar el análisis en el generador de modelos de regresión general si la opción Ctrl+clic no funciona?

Muchas gracias de antemano por su ayuda. Supongo que la cuestión de automatizar el análisis DoE y la construcción de modelos de grandes conjuntos de datos no es solo un problema que enfrento y ayudaría a mucha gente.

Re: Ajuste RSM eficiente y regresión escalonada en grandes conjuntos de datos DoE con mínimos clics en JMP Pro

La mejor manera de analizar un RSM es mediante gráficos de contorno. Si se encuentra en la etapa de optimización, para la cual está diseñado el RSM, ya debería conocer la significancia de los efectos del modelo de primer y segundo orden.

Al realizar el ajuste del modelo y evaluar su adecuación, el valor p es solo uno de los estadísticos que debe utilizar (y úselo solo cuando tenga una idea clara de lo que se está utilizando para evaluar el MSE y que esa parte sea representativa). Antes de nada, evalúe la integridad de los datos (existen varios métodos para ello). A continuación, la significancia práctica. También debe evaluar el R-cuadrado ajustado (cuanto mayor, mejor), la delta entre el R-cuadrado y el R-cuadrado ajustado (cuanto menor, mejor; de lo contrario, el modelo está sobreespecificado) y el RMSE (cuanto menor, mejor). Y siempre evalúe las implicaciones prácticas. ¿Es el modelo utilizable?

Sinceramente, tu situación no es muy compleja. Gestionar el análisis no debería llevar mucho tiempo (una vez hice un experimento con 3281 respuestas).

Puedes crear un flujo de trabajo, pero los pasos pueden ser diferentes dependiendo de lo que encuentres a medida que avanzas.

https://www.jmp.com/support/help/es/19.0/?os=mac&source=application#page/jmp/workflow-builder.shtml

Re: Ajuste RSM eficiente y regresión escalonada en grandes conjuntos de datos DoE con mínimos clics en JMP Pro

Hola Statman,

Gracias de nuevo por sus explicaciones. Entiendo la perspectiva clásica del DOE: en un RSM de tres factores, el modelo está predefinido, el enfoque se centra en la optimización en lugar de en la búsqueda de modelos, y aspectos como el R-cuadrado ajustado, el RMSE y la relevancia práctica son importantes para la adecuación. Estoy de acuerdo con eso.

Mi problema no son las estadísticas, sino la carga de trabajo práctica. En mi campo (estabilidad de proteínas), suelo tener unas 25 respuestas por conjunto de datos (niveles de agregación, variantes de carga, tamaño hidrodinámico, Tm, etc.) agrupadas por tratamientos. La configuración del DOE se mantiene igual (tres factores), pero el comportamiento real de la respuesta cambia con cada proteína. Por lo tanto, no puedo simplemente reutilizar una plantilla del Generador de Flujos de Trabajo; cada conjunto de datos de proteínas debe evaluarse individualmente, aunque la estructura del modelo cuadrático sea idéntica.

También entiendo los gráficos de contorno o superficie para RSM. Estos son útiles para la intuición. Pero son esencialmente cualitativos, ya que muestran la superficie predicha en 2D:

y_hat(x1, x2 | x3 = constante)

dónde

• y_hat es la respuesta prevista del modelo,

• x1, x2, x3 son los tres factores,

• y “| x3 = constante” simplemente significa que x3 se mantiene fijo.

Esto está bien para una sola respuesta, pero con 20 a 25 respuestas resulta difícil basar decisiones únicamente en gráficos de contorno.

En la práctica, confío más en el Prediction Profiler (y en la deseabilidad) porque me ofrece una forma cuantitativa de evaluar y optimizar múltiples respuestas a la vez. Por ejemplo, para k respuestas, he predicho los valores y1_hat, y2_hat, …, yk_hat, y cada uno tiene su propia función de deseabilidad d1(y1_hat), d2(y2_hat), …, dk(yk_hat). La deseabilidad general que intento optimizar es:

D(x) = (d1 * d2 * … * dk)^(1/k)

con x = (x1, x2, x3).
Esto me permite optimizar numéricamente la configuración de los factores para múltiples lecturas de estabilidad simultáneamente. Esto es algo que las superficies de contorno/error no pueden hacer fácilmente cuando el número de respuestas es alto.

Así que el problema principal no es la metodología, sino el tiempo dedicado a hacer clic. Para pasar de los datos sin procesar al generador de perfiles y a las decisiones basadas en la deseabilidad, actualmente necesito más de una hora por conjunto de datos solo para ejecutar el mismo modelo cuadrático para cada respuesta. En varios conjuntos de datos, esto supone cuatro o cinco horas de clics, principalmente repetitivos, aunque la definición del modelo no cambia.

Workflow Builder no resuelve este problema para mí, porque incluso si los factores permanecen idénticos, cada conjunto de datos de proteínas produce respuestas diferentes y todavía necesito revisar la adecuación del modelo individualmente.

Por eso estoy buscando una forma más eficiente (idealmente a través de JSL) de:

• recorrer una lista de columnas de respuesta,

• aplicar el mismo modelo RSM cuadrático en Fit Model y optimizar minimizando, por ejemplo, p o maximizando R2 ajustado,

• y generar automáticamente perfiladores (y deseabilidad)

sin tener que presionar “Excluir” una y otra vez.

Mi pregunta es simple: ¿hay alguna forma en JMP Pro de procesar este proceso por lotes? Si conoces un patrón JSL o un script de ejemplo que se adapte a este escenario, me sería de gran ayuda. Quiero seguir las mejores prácticas del Departamento de Energía; solo quiero reducir los clics manuales durante el proceso.

Re: Ajuste RSM eficiente y regresión escalonada en grandes conjuntos de datos DoE con mínimos clics en JMP Pro

¿Se correlaciona alguna de las variables de respuesta? De ser así, esto podría aliviar la carga. Si las variables Y no se correlacionan, tendrás que hacer concesiones en cuanto a las prioridades. Los modelos serán diferentes. No sé cómo escribir un script que integre el pensamiento lógico y racional en la toma de decisiones para el refinamiento del modelo. Quizás haya algún código que te haga más eficiente, pero lo desconozco.

Si fuera yo, estaría investigando qué hace que cada proteína sea diferente y por qué/cómo deberían configurarse los factores de manera diferente para cada proteína (¿quizás las proteínas se puedan categorizar?), pero no soy un experto en ciencias naturales y tecnología.

Re: Ajuste RSM eficiente y regresión escalonada en grandes conjuntos de datos DoE con mínimos clics en JMP Pro

Hola, puedes ahorrar tiempo grabando un guion de Fit Model y repitiéndolo para todas las respuestas. Así, no tendrás que hacer clic en "Ir" una y otra vez. Por cierto, soy Al Salman, gerente de marketing de Premium Crystal. Si buscas un alquiler de coches sin depósito en Dubái , tenemos la solución perfecta. Ofrecemos alquileres de coches en Dubái sin depósito, lo que hace que el proceso de reserva sea más cómodo y económico.

Re: Ajuste RSM eficiente y regresión escalonada en grandes conjuntos de datos DoE con mínimos clics en JMP Pro

Hola @DualARIMACougar ,

Como @statman destacó en sus respuestas, existen numerosas métricas para evaluar y comparar modelos, según los objetivos y el énfasis del modelado (explicativo, predictivo, una combinación de ambos, etc.). Puede consultar debates previos sobre este amplio tema: Análisis de diseño de parcela dividida con factorial completo vs. RSM / mejor modelo / Significancia estadística / ... Para los objetivos de optimización, se podría priorizar el rendimiento predictivo sobre el rendimiento de otras métricas, por lo que el RMSE y los criterios de información (AICc, BIC, etc., para evitar el uso de modelos demasiado complejos para la tarea predictiva) podrían ser indicadores sensatos.
También creo que, en lugar de crear varios diseños, cada uno para una proteína diferente, estas proteínas podrían usarse como un factor categórico en el diseño, con otros factores anidados dentro de la naturaleza/tipo de proteína. Si se cuenta con caracterizaciones/mediciones numéricas de estas proteínas, o si se pueden usar estructuras químicas para diferenciarlas y calcular descriptores moleculares, se pueden agrupar las proteínas en función de estos valores (para comprender mejor las diferencias y similitudes en sus resultados), o usar estos valores como covariables para crear el diseño (para asegurarse de tener una muestra de proteínas que cubra y sea representativa de la diversidad de la población de proteínas en estudio). El uso de factores continuos en lugar de factores categóricos ayuda a aumentar el espacio de inferencia. Puede consultar estas dos presentaciones para inspirarse: Aumentar la eficiencia y el dominio de aplicabilidad del modelo al probar opciones que son a primera vista factores categóricos multinivel.
Codificación con variables continuas y mixtas para explorar más el espacio de entrada (2022-US-45MP-1103)

Cuanto mayor sea la automatización en la fase de modelado, mayor será la probabilidad de error y riesgo en el análisis (y mayor será el escrutinio de los resultados del modelado/predicción y la validación que deberá realizar). Por ejemplo, podría ajustar varias docenas de modelos en JMP para sus respuestas, pero aún necesita evaluar la validez de cada modelo, en particular la validez de los supuestos de regresión .

Sin embargo, en relación con tus otros puntos, puedo sugerirte algunas otras opciones:

• Si tiene JMP Pro, le recomendaría usar la plataforma Regresión generalizada , con los métodos de estimación Normal Pruned Forward y Two Stage Forward regression , con criterio AICc (puede usar CTRL+clic para ajustar el mismo tipo de modelo en todas sus respuestas). Los modelos que obtuve a través de este tipo de modelado a menudo son muy satisfactorios, y necesito profundizar más cuando algunas métricas del modelo parecen débiles, o si los residuos muestran un patrón extraño (no aleatorio/no normal). Si ajusta varias respuestas, puede activar el Profiler para todas las respuestas en el triángulo rojo una vez que se hayan ajustado los modelos, así como otros tipos de Profiler. También puede guardar estas fórmulas de predicción en su tabla o Depósito de fórmulas , y en caso de varios modelos en competencia, use la plataforma Comparación de modelos (directamente desde Formula Depot o en el menú Predictive Modeling) para evaluar y comparar mejor los modelos en competencia.
• Si varias de sus respuestas están correlacionadas, también podría utilizar el modelo de regresión de mínimos cuadrados parciales , que puede aprovechar las correlaciones entre sus Y para modelar mejor el vínculo entre las X y las Y.
• Dado que su énfasis puede estar en el rendimiento predictivo, también puede intentar ajustar un modelo flexible utilizando diferentes opciones de modelado de aprendizaje automático, como el proceso gaussiano , las máquinas de vectores de soporte o el bosque aleatorio . Estos modelos de aprendizaje automático son más fáciles de implementar y se basan en suposiciones menos o más débiles, pero requieren cierto esfuerzo en una estrategia de validación adecuada para evitar el sobreajuste. La plataforma Selección de modelos también puede ser útil para filtrar, comparar y seleccionar rápidamente varios modelos de aprendizaje automático. Sin embargo, si sus diseños se basan en modelos para la respuesta superficial de segundo orden, es posible que estas opciones de modelado no funcionen bien.
• Finalmente, al utilizar un diseño de optimización, le interesa optimizar varias respuestas gracias a los factores identificados. Como primer intento, podría intentar reducir y visualizar su espacio de respuestas mediante PCA, otras proyecciones multivariadas (no lineales) (como UMAP) o escalamiento multidimensional para comprender mejor las similitudes y las desventajas de sus experimentos. Si dispone de puntos de referencia, puede añadirlos a la tabla antes de iniciar este tipo de análisis para visualizar y extraer las distancias entre sus experimentos y estos. Una vez reducido su espacio de respuestas, puede ajustar algunos modelos a estas respuestas "agregadas" transformadas.

Una vez que tenga modelos ajustados a las respuestas, puede usar el Simulador para generar puntos de datos sintéticos en su espacio experimental y usar la fórmula de predicción de sus modelos para predecir los valores de respuesta (para ver qué tan cerca coinciden con sus objetivos), o incluso guardar y usar las columnas de fórmula de deseabilidad para cada respuesta para calcular deseabilidades en este conjunto de datos sintéticos y resaltar mejor el frente óptimo de Pareto de los mejores candidatos (ya sean datos sintéticos o experimentos reales): puntos de datos que muestran el mejor valor de deseabilidad general para diferentes compensaciones/importancias de respuestas.

Espero que estas sugerencias te puedan ayudar.
¡Disfruta de las celebraciones de fin de año!