¿La gente alguna vez usa PLS en datos históricos para la selección de variables para encontrar variables importantes como entradas para el DOE?He visto varios seminarios web de JMP en los que utilizan el bosque Bootstrap para encontrar las variables VIP, generalmente seguido de una red elástica o una regresión escalonada para reducir aún más los términos que podrían ser importantes para futuros DOE.
Tengo curiosidad por saber si alguien usa la regresión PLS en el proceso, tal vez después del bosque Bootstrap, para identificar mejor las variables importantes o correlacionadas antes de hacer Elastic Net, etc., o ¿el hecho de que Elastic Net mantenga o elimine conjuntos de variables correlacionadas niega la necesidad de esto?
Me pregunto si alguien usa esto en sus procesos. He visto algunos seminarios web donde se usa PLS para extraer datos de procesos biológicos.
Modelado predictivo y aprendizaje automáticoRe: ¿La gente alguna vez usa PLS en datos históricos para la selección de variables para encontrar variables importantes como entradas para el DOE?Hola @mjz5448 ,
Como ocurre con todos los enfoques estadísticos, la respuesta más sencilla es «depende». Tiene razón al afirmar que Elastic Net ya realiza la selección de variables de forma eficiente, por lo que quizás no necesite/desee aplicar PLS adicionalmente. La otra ventaja es que los coeficientes del modelo en las EN son directamente interpretables, lo que permite relacionar directamente los predictores con la variable de respuesta. También debe considerar el propósito de PLS, que consiste principalmente en generar un modelo predictivo, no explicativo (aunque podría hacerse, aunque con un nivel adicional de complejidad debido a la carga y las combinaciones lineales de todos los factores). En el caso de seleccionar factores DOE, conviene probar un enfoque más adecuado para el modelado explicativo que para el predictivo.
Espero que ayude, estoy seguro de que otros tienen alguna discusión valiosa que agregar.
Gracias,
Ben
Re: ¿La gente alguna vez usa PLS en datos históricos para la selección de variables para encontrar variables importantes como entradas para el DOE?Hace años, cuando trabajaba en una gran empresa química que era muy buena en el recubrimiento de materiales sobre un sustrato (piense en película fotográfica y papel), utilizamos PLS para ayudar a informar los experimentos diseñados todo el tiempo por las siguientes razones:
1. Número muy reducido de ejecuciones en la fabricación con muchos factores de entrada. Considere conjuntos de datos amplios y cortos. Diseñado específicamente para PLS.
2. Mucha multicolinealidad entre los factores.
3. La verdadera comprensión del proceso se ha perdido a lo largo de los siglos... algunos de estos productos los hemos estado fabricando durante décadas y el mantra habitual en la fabricación es "simplemente hazlo como la última vez"... porque realmente no sabemos cómo funciona todo.
4. Los métodos de selección de variables basados en árboles o regresión penalizada aún no se utilizaban popularmente en el software.
5. Y lo que motiva todo este esfuerzo es: «La magia de la física, la química o la biología no funcionó anoche cuando intentamos hacer (rellena el espacio en blanco). Y desconocemos la(s) causa(s) raíz».
Así que usamos PLS para intentar identificar factores clave y luego visitamos instalaciones piloto/a pequeña escala para realizar experimentos diseñados con el fin de comprender mejor los procesos e identificar las causas raíz de los modos de fallo sistémicos. Dos de los ingenieros con los que trabajé tenían frases que me resonaron (como estadístico en muchos de estos equipos de resolución de problemas): «A veces, saber lo que no es es tan valioso como saber lo que es». Y la otra era: «Hasta que no puedas activar y desactivar un modo de fallo... no conoces la causa raíz».
En resumen, fue la combinación de PLS y DOE lo que nos permitió conseguir lo que buscábamos. ¿Espero que te sirva?
Re: ¿La gente alguna vez usa PLS en datos históricos para la selección de variables para encontrar variables importantes como entradas para el DOE?Hola @mjz5448 ,
Estoy totalmente de acuerdo con @P_Bartell sobre el uso de Mínimos Cuadrados Parciales (PLS), principalmente en situaciones que involucran colinealidad/correlación entre entradas y salidas, donde el número de variables de entrada es mayor que el número de experimentos. Los Mínimos Cuadrados Parciales (PMP) se utilizan para desarrollar modelos que utilizan correlaciones entre Y y X.
PLS es un modelo que se utiliza habitualmente en quimiometría para analizar datos espectrales, ya que se dispone de un gran número de X correlacionadas (por ejemplo, la intensidad de cada longitud de onda) y pocas observaciones o experimentos para predecir ciertas respuestas. En este caso, se aprovechan las correlaciones entre X para obtener un buen modelo predictivo mediante PLS (con una metodología de validación y prueba adecuada). Este tipo de modelo permite la interpretación y explicación, y en el contexto de la quimiometría se pueden utilizar el Gráfico de Importancia de Variables y otros gráficos para identificar bandas o áreas de longitudes de onda importantes relacionadas con funciones, grupos o moléculas químicas específicas. El uso del Perfilador disponible en esta plataforma también permite visualizar interactivamente la importancia de las variables, y también se pueden calcular los índices de sensibilidad de Sobol mediante la opción " Evaluar la Importancia de Variables ".
El uso de cualquier método de modelado debe estar vinculado al nivel de conocimiento previo, sus objetivos y su contexto experimental.
En etapas muy tempranas de selección, con escaso conocimiento previo y pocas ejecuciones experimentales, el objetivo suele ser identificar efectos importantes, independientemente de la precisión de las estimaciones de los efectos (que posteriormente podrían confirmarse y precisarse mediante la recopilación de datos informativos mediante DoE). En tal situación, la regresión penalizada (Lasso, Ridge, Elastic Net, selector Dantzig) suele ser útil para identificar efectos importantes, a costa de aumentar el sesgo en las estimaciones de los efectos. Tenga en cuenta que el uso de diferentes métodos de penalización difiere según sus suposiciones sobre la escasez de efectos: Lasso realiza la selección de variables aplicando estimaciones a 0 para las variables correlacionadas, lo cual puede ser beneficioso si se espera un pequeño número de predictores importantes entre un gran número de candidatos. Un enfoque menos agresivo sería Ridge, que reduce la magnitud de los efectos correlacionados sin realizar estimaciones a 0 (en el caso de múltiples predictores correlacionados de importancia similar), o la estimación Elastic Net, que combina las penalizaciones de Lasso y Ridge.
Si tiene más observaciones o experimentos, puede probar otros métodos de selección de características que no se basen en sesgos ni penalizaciones, como Bosque aleatorio , o usarlo como una opción de cribado de predictores , utilizando la importancia de las características (contribución de las columnas) para identificar las características más importantes o activas. También puede probar el complemento Asistente de selección de predictores, que ayuda a seleccionar variables basándose en una versión mejorada del cribado de predictores que utiliza el método de selección de características Boruta y Bosque aleatorio.
También puedes consultar las conversaciones relacionadas en estos temas:
Regresión múltiple con variables correlacionadas
¿Cuál es la mejor plataforma JMP para la selección de funciones?
¿Existe un equivalente a la multicolinealidad para las variables categóricas en JMP?
Mi recomendación sería probar, comparar y (eventualmente) combinar los diferentes enfoques de modelado mencionados (y más), y comparar los modelos obtenidos para ver qué términos se incluyen y cuán similares o diferentes son. Esto podría ayudarle a comprender lo más importante.
Espero que esta respuesta te ayude.
Re: ¿La gente alguna vez usa PLS en datos históricos para la selección de variables para encontrar variables importantes como entradas para el DOE?No existe una herramienta correcta ni una secuencia de herramientas que proporcione información a todos. Sin duda, cada uno tiene sus preferencias sobre qué herramienta es más efectiva o eficiente según la situación. En cualquier caso, la respuesta no está en la herramienta. La clave es el pensamiento crítico, que requiere iteración.
Se podría empezar con hipótesis basadas en la ciencia o la ingeniería (por ejemplo, termodinámica, entropía). Si no se tienen hipótesis, la minería de datos puede ser útil. Utilizo la minería de datos con bastante frecuencia. Básicamente, analizo los datos para identificar patrones (o la ausencia de ellos). Esto, por supuesto, se hace mejor gráficamente.
Existen muchas formas de regresión que intentan cuantificar relaciones (p. ej., MCO, por pasos, PCR, de cresta, PCA, PLS, etc.). Si solicitan al investigador que explique los resultados, esto puede ser muy útil (p. ej., por qué este factor parece significativo o por qué este no lo es). Esto constituye el desarrollo de hipótesis (quizás para evaluarse en experimentos diseñados).
Sólo algunas palabras de precaución al utilizar datos históricos u observacionales.
1. Si existe un factor que se ha considerado crítico en algún momento del pasado (por cualquier medio), podría haber controles sobre este factor que impidan su variación significativa. El análisis de dicho factor podría mostrar que es insignificante en cualquier análisis de regresión (es decir, que no varió mucho).
2. Puede haber factores de confusión ocultos (x que no se identificaron ni etiquetaron en el conjunto de datos).
3. La capacidad de modelar lo que sucedió, no significa que podamos predecir lo que sucederá .
4. La extrapolación del modelo fuera del rango de x recopiladas, sin comprensión, podría serpeligroso.
5. La regresión utilizada con datos históricos no considera el contexto en el que se adquirieron los datos (por ejemplo, ¿conoce la incertidumbre de la medición?)
6. Puede verse fácilmente afectado por puntos de datos "malos".
