SVEM: ¿Red neuronal o Lasso?Estoy realizando un estudio de modelo de predicción con mezclas DoE (3 componentes) y un factor de proceso y una variable de respuesta (cuantitativa). Voy a aplicar SVEM, pero tengo una duda, ¿de qué depende al usar Neural Networks o Lasso?
Gracias por sus respuestas.
Modelado estadístico avanzadoAutomatización y secuencias de comandosAnálisis y modelado de datos básicosInvestigación de Consumidores y MercadosOrganización de contenidosAcceso a los datosCombinación y limpieza de datosExploración y visualización de datosDiseño de experimentosLa personalización en masaModelado predictivo y aprendizaje automáticoIngeniería de Calidad y ProcesosAnálisis de fiabilidadCompartir y comunicar resultadosRe: SVEM: ¿Red neuronal o Lasso?Hola @CrhistianDoE ,
Para los datos del DoE, diría que ninguna de estas opciones sería mi primera opción, por diferentes razones.
Las redes neuronales y Lasso (de Regresión generalizada ) son dos técnicas de análisis muy diferentes:
- Las redes neuronales son modelos complejos de aprendizaje automático capaces de aproximar cualquier función con suficientes capas y neuronas (consulte El teorema de aproximación universal: https://en.m.wikipedia.org/wiki/Universal_approximation_theorem ), que requieren una construcción cuidadosa con un número adecuado de capas. y neuronas y, lo que es más importante, una buena estrategia de validación. Como las redes neuronales pueden ser muy flexibles en el modelado y la aproximación de cualquier función, rápidamente puede tender a sobreajustarse sin una buena estrategia de validación y comenzar a modelar el ruido en sus datos. También se recomienda encarecidamente un conjunto de pruebas (o puntos de prueba/puntos nuevos en su espacio de diseño del DOE) para garantizar que el modelo de NN pueda generalizarse bien a nuevos puntos de datos desconocidos. Más explicaciones sobre las Redes Neuronales y su uso cauteloso en estos posts anteriores:
¿Diferencia entre nodos en la misma capa de red neuronal?
Detección de modelos: red neuronal/validación cruzada K-fold
ayuda con la comparación de modelos: DOE vs ANN impulsado
- Lasso de Regresión Generalizada es una técnica de penalización en modelos de regresión que es muy útil en el contexto de grandes conjuntos de datos con posible alta colinealidad entre variables/factores y/o cuando tienes más variables que observaciones, ya que ayuda a seleccionar características/variables: Lasso ayuda a seleccionar las variables más importantes de las variables correlacionadas y reducirá el coeficiente de las variables correlacionadas no seleccionadas a 0 (por eso es muy útil en el contexto de la selección de características).
Vea más aquí: Descripción general de la personalidad de regresión generalizada (jmp.com)
En su caso con datos DoE, tiene un conjunto de datos pequeño pero cuidadosamente planificado, con un modelo asumido si ha utilizado una plataforma de diseño personalizado o un diseño de mezcla tradicional, o tiene una repartición homogénea de puntos en su espacio de diseño si ha creado un espacio. -Diseño de relleno.
- Con el diseño de mezcla personalizado/tradicional, dado que el modelo ya se asume con la creación del diseño, no comenzaría con Lasso, SVEM ni ninguna técnica compleja. Usar Neural Network tampoco sería apropiado, ya que la repartición de puntos se basa en un modelo y puede no proporcionar una cobertura suficientemente homogénea/buena de su espacio de diseño. Por lo tanto, es posible que no haya suficientes niveles para que cada uno de sus factores utilice un modelo de interpolación complejo y de alto rendimiento como Neural Network.
Comience con el modelo asumido y los términos del modelo incluidos con una regresión "tradicional" (mínimos cuadrados estándar) y visualice/analice el ajuste de su modelo.
¿Cómo se veían las tramas "real versus prevista"? ¿Cómo son los residuos? etc...
Si ve que su modelo puede no ser lo suficientemente complejo como para capturar los vínculos entre sus 3 variables de mezcla, intente aumentar su diseño para incluir términos de orden superior. Tenga en cuenta que los diseños de mezclas ponen énfasis en la predictividad, por lo que sería mejor refinar el modelo con otros criterios además de los valores p, por ejemplo, Máxima Verosimilitud, RMSE, Criterios de Información como AICc o BIC,...
Algunas publicaciones sobre este tema: Resuelto: Re: Análisis de una mezcla DOE con regresión por pasos - JMP User Community
Resuelto: Mezcla cúbica de Scheffe y valor p - Comunidad de usuarios de JMP
Si desea utilizar plataformas de regresión generalizada, puede haber otros métodos de estimación más adecuados, como "Selección avanzada podada" (con método de validación AICc/BIC), "Selección directa de dos etapas" o, eventualmente, "Mejor subconjunto" (sólo si tiene un número limitado de factores, ya que probará muchos modelos con efectos principales y muchas combinaciones de términos de orden superior).
- Con los diseños de relleno de espacio, existen muchos métodos de aprendizaje automático que puedes (y debes) probar antes de considerar las redes neuronales. Normalmente, los bosques aleatorios y las máquinas de vectores de soporte son algoritmos de aprendizaje automático interesantes:
Tienen buen rendimiento predictivo en conjuntos de datos pequeños, son menos propensos al sobreajuste (más simples), son bastante robustos ante valores atípicos, tienen buen rendimiento de generalización, manejan situaciones no lineales, requieren pocos ajustes de hiperparámetros (los bosques aleatorios funcionan muy bien con configuraciones predeterminadas y puedes ajustar fácilmente SVM con la opción incorporada Tuning design ), son más fáciles de interpretar, etc...
Random Forest (llamado Bootstrap Forests en JMP) proporciona un buen punto de referencia para la comparación de modelos y, a menudo, es una opción predeterminada para probar. Algunas publicaciones personales en LinkedIn escritas sobre estos dos algoritmos para conjuntos de datos DoE:
- Bosques aleatorios: https://www.linkedin.com/posts/victorguiller_doe-machinelearning-randomforests-activity-7127557799810625536-FH7K
- Máquina de vectores de soporte: https://www.linkedin.com/posts/victorguiller_doe-machinelearning-statsjoke-activity-7117395916130537472-pJoB
Espero que esta (larga) respuesta te ayude.
