Diseño de relleno de espacio + algoritmos de aprendizaje automático: ¿cómo estimar el número adecuado de ejecuciones?Hola,
Para una sesión de JMP Inspire con Danone, dos usuarios me pidieron que hablara sobre el uso de Space Filling Design junto con algoritmos de aprendizaje automático. Me preguntaron cómo determinar el número óptimo de carreras.
¿Tendría usted una estrategia o un enfoque empírico para determinar esto?
Gracias por tu ayuda
Re: Diseño de relleno de espacio + algoritmos de aprendizaje automático: ¿cómo estimar el número adecuado de ejecuciones?No estoy seguro de si la aplicación de nuestro propio diseño de relleno de espacio en nuestro propio complemento XGBoost es relevante para su pregunta.
Si su "número de ejecuciones" se trata de las siguientes dos entradas (encerradas en un círculo) en el complemento, entonces supongo que sería una especie de problema de superficie de respuesta. Y lo que sugirió @malcolm_moore1 también está relacionado.
Re: Diseño de relleno de espacio + algoritmos de aprendizaje automático: ¿cómo estimar el número adecuado de ejecuciones?Hola Stéphane,
Los diseños de relleno de espacio generalmente se asocian con experimentos de simulación por computadora con una respuesta determinista (sin error aleatorio o se obtiene el mismo valor de respuesta si ejecuta configuraciones de factores idénticas). Consulte este documento.
Quizás pueda encontrar más detalles sobre su situación experimental, ya que no parece un problema típico de diseño de relleno de espacio y quizás exista una solución alternativa más eficiente.
Re: Diseño de relleno de espacio + algoritmos de aprendizaje automático: ¿cómo estimar el número adecuado de ejecuciones?Haga +1 en respuestas anteriores y suponiendo que esto esté relacionado con el ajuste de hiperparámetros en el aprendizaje automático, esta también podría ser una oportunidad para enviar comentarios e ideas a @ chris_gotwalt1 sobre optimización bayesiana/aprendizaje adaptativo.
Re: Diseño de relleno de espacio + algoritmos de aprendizaje automático: ¿cómo estimar el número adecuado de ejecuciones?Si nos adentramos en el mundo estocástico, el documento adjunto probablemente sea relevante y, en realidad, todavía sea una pregunta abierta. En particular, si te diriges a la Sección 4 sobre diseño experimental:
Recomendaciones adecuadas para los valores de n1; n2;N y las réplicas en cada entrada distinta faltan (en Ankenman et al. (2010) las recomendaciones son ad hoc) y, en cuanto a los experimentos de una etapa, están abiertas para estudio. Se puede construir un diseño de tercera etapa (o, de hecho, cualquier diseño de múltiples etapas) repitiendo la etapa 2 del proceso anterior.
A menudo, lo que he visto es que comienzas con "suficientes" puntos en tu diseño inicial (según la complejidad, que podría ser una cantidad sustancial) y luego dejas que la optimización bayesiana se haga cargo hasta que dejas de ver una mejora, lo cual no sucede. No siempre lo sé.
Sin embargo, en general queda una pregunta abierta: ¿cuánta exploración deberíamos hacer para llenar el espacio? En el segundo artículo que adjunto, el hallazgo fue que en algunos casos es mejor que los profesionales se ciñan a modelos más simples y clásicos.
Re: Diseño de relleno de espacio + algoritmos de aprendizaje automático: ¿cómo estimar el número adecuado de ejecuciones?Hola @Steph_Georges , si el cliente está interesado en explorar cómo se pueden usar los diseños de archivo espacial para la optimización de los hiperparámetros de ML, puede que mi grabación a continuación le resulte valiosa:
https://community.jmp.com/t5/JMP-in-the-Upstream/JMP-in-the-Upstream-7-Optimizing-your-Python-machine-learning/ba-p/467039
Re: Diseño de relleno de espacio + algoritmos de aprendizaje automático: ¿cómo estimar el número adecuado de ejecuciones?Buenas respuestas, pero todos estamos adivinando la intención del usuario. Podría imaginar diferentes usos del algoritmo Space Filling + (entrenamiento, ajuste, pruebas, pruebas de sensibilidad, etc., etc.). La siguiente pregunta sería el número óptimo de ejecuciones ¿para qué? A menudo no podemos responder preguntas sin mucha más información.
Re: Diseño de relleno de espacio + algoritmos de aprendizaje automático: ¿cómo estimar el número adecuado de ejecuciones?@peng_liu @russ_wolfinger No puedo evitar sumergirme en la madriguera del conejo, pero este es un problema particularmente intrigante del que no conozco ninguna literatura (pero envíame un mensaje si lo conoces). Para los pliegues internos, desea diseñar de manera que encuentre configuraciones competitivas que puedan ser elegidas como "ganadoras" en uno de los pliegues internos en diseños posteriores. De lo contrario, estará desperdiciando recursos en configuraciones de hiperparámetros que no tendrán ningún impacto en lo que se ensambla al final.
Re: Diseño de relleno de espacio + algoritmos de aprendizaje automático: ¿cómo estimar el número adecuado de ejecuciones?@Steph_Georges en una vida anterior usamos diseños de relleno espacial como otros describen para experimentos deterministas. Utilizamos procesos gaussianos o redes neuronales para los modelos. Preferimos las redes neuronales debido a la flexibilidad de los modelos, que eran mucho mejores para trabajar con los resultados, típicamente, altamente no lineales que encontraríamos.
El proceso gaussiano es excelente para modelar si busca el valor exacto de sus puntos de datos, pero no siempre es excelente para modelar lo que sucede entre los puntos de datos. No hay ruido en los experimentos deterministas, pero puede haber sesgo y aquí es donde GP puede ser menos efectivo que NN.
El número óptimo de carreras es un animal diferente. Siempre usamos la regla general de 10 veces el número de factores, pero eso no quiere decir que sea el número óptimo, fue algo que funcionó para nuestras necesidades.
HT
Factura
Re: Diseño de relleno de espacio + algoritmos de aprendizaje automático: ¿cómo estimar el número adecuado de ejecuciones?Buenas noches,
Lo siento, me doy cuenta de que no fui muy explícito y que mi mensaje está abierto a muchas interpretaciones.
A Danone (y otras empresas como L'Oréal, por ejemplo) les gustaría utilizar la metodología de Mixture DoE combinada con algoritmos de nueva generación como parte del desarrollo de sus formulaciones.
La tendencia está bien explicada en esta presentación por Victor Guiller de L'Oréal (en French User Group y Manchester Discovery Summit), quien muestra el uso de Space Filling Design y el algoritmo SVM para modelar el comportamiento con un modelo a priori desconocido (modelo- enfoque agnóstico, ya no es necesario el conocimiento previo de la forma del modelo): https://community.jmp.com/t5/Online-Abstracts/Synergy-Between-Design-of-Experiments-and-Machine-Learning-for/ec -p/708147#M2
El uso de Space Filling Design permite una pavimentación regular del área a investigar... lo que ayuda a guiar mejor los modelos de Machine Learning (los puntos demasiado separados dejan demasiada libertad para la interpolación, lo que lleva a superficies de respuesta aberrantes desde un punto de experiencia empresarial). vista).
Re: Diseño de relleno de espacio + algoritmos de aprendizaje automático: ¿cómo estimar el número adecuado de ejecuciones?Apoyaré el comentario de @peng_liu . Un uso de los diseños de relleno de espacio es optimizar los parámetros de ajuste para que pueda obtener un mejor ajuste del modelo.
Sin embargo, si la pregunta está relacionada con el uso de un diseño de relleno de espacio para un experimento, entonces creo que la mejor manera actual de hacerlo es crear diseños de relleno de espacio con un número variable de puntos de diseño y luego usar Comparar diseños.
Re: Diseño de relleno de espacio + algoritmos de aprendizaje automático: ¿cómo estimar el número adecuado de ejecuciones?Creo que hay que tener cuidado con el tipo de diseño que se utiliza con SVEM, especialmente para problemas de optimización de mezclas. Desea asegurarse de tener una cobertura buena y espaciada uniformemente de todo el espacio de mezcla que desea optimizar. Y dependerá de una cantidad de factores, incluido el error esperado en el proceso experimental y de medición.
Evaluar Diseño puede ayudar con esto, especialmente cuando se comparan diferentes diseños.
