Algorithmes Space Filling Design + ML - Comment estimer le nombre adéquat d'exécutions ?Salut,
Lors d'une session JMP Inspire avec Danone, deux utilisateurs m'ont demandé de parler de l'utilisation du Space Filling Design en conjonction avec des algorithmes de Machine Learning. Ils m'ont demandé comment déterminer le nombre optimal de courses.
Auriez-vous une stratégie ou une approche empirique pour déterminer cela ?
Merci pour votre aide
Re : Algorithmes Space Filling Design + ML - Comment estimer le nombre adéquat d'exécutions ?Je ne sais pas si l'application de notre propre conception de remplissage d'espace dans notre propre complément XGBoost est pertinente pour votre question.
Si votre « nombre d’exécutions » concerne les deux entrées suivantes (encerclées) dans le complément, alors je suppose que ce serait une sorte de problème de surface de réponse. Et ce que @malcolm_moore1 a suggéré est également lié.
Re : Algorithmes Space Filling Design + ML - Comment estimer le nombre adéquat d'exécutions ?+1 sur les réponses précédentes et en supposant que cela soit lié au réglage des hyperparamètres dans l'apprentissage automatique, cela pourrait également être l'occasion d'envoyer des commentaires et des idées à @chris_gotwalt1 sur l'optimisation bayésienne/l'apprentissage adaptatif.
Re : Algorithmes Space Filling Design + ML - Comment estimer le nombre adéquat d'exécutions ?Si nous entrons dans le monde stochastique, le document ci-joint est probablement pertinent et reste vraiment une question ouverte. En particulier, si vous vous dirigez vers la section 4 sur la conception expérimentale :
Recommandations adaptées pour les valeurs de n1 ; n2;N et les répétitions à chaque entrée distincte font défaut (dans Ankenman et al. (2010), les recommandations sont ad hoc) et, comme pour les expériences en une étape, sont ouvertes à l'étude. Un modèle de troisième étape (ou même tout modèle à plusieurs étapes) peut être construit en répétant l'étape 2 du processus ci-dessus.
Souvent, ce que j'ai vu, c'est que vous commencez avec "suffisamment" de points dans votre conception initiale (en fonction de la complexité, qui peut être importante), puis laissez l'optimisation bayésienne prendre le relais jusqu'à ce que vous ne voyiez plus d'amélioration - ce que vous ne faites pas. Je ne le sais pas toujours.
Il s'agit certainement d'une question ouverte en général : quelle quantité d'exploration devrions-nous faire avec le remplissage de l'espace. Dans le deuxième article que j'ai joint, la conclusion était que dans certains cas, les praticiens feraient mieux de s'en tenir à des modèles plus simples et plus classiques.
Re : Algorithmes Space Filling Design + ML - Comment estimer le nombre adéquat d'exécutions ?Bonjour @Steph_Georges , si le client souhaite explorer comment les conceptions de classement spatial peuvent être utilisées pour l'optimisation des hyperparamètres ML, vous trouverez peut-être mon enregistrement ci-dessous utile :
https://community.jmp.com/t5/JMP-in-the-Upstream/JMP-in-the-Upstream-7-Optimizing-your-Python-machine-learning/ba-p/467039
Re : Algorithmes Space Filling Design + ML - Comment estimer le nombre adéquat d'exécutions ?Bonjour Stéphane,
Les conceptions de remplissage d'espace sont généralement associées à des expériences de simulation informatique avec une réponse déterministe (pas d'erreur aléatoire ou vous obtenez la même valeur de réponse si vous exécutez des paramètres de facteurs identiques), voir cet article.
Peut-être pourrez-vous découvrir plus de détails sur leur situation expérimentale, car cela ne ressemble pas à un problème typique de conception de remplissage d'espace et il existe peut-être une solution alternative plus efficace.
Re : Algorithmes Space Filling Design + ML - Comment estimer le nombre adéquat d'exécutions ?Bonnes réponses mais nous devinons tous l'intention de l'utilisateur. Je pourrais imaginer différentes utilisations de Space Filling + Algorithm (formation, réglage, tests, tests de sensibilité, etc. etc.). La question suivante serait le nombre optimal d’exécutions pour quoi ? Nous ne pouvons souvent pas répondre aux questions sans beaucoup plus d'informations.
Re : Algorithmes Space Filling Design + ML - Comment estimer le nombre adéquat d'exécutions ?@Steph_Georges dans une vie antérieure, nous avons utilisé des conceptions Space Filling comme d'autres l'ont décrit pour des expériences déterministes. Nous avons utilisé soit le processus gaussien, soit les réseaux neuronaux pour les modèles. Nous avons préféré les réseaux neuronaux en raison de la flexibilité des modèles qui étaient bien meilleurs pour travailler avec les résultats, généralement hautement non linéaires, que nous rencontrions.
Le processus gaussien est idéal pour la modélisation si vous recherchez la valeur exacte de vos points de données, mais il n'est pas toujours idéal pour modéliser ce qui se passe entre les points de données. Il n'y a pas de bruit dans les expériences déterministes, mais il peut y avoir des biais et c'est là que GP peut être moins efficace que NN.
Le nombre optimal de courses est un animal différent. Nous avons toujours utilisé la règle empirique de 10 fois le nombre de facteurs, mais cela ne veut pas dire que c'est un nombre optimal, c'est quelque chose qui répondait à nos besoins.
HTH
Facture
Re : Algorithmes Space Filling Design + ML - Comment estimer le nombre adéquat d'exécutions ?@peng_liu @russ_wolfinger Je ne peux m'empêcher de descendre dans le terrier du lapin, mais c'est un problème particulièrement intrigant dont je ne connais aucune littérature (mais s'il vous plaît envoyez-moi si vous en connaissez). Pour les plis intérieurs, vous souhaitez concevoir de manière à trouver des paramètres concurrents qui peuvent être choisis comme « gagnants » dans l'un des plis intérieurs dans les conceptions ultérieures. Sinon, vous gaspillez des ressources sur des paramètres d'hyperparamètres qui n'auront aucun impact sur ce qui est ensemble à la fin.
Re : Algorithmes Space Filling Design + ML - Comment estimer le nombre adéquat d'exécutions ?J'appuierai le commentaire de @peng_liu . Une utilisation des conceptions de remplissage d'espace consiste à optimiser les paramètres de réglage afin que vous puissiez obtenir un meilleur ajustement du modèle.
Si la question, cependant, est liée à l'utilisation d'une conception de remplissage d'espace pour une expérience, alors je pense que la meilleure façon actuelle de le faire est de créer des conceptions de remplissage d'espace avec un nombre variable de points de conception, puis d'utiliser Compare Designs.
Re : Algorithmes Space Filling Design + ML - Comment estimer le nombre adéquat d'exécutions ?Je pense qu'il faut faire attention au type de conception que vous utilisez avec SVEM, en particulier pour les problèmes d'optimisation de mélange. Vous voulez vous assurer d’avoir une couverture bonne et uniformément espacée de tout l’espace de mélange que vous souhaitez optimiser. Et cela dépendra d’un certain nombre de facteurs, notamment de l’erreur attendue dans le processus expérimental et la mesure.
Évaluer la conception peut vous aider, en particulier lorsque vous comparez différentes conceptions.
Re : Algorithmes Space Filling Design + ML - Comment estimer le nombre adéquat d'exécutions ?Bonne soirée,
Désolé, je me rends compte que je n'ai pas été très explicite et que mon message est sujet à de nombreuses interprétations.
Danone (et d'autres sociétés comme L'Oréal par exemple) souhaiteraient utiliser la méthodologie Mixture DoE combinée à des algorithmes de nouvelle génération dans le cadre du développement de leurs formulations.
La tendance est bien expliquée dans cette présentation de Victor Guiller de L'Oréal (au French User Group et au Manchester Discovery Summit), qui montre l'utilisation du Space Filling Design et de l'algorithme SVM pour modéliser le comportement avec un modèle inconnu a priori (model- approche agnostique, la connaissance préalable de la forme du modèle n'est plus nécessaire) : https://community.jmp.com/t5/Online-Abstracts/Synergy-Between-Design-of-Experiments-and-Machine-Learning-for/ec -p/708147#M2
L'utilisation du Space Filling Design permet d'étudier un pavage régulier de la zone à étudier... ce qui permet de mieux orienter les modèles de Machine Learning (les points trop éloignés laissent trop de liberté d'interpolation, conduisant à des surfaces de réponse aberrantes d'un point d'expertise métier de voir).
