Introduction
Bienvenue dans le dernier article de notre série sur les plans d'expériences de remplissage d'espace ! Après avoir présenté notre cadre et notre méthodologie d'évaluation dans les articles précédents, nous vous proposons aujourd'hui les résultats complets de notre étude comparative. Ces résultats vous guideront clairement dans le choix du plan de remplissage d'espace le plus adapté à votre application.
Résumé des principaux résultats
Notre analyse portant sur quatre types de conception, trois paramètres de dimensionnalité et trois tailles d'échantillon par facteur révèle plusieurs informations intéressantes en termes de performances de conception et de temps de calcul.
Comme mentionnédans le billet précédent de cette série, l'analyse des résultats est effectuée à travers deux méthodologies différentes : un classement des types de conception à travers différentes dimensions et paramètres de taille d'échantillon (Figure 1), et une approche de modélisation où l'écart des réponses, MaxPro et les réponses temporelles sont modélisés en fonction des facteurs (Figure 2).
Figure 1 : Résultats du classement pour toutes les réponses.
Figure 2 : Profil de prédiction et importance des variables pour toutes les réponses.
Comme prévu, aucune solution de remplissage d'espace universelle ne se distingue parmi les différentes configurations testées. Le contexte détermine le choix optimal et, en particulier, la dimensionnalité et le nombre de points par facteur ont un impact significatif sur les performances de la solution, ainsi que sur le temps de calcul nécessaire.
Le remplissage rapide et flexible est la meilleure conception pour les propriétés de projection (critère MaxPro).
L'uniformité est la meilleure conception en termes de couverture spatiale/uniformité (critère de divergence), mais le temps de génération nécessaire à son calcul est le plus élevé et peut rapidement devenir prohibitif.
Il est intéressant de noter que les performances de la conception dépendent fortement de la taille de l'échantillon et des interactions de dimensionnalité, car les performances relatives peuvent varier en fonction du nombre total d'exécutions pour un nombre spécifique de facteurs.
Résultats du classement des types de conception
En utilisant les scripts présentés dans le deuxième article de cette série, les réponses continues peuvent être transformées en classements, où les performances des quatre modèles pour chaque dimensionnalité et scénario de taille d'échantillon sont évaluées de 1 (meilleur modèle) à 4 (pire modèle).
- Propriété de comparaison de la couverture spatiale (écart) :
- Les plans uniformes présentent les meilleures performances de couverture spatiale, quelle que soit la dimensionnalité et la taille de l'échantillon. Cela n'est pas surprenant, étant donné que ces plans tendent à répartir les points selon une distribution aussi uniforme que possible.comme on l'a vu dans le premier article de cette série, donc leurs performances concernant la métrique d'écart devraient être bonnes.
- Les plans en hypercube latin, qui répartissent les points selon une distribution uniforme, arrivent en deuxième position pour leurs bonnes performances de couverture spatiale.
- Enfin, les conceptions rapides et flexibles, qui équilibrent la couverture spatiale et les propriétés de projection, et les conceptions d'empilement de sphères, qui répartissent les points autant que possible à l'intérieur de la région de conception, se trouvent respectivement en troisième et dernière position (Figure 3).
Figure 3 : Classement des conceptions en fonction de leur divergence pour toutes les configurations de test de dimensionnalité et de taille d'échantillon (plus bas est mieux).
- Comparaison des propriétés de projection (MaxPro) :
- Les systèmes de remplissage rapides et flexibles offrent les meilleures performances de projection dans toutes les situations.
- Pour des tailles d'échantillon moyennes (20 essais par facteur) et élevées (100 essais par facteur), les plans uniformes présentent de meilleures performances que les plans hypercubes latins.
- Les conceptions d'empilement de sphères ont une statistique MaxPro indéfinie car les points peuvent avoir des valeurs identiques pour une dimension, ils n'apparaissent donc pas dans les classements (Figure 4).
Figure 4 : Classement MaxPro des conceptions pour toutes les configurations de test de dimensionnalité et de taille d'échantillon (plus bas est mieux).
- Comparaison de la génération au moment de la conception :
- Les plans hypercubiques latins présentent le temps de génération de plan le plus rapide dans presque toutes les configurations de dimensionnalité et de taille d'échantillon.
- Pour des échantillons de taille moyenne (20 essais par facteur) à élevée (cent essais par facteur), la conception flexible rapide est également un choix très compétitif pour sa vitesse de génération de conception.
- Les conceptions d'empilement de sphères sont généralement plus lentes à calculer, et les conceptions uniformes sont les conceptions les plus lentes à calculer (Figure 5).
Figure 5 : Classement des temps de génération des conceptions pour toutes les configurations de test de dimensionnalité et de taille d'échantillon (plus bas est mieux).
Résultats de la modélisation
En utilisant le script du modèle modifié présenté dans le deuxième article de cette série, les modèles sont appliqués aux trois réponses : l’écart, MaxPro et le temps. Pour chacune de ces réponses, on constate que l’ajustement du modèle ne semble pas satisfaisant (figure 6).
Figure 6 : Graphique réel vs. prédit pour le modèle d'écart de réponse initiale.
De plus, un schéma non normal et non aléatoire peut être observé dans les résidus (Figure 7).
Figure 7 : Visualisations des résidus montrant des modèles non aléatoires et non normaux.
Les valeurs résiduelles sont supposées être réparties aléatoirement autour de zéro, de sorte que la variation de la réponse soit entièrement expliquée par les effets inclus dans le modèle. En présence d'une distribution non aléatoire, sa nature peut révéler des problèmes potentiels avec le modèle. Dans ce cas, un effet de courbure, une non-normalité des résidus et une hétéroscédasticité (variance non homogène) peuvent indiquer qu'une transformation des données est recommandée pour corriger ces problèmes. Étant donné que les données couvrent une gamme d'échelles très variée (figure 8), une transformation logarithmique (ou une transformation de Box-Cox avec λ = 0) semble appropriée.
Figure 8 : Résultats d'une distribution lognormale ajustée sur la réponse à l'écart.
Cette évaluation est confirmée par l'évaluation de transformation Box-Cox fournie par JMP, montrant une valeur recommandée pour λ très proche de 0 (Figure 9).
Figure 9 : Résultat du panel de transformations Box-Cox pour la réponse à l'écart.
Sous le triangle rouge des transformations de Box-Cox (accessible via le triangle rouge à côté de Réponse […] dans Profilage des facteurs > Transformation de Box-Cox Y ), sélectionnez Remplacer par Transformation et une valeur lambda de 0 pour remplacer automatiquement le modèle d'ajustement par un modèle intégrant la transformation logarithmique appliquée à nos données. Les modèles semblent désormais adaptés à l'analyse des données expérimentales.
- Résultats de la modélisation de la réponse aux écarts :La majeure partie de la variation de la réponse à l'écart est expliquée par le ratio des facteurs exp/facteurs et le type de plan d'expérience. La dimensionnalité (nombre de facteurs) est également un facteur important, mais d'importance relativement moindre que les deux facteurs mentionnés précédemment (figure 2). Des effets d'interaction sont détectés, mais leur impact sur la variation de l'écart est relativement faible comparé aux effets principaux. Un effet quadratique très important est détecté pour le ratio des facteurs exp/facteurs (figure 10).
Figure 10 : Graphique de la taille des effets pour la réponse à l'écart.
L'impact du choix du type de conception sur la valeur de l'écart peut être visualisé simplement en affichant la valeur de l'écart mesurée par le rapport exp/facteurs pour chaque nombre de scénarios de facteurs analysés dans le DOE (Figure 14).
- Résultats de la modélisation de la réponse MaxPro :La majeure partie de la variation de la réponse MaxPro s'explique par le rapport des facteurs exp/facteurs et le type de plan d'expérience. La dimensionnalité (nombre de facteurs) est également un facteur important, mais d'importance relativement moindre que les deux facteurs mentionnés précédemment (figure 2). Le modèle détecte des effets d'interaction modérés impliquant les trois facteurs. Un effet quadratique très important est observé pour le rapport des facteurs exp/facteurs (figure 11).
Figure 11 : Graphique de la taille des effets pour la réponse MaxPro.
L'impact du choix du type de conception sur la métrique MaxPro peut être visualisé simplement en affichant la valeur MaxPro mesurée par le ratio exp/facteurs pour chaque nombre de scénarios de facteurs analysés dans le DOE (Figure 14).
- Résultats de la modélisation du temps de génération de la conception :Le type de plan à trois facteurs, le nombre de facteurs et le ratio exp/facteurs ont une importance similaire et élevée sur le temps de génération du plan (Figure 2). Des interactions importantes sont observées entre les trois facteurs, montrant comment la méthode de génération des points peut influencer ce temps (Figure 12). Le plan hypercube latin semble particulièrement adapté aux scénarios de forte dimensionnalité et de grande taille d'échantillon (nombre de points par facteur), tandis que les plans uniformes seraient plus appropriés aux scénarios de faible dimensionnalité et de petite taille d'échantillon.
Figure 12 : Graphique de la taille des effets pour la réponse temporelle.
L'impact du choix du type de conception sur le temps de génération de la conception peut être visualisé simplement en affichant le temps de génération de la conception mesuré par le rapport exp/facteurs pour chaque nombre de scénarios de facteurs analysés dans le DOE (Figure 13).
Figure 13 : Évolution du temps de génération de conception en fonction des facteurs type de conception, nombre de facteurs et ratio exp/facteurs.
Principaux enseignements
Les points forts spécifiques à chaque plan d'expérience s'accentuent avec l'augmentation de la taille de l'échantillon. Plus l'échantillon est grand, moins les écarts entre les distributions de chaque facteur sont importants, ce qui réduit l'écart. Cependant, à mesure que le nombre de points augmente, les distances entre ces points diminuent, ce qui accroît la valeur du critère MaxPro. Il est intéressant de noter qu'un compromis doit être trouvé entre l'écart et le critère MaxPro, en fonction du nombre d'essais par facteur. Ce compromis est particulièrement visible entre 60 et 80 essais, où il convient de privilégier un critère de performance du plan d'expérience plutôt que l'écart ou la métrique MaxPro (Figure 14).
Dans le cas de la modélisation MaxPro, un changement peut être noté concernant les performances des plans d'expériences hypercube latin et de remplissage flexible rapide en fonction de la dimensionnalité (nombre de facteurs) : lorsque le rapport du nombre d'expériences par facteur est d'environ 70, ces deux plans présentent des valeurs MaxPro qui augmentent avec le nombre de facteurs.
Figure 14 : Évolution de l'écart et des valeurs MaxPro en fonction des facteurs de conception.
Les plans d'expérience uniformes deviennent trop coûteux en ressources de calcul pour les données de grande dimension et/ou les échantillons de grande taille. Le compromis entre performance et rapidité privilégie différents plans selon les scénarios. Un tableau récapitulatif des résultats est fourni (Tableau 1).
Lignes directrices pratiques pour la sélection / Cadre de décision
Étape 1 : Évaluer votre contexte expérimental
- Dimensionnalité de l'espace factoriel (nombre et type de facteurs)
- Caractéristiques de réponse attendues (niveau de bruit)
- contraintes liées à la taille de l'échantillon
- Ressources informatiques disponibles
Étape 2 : Appliquer les règles de sélection
- Haute dimensionnalité :Évitez les motifs uniformes
- Types de facteurs mixtes et/ou présence de contraintes :Utilisez des modèles de remplissage rapides et flexibles
- Réponse bruyante :Privilégier les plans d'empilement de sphères ou commencer par une méthode de criblage/modélisation basée sur un plan d'expériences.
- Taille d'échantillon réduite : CréerModèles d'hypercubes uniformes ou latins
- Besoin d'un temps de génération de conception rapide : Générerhypercube latin ou modèles de remplissage flexibles rapides
Résumé : Comparaison des modèles d'aménagement occupant l'espace
Tableau 1 : Résumé des résultats par type de conception de remplissage d'espace.
Notez qu'un traitement du plan factoriel complet (plan uniforme avec neuf facteurs et 100 essais par facteur) n'a pas pu être effectué en raison d'un temps de calcul élevé (Figure 15) :
Figure 15 : Message JMP affiché pour le plan uniforme combiné, composé de neuf facteurs et de 100 essais par facteur.
Le calcul de ce plan d'expérience a été interrompu avant son terme pour cette configuration. Même si cette expérience était absente du plan factoriel complet, l'analyse aurait pu être menée sans problème.
Limites et perspectives d'avenir
Limites de l'étude
- Les contraintes de calcul ont limité les tests de plus grande dimension.
- Concentrez-vous sur les facteurs continus sans contraintes afin de permettre le test de plusieurs types de conception.
Recherches futures
- Intégration avec des stratégies d'apprentissage actif (optimisation bayésienne)
- Comparaison des performances avec différents modèles d'apprentissage automatique
- Robustesse/sensibilité au bruit dans la réponse
Conclusions et recommandations
Notre évaluation exhaustive démontre clairement que le choix de la conception du remplissage de l'espace doit être guidé par des caractéristiques expérimentales spécifiques plutôt que par des choix par défaut.
Points clés à retenir
- Il n'y a pas de solution universelle ; le contexte détermine le choix optimal.
- La dimensionnalité est cruciale.
- La conception à remplissage rapide et flexible est la meilleure conception pour les propriétés de projection (critère MaxPro).
- Le type de réponse est important ; les surfaces lisses et complexes nécessitent des approches différentes.
- Interactions liées à la taille de l'échantillon ; variations des performances relatives en fonction du nombre d'exécutions disponibles.
Recommandation finale :Utilisez notre cadre de décision comme point de départ, mais validez toujours vos choix de conception par des études pilotes lorsque cela est possible.
Ceci conclut notre série en trois parties sur les plans d'expériences optimisant l'espace :
- Introduction aux types courants de conception de remplissage d'espace
- Cadre comparatif et indicateurs d'évaluation
- Lignes directrices pour le choix des résultats, de l'analyse et de la conception(ce message)
Merci d'avoir suivi cette série ! J'espère que ces réflexions vous aideront à prendre des décisions plus éclairées concernant l'aménagement de l'espace dans vos propres projets.
Ressources et lectures complémentaires
- Configuration utilisée pour l'étude :
- Processeur : Intel(R) Core(TM) i9-11900H de 11e génération à 2,50 GHz (2,50 GHz)
- Mémoire vive installée : 64,0 Go (63,7 Go utilisables)
- Type de système : Système d’exploitation 64 bits, processeur x64
- Scripts JMP pour la génération et l'évaluation de conceptions
- Tableaux de résultats et visualisations étendus
- Références :
- « Conception d’expériences et apprentissage automatique pour l’innovation produit : une revue systématique de la littérature », par Rosa Arboretti, Riccardo Ceccato, Luca Pegoraro, Luigi Salmaso,https://doi.org/10.1002/qre.3025
- « Choix de conception et performances des modèles d'apprentissage automatique », par Rosa Arboretti, Riccardo Ceccato, Luca Pegoraro, Luigi Salmaso,https://doi.org/10.1002/qre.3123
- « Plans d’expériences informatiques : une revue », par Joseph VR, Qual Eng. 2016 ; 28 : 28-35.https://doi.org/10.1080/08982112.2015.1100447
- Portail de connaissances statistiques :Hypothèses du modèle de régression | Introduction aux statistiques | JMP
Salut @Victor_G ,
Merci pour vos articles ; ils m'ont été très utiles.
J'ai une question concernant le choix entre la méthode Latin Hypercube Design et la méthode Fast Flexible Design pour la simulation informatique.
Tenez compte des facteurs suivants ;
A : plage : 0 -1 (valeurs continues)
B : plage : 1-100 (Toutes les valeurs entières comprises dans la plage)
C : plage : 1-5 (Toutes les valeurs entières comprises dans la plage)
Question : JMP recommande l’utilisation du plan FFF pour les facteurs discrets. Or, les facteurs B et C sont techniquement discrets, mais leur intervalle (1, 2, 3, 4, …, 100) devrait contenir uniquement des valeurs entières. Je souhaite simplement éviter les valeurs décimales pour la simulation. Quel plan dois-je utiliser ?
JMP propose une option pour définir la largeur des valeurs des facteurs, ce qui me permet de supprimer la virgule dans l'hypercube latin. Je ne sais pas si cela a une incidence sur l'analyse.
Puis-je traiter les facteurs comme continus dans LHD et ajuster la largeur, ou utiliser une forme d'arrondi pour obtenir des valeurs entières ?
La documentation JMP fournie pour l'hypercube latin considère une entrée continue, mais la table de conception finale contient des valeurs entières.
https://www.jmp.com/support/help/en/19.0/index.shtml#page/jmp/example-of-creating-a-latin-hypercube-design.shtml#
Bonjour @Divya123rama ,
Merci pour votre gentil commentaire.
Voici ce que je pense de votre question :
Comme vous l'avez peut-être déjà lu dans la première partie de cette série d'articles de blog , « Exploration des plans d'expériences à remplissage d'espace, partie 1 : Introduction aux types courants de plans d'expériences à remplissage d'espace » (Communauté des utilisateurs de JMP) , les plans d'expériences de type hypercube latin créent un nombre de classes égal au nombre d'essais souhaités dans le plan final. Selon le nombre d'essais souhaité, le nombre de classes pour les facteurs et l'impact de l'arrondi des valeurs sur le plan dépendent de ce nombre. Dans l'exemple que vous présentez de l'aide de JMP, le plan comprend 8 essais pour des facteurs allant de 1 à 8. L'hypercube latin crée donc des classes de largeur 1, de sorte que chacune des 8 classes est utilisée dans le plan. Lorsque le nombre de facteurs correspond au nombre d'essais, les classes prennent des valeurs entières discrètes.
Dans votre cas, vous avez deux plages de facteurs très différentes : généralement, pour un facteur avec une petite plage discrète (1-5), le nombre de classes peut toujours être supérieur au nombre de valeurs possibles dans cette plage (5). Je recommanderais donc d'utiliser un facteur numérique discret, car l'arrondi des valeurs dans le plan d'expérience pourrait entraîner de nombreuses répétitions, ce qui pourrait affecter la couverture et la projection.
Exemple avec un plan d'expériences hypercube latin à 30 essais et uniquement des facteurs continus (B et C sont arrondis à l'entier supérieur après la génération du plan pour n'avoir que des valeurs entières) :
Exemple de plan de remplissage rapide et flexible avec 30 essais, A et B facteurs continus (B est arrondi à l'entier supérieur après la génération du plan) et C est numérique discret :
Exemple de conception de remplissage rapide et flexible avec 30 passages, A continu, B et C numérique discret :
Il semble que la répartition des essais entre les deuxième et troisième situations soit assez similaire, et toutes deux utilisent un plan d'expériences à remplissage flexible rapide en raison de la présence d'au moins un facteur numérique discret. La première situation est obtenue en forçant une génération LHD avec uniquement des facteurs continus, avant de les arrondir. Cette situation ne semble pas optimale, car la distribution des points apparaît regroupée, avec des lacunes à la frontière de l'espace expérimental.
Je recommanderais d'utiliser la conception Fast Flexible Filling dans ce cas, soit avec l'option 2, soit avec l'option 3.
J'espère que cette réponse vous aidera.
Victor, ta série en trois parties sur les motifs de remplissage d'espace était claire et utile.
Pour de nombreuses applications, les conceptions FFF avec analyse ultérieure des données de réponse à l'aide de méthodes d'apprentissage automatique, comme les modèles d'ensemble auto-validants, semblent être un excellent choix pour les processus dont les surfaces de réponse sont connues ou supposées être complexes.
Un avantage significatif des plans d'expériences à remplissage d'espace réside dans la réduction du besoin de tester le modèle prédictif, grâce à la taille relativement réduite des vides dans l'espace de conception. Comparés aux vides d'un plan d'expériences à remplissage d'espace classique, les vides d'un plan composite centré (CCD) ou d'un plan optimal sont extrêmement petits. Cet avantage se traduit par un flux de travail simplifié et une optimisation des coûts liés à la planification des expériences.
Merci!
Stephen Czupryna, Institut Pyzdek, Prescott Valley, Arizona, États-Unis
Salut @SteveCz ,
Merci beaucoup pour votre commentaire et vos retours positifs !
Je suis d'accord, les modèles Fast Flexible Filling sont d'excellents choix, avec de bonnes performances de projection et de correction des écarts, une grande variété d'applications grâce à la gestion de plusieurs types de facteurs et de contraintes, et un temps de génération informatique faible.
Oui, avec les plans d'expériences de remplissage d'espace et la modélisation par apprentissage automatique, l'objectif est de trouver un modèle capable d'interpoler de manière continue (selon l'algorithme choisi et l'hypothèse de comportement de la réponse) entre les points du plan. Pour valider la pertinence et l'utilité du modèle ajusté, vous pouvez utiliser des méthodes de validation spécifiques comme le Leave-One-Out et les modèles d'ensemble auto-validés. Pour certains modèles simples comme les forêts aléatoires et les machines à vecteurs de support, vous pouvez également vérifier les valeurs de certains hyperparamètres clés (profondeur des arbres pour les forêts aléatoires, pénalité et courbure pour les machines à vecteurs de support) afin de prévenir et d'évaluer le risque de surapprentissage et de choisir des valeurs d'hyperparamètres appropriées.
Enfin, rien ne vaut les essais de validation ; il est toujours judicieux de confirmer la validité du modèle en réalisant de nouvelles expériences à des endroits pertinents (meilleurs/pires résultats, zone plus éloignée des points de conception, etc.).
Meilleur,
