Introduction
Bienvenue dans notre série d'expériences de remplissage d'espace ! Dans la première partie, nous avons exploré les principes fondamentaux et les types courants de conception de remplissage d'espace. Nous abordons maintenant le cœur de notre étude comparative : l'établissement d'un cadre robuste pour évaluer et comparer ces conceptions dans différents scénarios.
Le cadre de l'étude comparative
Pour évaluer équitablement les conceptions d'aménagement optimisant l'espace, nous avons besoin de conditions standardisées et de mesures pertinentes. Notre approche évalue les conceptions selon de multiples dimensions de performance.
- Réponses
Réponse métrique/uniformité de la couverture spatiale
- Écart : Mesure l’écart par rapport à une distribution uniforme théorique. L’objectif est de minimiser la différence entre la distribution générée par le plan d’expérience et une distribution uniforme pour chaque facteur. L’écart permet d’évaluer la couverture spatiale et l’uniformité de la répartition des points du plan : plus l’écart est faible, plus la répartition des points est uniforme (et meilleure est la couverture de l’espace expérimental).
Une fois les facteurs saisis dans la plateforme de remplissage d'espace et le type de conception choisi, la valeur de l'écart peut être trouvée dans le panneau de diagnostic de conception (Figure 1).
Figure 1 : Panneau de conception de remplissage d’espace. Diagnostic de conception d’un remplissage rapide et flexible pour deux facteurs avec 20 exécutions. Les valeurs d’écart (rouge) et de MaxPro (bleu) sont affichées après la génération de la conception dans le panneau de diagnostic de conception .
Pour mieux comprendre la valeur de l'écart et comment elle se rapporte aux distances entre les points de conception, comparons deux conceptions de remplissage d'espace - l'hypercube latin et le remplissage flexible rapide - créées pour six facteurs avec 60 essais chacun (Figure 2).
Figure 2 : Visualisation de la distance minimale entre les points pour un remplissage flexible rapide et une conception d'hypercube latin.
En comparant la distance minimale entre les points pour les deux plans, on constate clairement que le plan hypercube latin offre une distribution de valeurs très étroite pour cette distance minimale. Ce comportement démontre la meilleure différenciation du plan hypercube latin par rapport au plan de remplissage flexible rapide pour cette dimensionnalité et ce nombre de points spécifiques, où les points sont uniformément répartis, ce qui garantit une distance minimale stable entre eux.
Réponse de la propriété de projection
- MaxPro évalue les propriétés de remplissage de l'espace sur les projections de tous les sous-ensembles possibles de facteurs. L'objectif est de minimiser le critère MaxPro afin de maximiser les distances entre les points dans toutes les dimensions, garantissant ainsi de bonnes projections des points de conception dans des espaces de dimension inférieure. Par conséquent, la seule façon de minimiser efficacement ce critère est de s'assurer qu'aucun point ne partage des coordonnées identiques, quelle que soit la dimension.
Une fois les facteurs saisis dans la plateforme Space Filling et le type de conception choisi, la valeur MaxPro se trouve dans le panneau Design Diagnostics (Figure 1).
La statistique MaxPro n'est pas définie pour la conception d'empilement de sphères car les points peuvent avoir des valeurs identiques pour une dimension.
Pour mieux comprendre la valeur MaxPro et son lien avec la propriété de projection des motifs, comparons deux motifs de remplissage d'espace - l'hypercube latin et le remplissage flexible rapide - créés pour six facteurs avec 60 essais chacun.
Si nous projetons les points de conception de ces deux conceptions de remplissage d'espace en deux dimensions, nous pouvons comparer les différences de projection (Figure 3).
Figure 3 : Visualisation de la propriété de projection de deux plans d’expériences de remplissage d’espace à six facteurs et 60 exécutions. Remarquez comment les liens de Waern relient tous les points du plan dans le scénario de l’hypercube latin en fonction de leur proximité réelle, mais pas pour le plan de remplissage flexible rapide.
Pour le plan hypercube latin de gauche, les distances entre les points sont homogènes et faibles. Cette faible homogénéité réduit la dispersion des points sur toutes les projections, augmentant ainsi la valeur du critère MaxPro. À droite, pour le plan de remplissage flexible rapide, les distances entre les points sont hétérogènes et plus élevées, ce qui diminue le risque de collapsus de ces points lors de la projection sur un nombre réduit de dimensions.
Lorsqu'on considère différentes tailles d'échantillon, les valeurs de divergence et de MaxPro sont fortement corrélées négativement. Un plan d'expérience avec une divergence très faible peut présenter une valeur de MaxPro élevée : du fait de la grande taille de l'échantillon, les distances entre les points du plan sont faibles, ce qui augmente le risque que ces points soient proches les uns des autres dans un espace de dimension réduite. Par conséquent, les critères de divergence et de MaxPro sont principalement utilisés pour comparer différents plans d'expérience ayant une taille d'échantillon identique.
Complexité de la génération de conception
- HP Time():La fonction HP Time() renvoie une valeur de temps de haute précision en microsecondes. Comme cette fonction n'est utile que lorsqu'elle est utilisée par rapport à une autre valeur HP Time(), elle est incluse dans le script de génération du plan. L'exemple présenté ici crée un plan d'empilement de sphères avec 60 essais pour trois facteurs, et l'enregistrement et l'affichage du temps de génération résultent de l'utilisation de deux fonctions HP Time().
t1 = HP Time();
DOE(
Space Filling Design,
{Add Response( Maximize, "Y", ., ., . ),
Add Factor( Continuous, -1, 1, "X1", 0 ),
Add Factor( Continuous, -1, 1, "X2", 0 ),
Add Factor( Continuous, -1, 1, "X3", 0 ),
Set Random Seed( 138892707 ),
Space Filling Design Type( Sphere Packing, 60 ), Simulate Responses( 0 ),
Set Run Order( Randomize ), Make Table}
);
t2 = HP Time();
Show( t2 - t1 ); The generation time (t2-t1) can be seen in the log (Figure 4).
Figure 4 : Résultat du journal du script avec l'affichage du temps de génération.
A transformed response column Time (s) is used for the response, as the units (seconds) are much more understandable and comparable between designs and enable the design generation time to be assessed more easily. The column Time (s) is created with the following formula:
Time (s) = HP Time (µs) / 1000000
- Facteurs
Afin de couvrir les principales différences entre les générations de conceptions de remplissage d'espace, nous devons préciser différents facteurs qui contribueront à créer des conceptions diversifiées en termes de méthodes de génération de conception, de dimensionnalité et de densité de points.
- Type de conception :Comme nous l'avons vu dans le premier article de cette série , différentes méthodes de génération de motifs existent pour les structures occupant l'espace, chacune privilégiant une distribution ou une géométrie particulière selon les cas d'utilisation et les avantages recherchés. Dans le cadre de cette étude, nous explorons les méthodes les plus courantes de génération de motifs occupant l'espace : remplissage uniforme , empilement de sphères , hypercube latin et remplissage flexible rapide .
- Dimensionnalité (nombre de facteurs) :À mesure que la dimensionnalité (nombre de facteurs) augmente, les performances des modèles de remplissage d'espace peuvent diminuer, car il devient plus complexe et plus long de maintenir une distribution uniforme pour chaque facteur et de bonnes propriétés de projection. Afin d'étudier l'impact de la dimensionnalité sur les différentes réponses mentionnées, nous analysons cet aspect à trois niveaux :
- Basse dimension: Trois facteurs
- Moyenne dimensionSix facteurs
- Haute dimensionNeuf facteurs
- Variations de la taille de l'échantillon (nombre d'essais/facteurs) :Par défaut, JMP utilise un ratio de 10 essais par facteur, ce qui garantit de bonnes performances et une modélisation aisée. Cependant, selon le budget expérimental alloué, les performances des plans d'expériences à remplissage d'espace peuvent varier considérablement, car il peut devenir complexe de maintenir une distribution uniforme pour chaque facteur ou de bonnes propriétés de projection pour un faible nombre de points de conception. Pour pallier ce problème, nous testons différentes tailles d'échantillon :
- Petit: Trois points de conception par facteur, une situation similaire à celle que l'on peut obtenir avec les plans composites centraux classiques (CCD), où la répartition des points est effectuée de manière à ce que chaque facteur soit testé à ses valeurs minimale, moyenne et maximale.
- Moyen: Vingt points de conception par facteur, proche du ratio par défaut de JMP de 10 points de conception par facteur.
- GrandCent points de conception par facteur, correspondant au besoin de construire des modèles hautement prédictifs, grâce à une forte densité de points dans l'espace de conception.
- Procédure expérimentale : choix du plan d'expérience
Nous souhaitons utiliser un plan d'expérience très simple qui facilitera la comparaison des différents niveaux de facteurs. De plus, comme la valeur initiale de génération du plan n'est pas fixe, nous voulons estimer la variabilité de l'algorithme et la distinguer des effets des facteurs. Par ailleurs, certaines combinaisons pourraient être difficiles à mettre en œuvre pour certaines configurations de plan ; nous recherchons donc un plan permettant une analyse robuste, même en présence de valeurs aberrantes ou manquantes.
Pour toutes ces raisons, un plan factoriel complet est choisi. Pour créer un plan factoriel complet dans JMP, la procédure est simple : dans le menu DOE, choisissez Classique puis Plan factoriel complet (Figure 5).
Figure 5 : Menu DOE pour la création d'un plan factoriel complet.
Suite à la définition des réponses et des facteurs énumérés précédemment, nous pouvons alors créer notre conception pour évaluer et comparer différentes configurations de remplissage de l'espace (Figure 6).
Figure 6 : Création d'un plan factoriel complet pour évaluer et comparer différents scénarios de remplissage de l'espace.
Étant donné qu'un plan factoriel complet peut effectuer toutes les combinaisons possibles de niveaux de facteurs, 36 essais sont nécessaires (4x3x3).Le script permettant de générer le plan factoriel complet est :
DOE(
Full Factorial Design,
{Add Response( Minimize, "Discrepancy", ., ., . ),
Add Response( Minimize, "MaxPro", ., ., . ),
Add Response( Minimize, "Time", ., ., ., ., ., "s" ),
Add Factor(
Categorical,
{"Fast Flexible", "Uniform", "Sphere Packing", "Latin Hypercube"},
"Type",
0
), Add Factor( Continuous, {3, 6, 9}, "Factors", 0 ),
Add Factor( Continuous, {3, 20, 100}, "Ratio exp/factors", 0 ),
Set Random Seed( 31068506 ), Make Design, Simulate Responses( 0 ),
Set Run Order( Randomize ), Make Table}
);
Le tableau de données obtenu avec ce script est visible sur la figure 7.
Figure 7 : Tableau complet du plan factoriel
Évaluation de la réponse
Pour chaque ligne du plan d'expériences, un modèle de remplissage d'espace est créé avec les valeurs de paramètres correspondantes : nombre de facteurs continus, nombre de points par facteur et type de plan. Les valeurs de l'écart et de la métrique MaxPro sont enregistrées pour toutes les configurations de plan.
Cadre d'analyse
Pour analyser les résultats de cette étude exhaustive sur les conceptions d'aménagement de l'espace, deux approches sont envisagées :
-
Approche d'analyse du classementPour simplifier la comparaison des performances du type de conception de remplissage d'espace à travers différentes configurations (dimensionnalité et taille de l'échantillon) pour les trois réponses, un classement est effectué, de 1 (meilleure conception) à 4 (pire conception).
Pour les réponses dont l'objectif est de minimiser la valeur, comme l'écart et le temps, le script utilisé fait intervenir la fonction Col Rank, qui renvoie le rang, 1 étant le plus bas.
- Formule de classement par écart :
Col Rank( :Discrepancy, :Factors, :"Ratio exp/factors"n, <
<TIE></TIE> <CODE class=" language-jsl">
<SPAN>Formule pour le classement par temps :<BR /></SPAN> <CODE class=" language-jsl">Col Rank( :Time, :Factors, :"Ratio exp/factors"n, <
<TIE></TIE> <SPAN><BR /></SPAN><SPAN>Formule du classement MaxPro :</SPAN><SPAN><BR /></SPAN> <CODE class=" language-jsl">Col Rank( :MaxPro, :Factors, :"Ratio exp/factors"n, <
<TIE></TIE>
<CODE class=" language-jsl"><CODE class=" language-jsl">
<CODE class=" language-jsl"><CODE class=" language-jsl">
<CODE class=" language-jsl"><CODE class=" language-jsl">
<UL>
<LI><STRONG><SPAN>Approche de modélisation</SPAN></STRONG><SPAN><SPAN>Une approche de modélisation est mise en œuvre à l'aide du script de modèle joint au tableau de données après la génération du plan d'expérience. Ce plan étant un plan factoriel complet, le modèle a priori par défaut spécifié dans ce script inclut tous les effets principaux (type de plan, nombre de facteurs et ratio d'expériences par facteur) ainsi que toutes les interactions à deux facteurs (Figure 8).<BR /><BR /></SPAN></SPAN><SPAN class="lia-inline-image-display-wrapper lia-image-align-inline" image-alt="FitModel1.svg" style="width: 888px;"><SPAN class="lia-inline-image-display-wrapper" image-alt="FitModel1.svg" style="width: 888px;"><SPAN class="lia-inline-image-display-wrapper" image-alt="FitModel1.svg" style="width: 888px;"><span class="lia-inline-image-display-wrapper" image-alt="FitModel1.svg" style="width: 888px;"><img src="https://us.v-cdn.net/6038925/uploads/images/86065i17D7A66B8EE3BEA4/FitModel1.svg" width="888" height="499" role="button" title="FitModel1.svg" alt="FitModel1.svg" /></span></SPAN></SPAN></SPAN><BR /><EM style="font-size: 1em;">Figure 8 : Lancement du modèle d'ajustement par défaut.</EM><EM style="font-size: 1em;">L'option <STRONG>« Ajustement séparé »</STRONG> est cochée afin d'ajuster des modèles distincts pour chaque variable de réponse.</EM><BR /><EM style="font-size: 1em;"><EM style="font-size: 1em;"><BR /></EM></EM> <P><SPAN>Comme trois niveaux sont utilisés pour les facteurs continus, le script de modélisation est modifié pour tenir compte des effets de courbure dus aux effets quadratiques des facteurs continus (Figure 9).<BR /></SPAN></P> <SPAN class="lia-inline-image-display-wrapper lia-image-align-inline" image-alt="FitModel2.svg" style="width: 889px;"><SPAN class="lia-inline-image-display-wrapper" image-alt="FitModel2.svg" style="width: 889px;"><SPAN class="lia-inline-image-display-wrapper" image-alt="FitModel2.svg" style="width: 889px;"><span class="lia-inline-image-display-wrapper" image-alt="FitModel2.svg" style="width: 889px;"><img src="https://us.v-cdn.net/6038925/uploads/images/86066i67BC3913B034FFA6/FitModel2.svg" width="889" height="500" role="button" title="FitModel2.svg" alt="FitModel2.svg" /></span></SPAN></SPAN></SPAN><EM style="font-size: 1em;"><EM style="font-size: 1em;">Figure 9 : Lancement du modèle d’ajustement modifié. Le script du modèle est modifié par l’ajout d’effets quadratiques pour les facteurs continus. Sélectionnez les deux facteurs continus, puis cliquez sur <STRONG>Macros</STRONG> > <STRONG>Polynôme au degré</STRONG> pour ajouter les deux effets quadratiques.<BR /><BR /></EM></EM> <P><SPAN>Le modèle utilisé pour analyser les réponses de performance des conceptions de remplissage d'espace comprend les effets principaux, les interactions à deux facteurs et les effets quadratiques pour les facteurs continus.</SPAN></P> </LI>
</UL> <BR /> <H2 style="font-weight: 400;" id="toc-hId-227218614" id="toc-hId-227305819" id="toc-hId-227305819" id="toc-hId-227305819"><STRONG>À suivre</STRONG></H2> <P><SPAN>Dans notre dernier article, nous dévoilons les résultats de cette comparaison exhaustive ! Nous montrons quelles conceptions de remplissage d’espace excellent dans différents scénarios et fournissons des recommandations pratiques pour le choix de la conception en fonction des objectifs et des contraintes expérimentales.</SPAN></P> <P><EM><SPAN>Il s'agit de la deuxième partie d'une série en trois parties sur les plans d'expériences optimisant l'espace :</SPAN></EM></P>
<OL>
<LI><SPAN><A href="https://community.jmp.com/t5/JMP-Blog/Part1-Introduction-to-common-types-of-space-filling-designs/ba-p/906541" target="_blank">Introduction aux types courants de conception de remplissage d'espace</A>. </SPAN></LI>
<LI><STRONG><SPAN>Cadre comparatif et indicateurs d'évaluation</SPAN></STRONG><SPAN>(ce message).</SPAN></LI>
<LI><A href="https://community.jmp.com/t5/JMP-Blog/Exploring-space-filling-designs-part-3-Results-analysis-and/ba-p/915402" target="_self"><EM><SPAN>Lignes directrices pour le choix des résultats, de l'analyse et de la conception</SPAN></EM></A><SPAN>.</SPAN></LI>
</OL>
Salut Victor, merci beaucoup pour cet article très instructif ! Est-il possible que JMP calcule les diagnostics de remplissage d'espace, comme l'écart et les critères MaxPro, pour les conceptions de remplissage d'espace non générées par JMP ? Il ne semble pas que l'outil « Évaluer la conception » propose ces statistiques ; je me demandais simplement s'il existait une autre méthode simple pour effectuer cette évaluation.
Salut @ktbrickey22 ,
Merci beaucoup pour vos commentaires positifs !
Actuellement, non, il n'est pas possible de calculer les diagnostics de conception à remplissage d'espace (écart et MaxPro) pour les conceptions générées en dehors de JMP. C'était également une question que je me posais lors de mes expériences pour ce blog : comment obtenir la valeur MaxPro pour une conception à remplissage d'espace ? Comme il semble difficile de calculer ces valeurs pour le moment, j'ai créé une liste de souhaits à ce sujet : une plateforme de comparaison de conceptions pour les conceptions à remplissage d'espace.
Pour l'instant, si je dois comparer les différences entre deux modèles de remplissage d'espace, j'utilise la fonction `discrepancy` de SciPy . Elle ne me donne pas les mêmes valeurs que JMP, mais me permet de comparer n'importe quels modèles. SciPy propose d'autres métriques et visualisations intéressantes, comme l'arbre couvrant minimal pour visualiser la distance minimale entre les points.
Pour MaxPro, c'est un sujet plus complexe et je n'ai pas encore trouvé de solution satisfaisante.
J'espère que cette réponse vous sera utile 
@Victor_G , j'ai une petite question. Concernant l'approche MaxPro que vous évoquez, vous mentionnez : « L'objectif est de maximiser le critère MaxPro afin d'assurer de bonnes projections des points de conception dans des espaces de dimension inférieure. » Or, l'aide indique qu'il s'agit de minimiser ce critère. Pourriez-vous m'éclairer à ce sujet ?
Salut @charlie_whitman ,
Merci beaucoup pour votre lecture attentive et votre commentaire, et pour avoir repéré cette erreur potentielle. Je suis sincèrement désolé, je crois avoir été induit en erreur en lisant la description du critère MaxPro. Ce critère vise à évaluer les propriétés de projection du circuit ; plus la valeur de projection est élevée, mieux c'est, car cela permet de maximiser l'information et d'obtenir un circuit efficacement espacé, même en présence de facteurs inactifs ou de faible importance. Il influence cet espacement en maximisant le produit des distances entre les points potentiels du circuit. Or, dans la formule du critère MaxPro de l'aide de JMP, cette distance entre les points du circuit figure au dénominateur, ce qui laisse penser que ce critère devrait être minimisé. Ceci est également confirmé dans la section « Diagnostic de conception » de l'aide de JMP : « Plus les valeurs sont faibles, mieux c'est » .
Même si cela est indiqué dans l'aide de JMP, je reste perplexe, surtout concernant l'option « Maximiser le critère MaxPro » dans la plateforme d'optimisation bayésienne. Quel est l'intérêt de maximiser le critère MaxPro (afin d'éviter que les essais ne soient regroupés ou « empilés » dans des sous-espaces plus petits de l'espace expérimental) ? L'aide précise : « Cette option permet une exploration sans modèle de l'espace des facteurs, évitant ainsi la duplication des paramètres des facteurs dans les données d'entraînement et le lot actuel. Utilisez cette option pour toute taille de lot lorsqu'un ou plusieurs modèles ne sont pas adaptés. » Si l'objectif est d'explorer davantage l'espace expérimental en raison d'un mauvais ajustement du modèle, cette option devrait-elle minimiser les valeurs MaxPro des nouveaux points de conception (pour augmenter la distance entre les points et explorer l'espace expérimental) au lieu de les maximiser, afin de garantir une bonne couverture des essais nouvellement ajoutés ?
Si quelqu'un de l'équipe JMP DoE pouvait m'aider à dissiper cette confusion, je lui en serais très reconnaissant !
Je corrigerai dès que possible les parties 2 et 3 de cette série d'articles de blog en conséquence.
