Des résultats « surprenants » dans une conception DSDDans le cadre d'un mémoire de maîtrise, un plan d'expérience de criblage définitif à six variables continues a été réalisé. Nous avons généré un plan standard dans JMP avec 17 essais (+3 essais supplémentaires au niveau zéro).
Les résultats m'ont surpris, car un nombre considérable d'interactions et d'effets quadratiques sont hautement significatifs. J'ai d'abord soupçonné un surapprentissage, mais rien ne le confirme. Nous obtenons un excellent coefficient de détermination (R²), aucun VIF élevé, un test de Durbin-Watson normal, etc. De plus, la valeur PRESS est de 0,044.
Ces résultats restent inchangés ou très similaires même lorsque l'hérédité stricte est désactivée dans l'analyse DSD. Dans ce cas, 2 à 3 effets d'interaction ou quadratiques supplémentaires apparaissent, qui sont à nouveau hautement significatifs.
D'après les informations dont je dispose, je ne vois actuellement aucune raison de douter de la validité des résultats. À moins que je n'aie négligé un élément ?
Conception des expériencesRe : Résultats « surprenants » dans une conception DSDPour un plan d'expérience à 6 facteurs, il s'agit d'un plan relativement « grand ». Comme il n'y a que 27 effets estimables sur une surface de réponse à 6 facteurs, vous avez de bonnes chances d'en estimer un grand nombre. Les valeurs centrales varient de 3,915 à 4,018, ce qui correspond à un écart-type résiduel d'environ 0,02. Par conséquent, tout effet nettement supérieur à 0,2 a de fortes chances d'être significatif. Quant aux points de basculement, j'observe des différences d'environ 0,6.
Oui, c'est tout à fait possible. Partager le tableau de données en question nous aiderait à approfondir la question.
Re : Résultats « surprenants » dans une conception DSDIl est pratiquement impossible de répondre, faute d'informations suffisantes sur l'expérience elle-même. S'agit-il d'une véritable expérience physique (ou d'une simulation) ? L'erreur de mesure a-t-elle été quantifiée a priori ? Comment l'erreur quadratique moyenne (EQM) a-t-elle été estimée ? La variation de la réponse a-t-elle une quelconque utilité pratique ? La signification statistique est une affirmation conditionnelle. Elle n'a de sens que si l'estimation de l'EQM est une estimation raisonnable de la réalité (et si vous comprenez ce qui constitue cette estimation).
Re : Résultats « surprenants » dans une conception DSDSalut @NominalGemsbok3 ,
J'ai peut-être des propositions et des remarques complémentaires concernant les résultats que vous avez obtenus.
- Sur le plan pratique, il existe de meilleures métriques pour évaluer un éventuel surapprentissage : minimiser le R² ajusté et l’écart entre le R² et le R² ajusté (le R² tend à augmenter avec le nombre de termes du modèle, tandis que le R² ajusté prend en compte la complexité du modèle et pénalise les modèles trop complexes). Les critères d’information (comme l’AICc et le BIC ) permettent de comparer différents modèles et offrent un bon équilibre entre précision et complexité. Les valeurs PRESSE (R² et RMSE) sont également de bons indicateurs de performance, car elles reposent sur une validation croisée Leave-One-Out, permettant ainsi d’avoir un aperçu des performances pour les points non utilisés lors de l’entraînement du modèle. Toutes ces métriques facilitent la sélection du modèle et permettent d’éviter le piège de la « croyance à la signification statistique ».
- Par ailleurs, la signification statistique diffère de l'importance pratique des effets : un rapport signal/bruit très élevé peut faciliter la détection d'effets statistiquement significatifs, même sans incidence pratique. Il est donc essentiel de s'appuyer sur une expertise du domaine pour identifier les effets pertinents et importants et orienter le choix du modèle.
- Concernant le nombre d’effets actifs, il est rassurant de constater que :
- L'approche de conception et de modélisation est judicieusement choisie compte tenu du nombre de termes actifs détectés. D'après l'aide de JMP sur le criblage définitif : « Un DSD à taille d'exécution minimale est capable d'identifier correctement les termes actifs avec une forte probabilité si le nombre d'effets actifs est inférieur à environ la moitié du nombre d'exécutions et si la taille des effets dépasse deux fois l'écart type . » Avec 9 termes actifs détectés sur 17 exécutions initiales (plus 3 points centraux ajoutés) et une RMSE relativement faible, vous semblez être dans une situation favorable, comme indiqué.
- Ils respectent le principe de hiérarchie des effets : plus l’ordre de l’effet est élevé, moins il est susceptible d’expliquer la variation de la réponse. Dans votre cas, 5/6 (83 %) des effets principaux sont détectés comme significatifs, ainsi que 3/15 (20 %) des interactions à deux facteurs et 1/6 (16,7 %) des effets quadratiques. La proportion d’effets actifs peut sembler élevée, mais elle tend à suivre la même régularité en fonction de l’ordre des effets que celle décrite dans l’article de Xiang Li, Nandan Sudarsanam et Daniel D. Frey (mars 2006) « Regularities in Data from Factorial Experiments » (https://doi.org/10.1002/cplx.20123 ).
Il semble que vos résultats soient le fruit d'une sélection rigoureuse des prédicteurs potentiellement pertinents, d'un faible niveau de bruit dans l'expérimentation et la mesure des réponses, ainsi que d'un choix de conception et d'une approche de modélisation appropriés. Félicitations !
J'espère que cette réponse vous aidera à avoir confiance en ces résultats positifs.
Re : Résultats « surprenants » dans une conception DSDIl s'agit d'une expérience physique réelle. L'erreur quadratique moyenne (EQM) a été estimée à partir des résidus d'un modèle linéaire. Pour valider cette estimation, l'erreur pure a été calculée à partir de points centraux répliqués (variance ≈ 0,002). Un test d'adéquation du modèle n'a révélé aucune inadéquation significative (p = 0,79), le carré moyen de l'inadéquation étant inférieur à celui de l'erreur pure. Par conséquent, l'EQM peut être considérée comme une estimation appropriée de la variance de l'erreur.
Re : Résultats « surprenants » dans une conception DSDMerci beaucoup pour cette réponse encourageante et détaillée.
Re : Résultats « surprenants » dans une conception DSDMerci pour votre réponse. Que voulez-vous dire par « tableau de données réel » ?
Re : Résultats « surprenants » dans une conception DSDEst-il possible d'envoyer un fichier JMP codé ? Je souhaiterais tester quelques modèles GENREG.
Re : Résultats « surprenants » dans une conception DSDBonjour,
Voici un fichier JMP codé.
Re : Résultats « surprenants » dans une conception DSDJ'ai effectué une analyse rapide (ajustement du modèle) et mes résultats sont complètement différents des vôtres. Trois effets principaux sont les plus importants. J'ai ajouté le modèle ajusté à votre tableau de données (Tableau 1).
Re : Résultats « surprenants » dans une conception DSDSe pourrait-il que la différence provienne du fait qu'il s'agit d'un plan d'expériences de criblage définitif et que j'ai utilisé la fonction DoE → Criblage définitif → Ajuster le criblage définitif dans JMP pour l'analyse, contrairement à vous ? Je suis convaincu que les plans d'expériences de criblage définitif doivent impérativement être analysés à l'aide de la méthode appropriée.
Re : Résultats « surprenants » dans une conception DSDNotez que dans un plan d'expériences détaillé (DSD), de nombreux effets d'interaction sont corrélés (fortement superposés) (R > 0,7 ; voir les champs roses ci-dessous et la section « Évaluation du plan – Carte de couleurs des corrélations » du tableau en annexe). Avec 5 facteurs actifs, il est nécessaire d'étendre le DSD et d'ajouter des essais supplémentaires pour éliminer les effets d'interaction superposés.
Re : Résultats « surprenants » dans une conception DSDSi vous exécutez le modèle de sélection définitif et sélectionnez « Créer un modèle », quel est le résultat ? Vous constatez que la signification de la valeur p est basée sur le point central répliqué.
Re : Résultats « surprenants » dans une conception DSDDans les résultats DSD, on observe 5 effets purs significatifs ainsi que quelques effets d'interaction potentiellement significatifs mais corrélés, qui nécessitent un désaliasing par l'ajout d'exécutions supplémentaires.
Re : Résultats « surprenants » dans une conception DSDDans le tableau ci-joint, l'analyse DSD utilisant la plateforme fit DSD ; deux effets d'interaction corrélés significatifs sont détectés : (1) facteur1 * facteur3 corrélé avec facteur2*facteur5 et (2) facteur4*facteur5 corrélé avec facteur1*facteur2.
Remarquez que dans les champs roses de la carte de couleurs de corrélation, il y a également un repliement de spectre avec les effets d'interaction du facteur 6 ; cependant, comme le facteur 6 n'est pas un effet actif, je n'ai pas tenu compte de ses interactions ; un très bon modèle peut être construit avec des itérations à partir des 5 effets principaux significatifs.
Re : Résultats « surprenants » dans une conception DSDSalut @frankderuyck et @NominalGemsbok3 ,
Il n'existe pas de modèle optimal absolu, pour de multiples raisons : choix de la métrique de performance, seuil (pour la p-valeur par exemple), méthode d'estimation, etc. De plus, un plan d'expériences en deux dimensions (DSD) ne comporte pas suffisamment de traitements uniques (degrés de liberté) pour estimer tous les effets. On peut donc facilement se retrouver avec des modèles différents mais concurrents, présentant de bonnes performances. On pourrait considérer un DSD comme un type de plan d'expériences sursaturé pour la modélisation par surface de réponse.
Comme l'a mentionné @frankderuyck , en raison de la présence d'alias partiels/corrélations entre les effets d'interaction, et également entre les effets quadratiques du fait de la structure du plan expérimental, il est impossible d'être certain à 100 % de l'impact « réel » des effets d'interaction et des effets quadratiques sur la variable cible, tels que détectés par les différentes méthodes de modélisation, à moins d'ajouter des simulations pour affiner le modèle. On peut toutefois avoir davantage confiance dans les effets principaux, car la structure du plan expérimental évite toute corrélation entre les effets principaux et entre les effets principaux et les effets d'ordre supérieur, ce qui permet de les estimer sans biais.
« Tous les modèles sont faux, mais certains sont utiles . »
J'ai tenté de créer une visualisation spécifique appelée diagramme raster (voir Diagrammes raster ou autres outils de visualisation pour l'évaluation et la sélection de modèles dans le cadre des plans d'expériences afin de comprendre sa création) sur cet exemple. L'objectif est de montrer la multiplicité des modèles due à l'explosion combinatoire des termes possibles (outre l'ordonnée à l'origine, il existe 27 termes d'effet possibles : 6 effets principaux, 15 interactions à deux facteurs et 6 effets quadratiques). J'ai utilisé la plateforme Stepwise et l'option « Tous les modèles possibles » (jusqu'à 10 termes dans le modèle avec une forte hypothèse d'hérédité). Voici le résultat des modèles, triés par valeur R², qui indique les termes inclus dans chaque modèle (chaque ligne).
Je préfère utiliser un critère d'information pour comparer plusieurs modèles, tel que l'AICc (plus il est bas, mieux c'est), car il pénalise l'utilisation d'un trop grand nombre de termes et permet une meilleure comparaison pour des modèles de complexités différentes :
Comme vous pouvez le constater, la plupart des modèles s'accordent sur la présence des effets principaux des cinq premiers facteurs. Concernant le facteur 6, les résultats divergent et aucun schéma clair ne se dégage quant à la présence de cet effet principal. Pour les interactions et les effets quadratiques, il est également difficile d'observer des tendances marquées, si ce n'est que certains effets d'ordre supérieur semblent être systématiquement absents : interactions facteur 1 x facteur 6, facteur 2 x facteur 4, facteur 3 x facteur 5, facteur 3 x facteur 6, facteur 4 x facteur 6 et facteur 5 x facteur 6. Quant à l'effet quadratique, l'interaction facteur 6 x facteur 6 est le plus souvent absente des modèles. En examinant de plus près les meilleurs modèles selon la valeur du R², on observe des résultats intéressants concernant les effets d'ordre supérieur.
Les interactions Facteur 1 x Facteur 3 et Facteur 4 x Facteur 5 sont fréquemment choisies dans les modèles. De plus, les effets quadratiques des facteurs 2 et 4 sont également souvent sélectionnés. Ces résultats concordent avec ceux obtenus grâce à la plateforme Fit Definitive Screening, qui a détecté les mêmes effets principaux et d'ordre supérieur.
En limitant la comparaison à trois méthodes d'estimation différentes, on observe également cette situation de combinaisons de modèles et de termes différentes et équivalentes. Par exemple, avec les méthodes d'estimation Fit Definitive Screening, GenReg Normal Pruned Forward et GenReg Two Stage Forward, on peut comparer à la fois les performances des modèles et des termes inclus :
- Performances : ici avec R² et R² ajusté à des fins explicatives (dans quelle mesure le modèle explique la variabilité de la réponse) :
On constate que les deux premières méthodes présentent des performances similaires.
- Termes utilisés dans les modèles :
Bien que les deux premières méthodes d'estimation fournissent des modèles aux approches similaires, les termes inclus pour les effets d'ordre supérieur diffèrent. Elles ne s'accordent que sur l'inclusion de l'effet d'interaction Facteur 1 x Facteur 3.
Il serait donc judicieux de consulter des experts du domaine afin de déterminer le ou les modèles les plus pertinents, puis d'utiliser la plateforme Conceptions Augmentées pour confirmer et/ou préciser le modèle le plus approprié. Vous pouvez par exemple l'enrichir et spécifier le modèle pour lequel vous souhaitez estimer les termes.
Veuillez trouver ci-joint le tableau contenant tous les scripts utilisés dans ma réponse.
J'espère que cette réponse vous aidera.
Re : Résultats « surprenants » dans une conception DSDUn plan d'expériences à deux dimensions (DSD) reste un outil de criblage approprié pour éliminer les effets importants, notamment les effets principaux, parmi un grand nombre de facteurs potentiels. Il permet également de déceler d'éventuels effets quadratiques et interactions (attention, ces derniers sont corrélés ! Voir la carte de couleurs des corrélations). Si trois effets actifs ou moins sont détectés, le DSD générera un plan de surface de réponse (RSM). En revanche, si plus de trois effets significatifs sont identifiés, il sera nécessaire d'étendre le DSD pour déterminer les interactions pures et les effets quadratiques. Par conséquent, si, après concertation avec des experts, la présence probable d'interactions est avérée, je recommande de commencer par un nombre minimal de DSD, suffisant pour détecter les effets importants, tout en conservant un budget suffisant pour l'extension et le désaliasing. De plus, il est déconseillé de consacrer trop d'efforts à la réplication du point central.
Re : Résultats « surprenants » dans une conception DSDHors micro : C'est étrange que les 5 effets actifs n'apparaissent pas tous dans le graphique à moitié normal, seuls trois effets apparaissent ?
Re : Résultats « surprenants » dans une conception DSDIl faut interpréter avec précaution les graphiques de distribution normale/semi-normale (voir Daniel). L'erreur standard de Lenth (PSE) n'est pas toujours applicable. L'analyse des données révèle plusieurs distributions d'erreurs. On observe les six valeurs les plus basses, puis une rupture, suivie de deux valeurs, puis une autre rupture, et enfin cinq. Ceci indique une variation du bruit au cours de l'expérience. Cela pourrait être interprété comme la preuve d'une cause spéciale . Le diagramme de Pareto correspondant à ce graphique de distribution semi-normale permettra de visualiser plus facilement le regroupement des estimations.
Par ailleurs, la réplication des points centraux peut être une excellente méthode pour estimer l'erreur quadratique moyenne (EQM). Les points centraux permettent de tester efficacement l'hypothèse de linéarité, même s'ils ne sont pas spécifiques. En effectuant suffisamment de réplications aléatoires (environ 8) tout au long de l'expérience, on peut également évaluer la stabilité de celle-ci. Représentez graphiquement le taux de répétition (MR) dans l'ordre des exécutions. De plus, s'il s'agit, par exemple, de conditions actuelles, cela permet de définir des niveaux plus marqués de part et d'autre du courant afin d'obtenir une meilleure vision directionnelle. La seule contrainte est que les facteurs doivent être continus.
Re : Résultats « surprenants » dans une conception DSDIntéressant, comment alors mieux utiliser ce graphique pour détecter les effets actifs ?
Re : Résultats « surprenants » dans une conception DSDLisez Cuthbert Daniel, l'inventeur de la méthode.
Daniel, Cuthbert (1976) Applications des statistiques aux expériences industrielles, Wiley (ISBN 0-471-19469-7)
Re : Résultats « surprenants » dans une conception DSDD'accord, les motifs autour de la ligne indiquent des causes particulières, en l'occurrence des effets modérés à forts qu'il convient d'examiner plus en détail.
Re : Résultats « surprenants » dans une conception DSDAvez-vous déjà lu son livre ? Permettez-moi de vous éclairer… Oui, les effets du modèle qui se situent en dehors de la distribution des erreurs aléatoires (qui devraient suivre une loi normale de moyenne nulle) sont effectivement assignables (ils diffèrent des effets qui font probablement partie de la distribution des erreurs, et qui, par conséquent, ne sont pas assignables). Cependant, ce n’est pas nécessairement la limite définie par l’algorithme de Lenth. Daniel n’a pas utilisé l’algorithme de Lenth sur ses graphiques de normalité. Il a interprété ces graphiques et s’est basé sur sa propre interprétation de la distribution des erreurs (j’utilise le test du « gros crayon »). Il mentionne l’observation d’une courbe en « S » sur le graphique de normalité, ce qui suggère qu’un facteur autre que les effets du modèle influençait l’expérience. La cause spécifique réside dans le bruit, et non dans un effet du modèle. Ceci, à son tour, augmenterait l’erreur quadratique moyenne (EQM) dans l’ANOVA.
Re : Résultats « surprenants » dans une conception DSDEn plus du critère du « gros crayon » de @statman , considérez les décalages dans la direction verticale comme un changement dans la réponse moyenne et un changement dans la pente de la ligne passant par le groupe d'estimations comme une différence dans l'écart type.
Re : Résultats « surprenants » dans une conception DSDPeut-on conclure que le graphique semi-normal peut servir de premier outil de dépistage pour détecter des effets très marqués ? L’absence de distribution aléatoire et de motifs autour de la ligne continue indique-t-elle des effets modérément importants ?
Re : Résultats « surprenants » dans une conception DSDOui, l'intensité est relative aux autres effets du modèle. D'ailleurs, je recommande toujours de réaliser ces graphiques avec un modèle saturé.
Il est également important de noter que si les signes des paramètres des facteurs sont significatifs (c.-à-d. des facteurs continus), vous pouvez utiliser des graphiques normaux et tirer parti du vecteur directionnel. Un article à lire si vous n'avez pas accès à son excellent ouvrage :
Daniel, Cuthbert (1959) « Utilisation de graphiques semi-normaux dans l’interprétation d’expériences factorielles à deux niveaux », Technometrics, vol. 1, n° 4, novembre
Re : Résultats « surprenants » dans une conception DSDPour répondre à @statman dans sa dernière réponse, la plateforme Screening (une ancienne version) met en œuvre ses recommandations. Voir ici :
Names Default to Here( 1 );
dt = Open( "$SAMPLE_DATA/Design Experiment/2x3x4 Factorial.jmp" );
dt << Screening( Y( :Y ), X( :X1, :X2, :X3 ) );
Re : Résultats « surprenants » dans une conception DSDCas très intéressant et discussion très enrichissante, merci pour le partage !
Re : Résultats « surprenants » dans une conception DSDIl semble qu'avec la plateforme de sélection à deux niveaux, nous n'atteindrons pas le meilleur résultat AICc = -30 Fit Definitive Screenin ci-dessus.
L'année dernière, j'ai publié un cas de DSD à 7 facteurs https://community.jmp.com/t5/Discussions/Setting-Stage-1-P-value-in-Analysis-of-DSD-at-a-high-level-to/mp/837310#M101378 où c'était l'inverse : j'ai rapidement obtenu un bon modèle à 5 facteurs actifs avec un criblage à deux niveaux et en utilisant Fit DSD, j'ai dû augmenter la valeur P de l'étape 1 à 0,4 pour détecter les 5 facteurs actifs, intéressant…
Re : Résultats « surprenants » dans une conception DSDPour la détection des effets principaux actifs et l'identification des interactions et termes quadratiques potentiels, je recommande l'utilisation de la plateforme FitDSD. Attention : la valeur p de l'étape 1 sert de filtre ; si elle est trop basse, elle risque d'empêcher l'intégration d'effets actifs potentiels dans le modèle. Commencez FitDSD avec une valeur p de l'étape 1 comprise entre 0,2 et 0,4 (une valeur plus élevée pourrait entraîner un surapprentissage).
