878744_fr-FR

liliconcom

Temps de discussion du DOE sur le Split Plot

Bonjour la communauté JMP,

Exécution de JMP Pro 18.1.1 sous Windows 11. Veuillez m'excuser d'avance pour la longueur de ce message, mais je souhaite fournir un maximum d'informations à l'avance. Les références aux colonnes de facteurs et de réponses concernent le tableau de données anonymisées ci-joint, pour ceux qui souhaitent approfondir le sujet (d'où le flou dans ma description et le tableau de données anonymisées).

J'ai quelques préoccupations et questions d'ordre général à soulever concernant un plan d'expériences en parcelles divisées que j'aide mes collègues à analyser. Certaines ne sont pas très différentes de celles du récent article publié ici . Contrairement aux exemples « propres » et « esthétiques » des données d'aide JMP, il s'agit d'un exemple industriel concret où les choses ne se passent pas toujours de manière idéale.

Contexte : J’ai des collègues chimistes qui souhaitaient réaliser un plan d’expériences en testant six facteurs et en mesurant quatre réponses différentes. L’objectif de ce plan était de déterminer quelle combinaison et à quels niveaux ces six facteurs pouvaient/devaient être définis afin d’obtenir les résultats souhaités. L’une des réponses est ce que j’appellerais, faute de mieux, la réponse « principale », Y__1 (les autres réponses dépendent de cette « réponse principale »). Cette dépendance n’est PAS linéaire pour chacune des autres réponses.

Conception DOE : nous avons un DOE personnalisé de 30 exécutions (ce nombre a été déterminé comme le nombre d'exécutions autorisé par les chimistes) avec six facteurs, dont l'un est difficile à contrôler (la température du four), transformant ainsi ce qui serait autrement une conception aléatoire en une conception à parcelles divisées.

• X__5 est la réponse de température du four difficile à modifier.
• Les lots sont regroupés en 4 pots entiers avec 7 ou 8 lots dans chaque parcelle entière.
• Trois des quatre réponses ont des limites de conception inférieures, avec pour objectif de maximiser leur réponse (Y__1, Y__2, Y__3).
• Une réponse a une limite de conception supérieure, avec pour objectif de minimiser sa réponse (Y__4).
• Une réponse a une limite de détection inférieure de 10 et une limite inférieure absolue de 0 (Y__3).
• Une réponse a une limite de détection supérieure de 280 (Y__4).

Observations des données : L'EOD a été réalisée et voici quelques observations des données.

• Y__1 est distribué normalement. Rappelons qu'il s'agit également de la réponse « principale ».
• Y__2 n'est pas distribué normalement, mais sa distribution SHASH est optimale. JMP dispose d'une fonction de transformation SHASH permettant de le transformer en un ensemble de données distribué normalement, ainsi que d'une transformation SHASH inverse. Y__2 n'est pas distribué normalement, car il dépend fortement de Y__1. Lorsque Y__1 varie (diminue), Y__2 augmente, passe par un maximum, puis commence à décroître.
• Y__3 n'est pas distribué normalement en raison de la limite physique de 0 et de la limite de détection de 10. Ces données sont mieux caractérisées par une distribution log-normale. Si cette distribution est utilisée dans la plateforme GenReg, les 0 doivent être recodés comme une valeur très petite et proche de 0, mais pas égale à 0, comme 1e-12 ou quelque chose de similaire.
• Y__4 n'est PAS distribué normalement et est également mieux caractérisé par une distribution log-normale (en utilisant les fonctions d'ajustement continu mises à jour qui peuvent gérer les limites de détection par rapport aux anciens ajusteurs qui suggèrent plutôt un mélange normal de 2).

Points de discussion/éléments à prendre en compte : Vous trouverez ci-dessous quelques sujets et points de discussion qui m'ont été évoqués à propos des résultats du DOE ou sur lesquels je me demande comment gérer/travailler lorsque j'analyse les données.

• Comme mentionné dans l'article ci-dessus, s'agissant d'un plan d'expériences à parcelles divisées, il est important de conserver l'intégralité du plan et les effets aléatoires dans le modèle, car il ne s'agit pas d'un plan d'expériences véritablement aléatoire. Sa suppression peut potentiellement conduire à des conclusions erronées.
  • D'autres plateformes comme la régression généralisée et les modèles mixtes linéaires généralisés ne peuvent pas gérer les effets aléatoires, mais elles peuvent gérer l'ensemble du tracé en tant que facteur.
    • Cela signifie-t-il que je devrais éviter d’utiliser ces plateformes comme moyen de générer des modèles alternatifs ?
  • Malheureusement, la seule plateforme de modélisation capable de gérer le problème des limites de détection pour deux de mes réponses est GenReg, qui utilise une colonne Censor. Les autres ne peuvent pas gérer cela, ni les distributions non normales de trois de mes réponses.
    • REMARQUE : la colonne de censure pour Y__3 est différente de Y__4 car les limites de détection sont différentes.
  • Cela entraîne un dilemme : utiliser l'approche du modèle mixte (ou SLS) qui gère les effets globaux et aléatoires, mais ne peut pas gérer les données non distribuées normalement ou le problème de limite de détection ; ou utiliser une plate-forme alternative comme GenReg qui peut gérer les données censurées et le problème de limite de détection, mais ne peut pas gérer les effets globaux et aléatoires de la conception en parcelles divisées.
• Lors de l'exécution des données avec la méthode des moindres carrés standard ou des plateformes mixtes (voire GenReg et GLMM), tous les profileurs de modèles suggèrent que pour maximiser Y__1, Y__2 et Y__3 et minimiser Y__4, les paramètres des facteurs doivent être définis sur une valeur extrême (faible ou élevée – variable selon la plateforme). Cela n'a aucun sens du point de vue de la connaissance du domaine. D'après les plages choisies pour le DOE, nous anticipions que certains ou tous les facteurs se situeraient entre les extrêmes pour des réponses optimales.
  • Actuellement, chaque réponse est traitée de manière égale (25 %, 0,25) dans les options « définir/maximiser la désirabilité ». Cela peut changer, mais n'a pas d'effet majeur sur le résultat du profileur ; cela suggère toujours de définir les facteurs à des valeurs extrêmes la plupart du temps.
• Les chimistes ont proposé d'augmenter le plan d'expérience en ajoutant des points centraux. Je ne suis pas certain que cela résoudrait les problèmes rencontrés lors de l'analyse. Quoi qu'il en soit,
  • J'ai essayé de voir si c'était une possibilité, mais lorsque j'essaye cela, je dois inclure l'ensemble des parcelles comme facteur, et mon seul choix d'augmentation est « Augmenter », tous les autres sont grisés.
    • Pourquoi n'ai-je pas d'autres options disponibles ?
    • Existe-t-il un moyen d'ajouter des points centraux ou de remplir un espace sans ajouter une sorte de biais au DOE ?

Questions/problèmes avec lesquels je suis aux prises : Dans l’ensemble, voici les problèmes que j’essaie de gérer lors de l’analyse des données, en particulier en essayant de déterminer et de comprendre comment éviter que le profileur ne suggère des paramètres extrêmes pour les facteurs.

• Dois-je m'en tenir à la plateforme du modèle mixte en raison de la conception à parcelles divisées, quoi qu'il arrive ?
• Est-il utile d’essayer d’utiliser d’autres plateformes (GenReg, GLMM, etc.) pour essayer d’analyser les données ?
  • Si cela en vaut la peine, quelle est la meilleure façon d’essayer d’inclure l’intrigue entière et les effets aléatoires inhérents au DOE ?
• Quelles sont les meilleures pratiques pour gérer la forte dépendance de Y__2, Y__3 et Y__4 sur Y__1 dans l’analyse ?
• Quelles sont les meilleures pratiques pour gérer les réponses non linéaires de Y__2, Y__3 et Y__4 ? Les transformer, ou existe-t-il une autre méthode plus efficace ?
• Je préférerais obtenir un modèle pour toutes les réponses simultanément, comme le fait SLS, mais je ne pense pas que cette plateforme soit la plus adaptée, compte tenu des distributions non normales et de la dépendance des autres réponses à Y__1. Je peux enregistrer les formules de prédiction des réponses depuis la plateforme que j'utilise, puis utiliser Graphique > Profileur pour générer un profileur de prédiction, mais je suis toujours bloqué avec le profileur qui suggère des paramètres extrêmes pour les facteurs, ce qui n'a aucun sens.
  • Pourquoi le profileur suggère-t-il des valeurs extrêmes ?
  • Cela indique-t-il un problème avec le Département de l'Énergie ? Si oui, quel(s) est/sont le(s) problème(s) ?
  • Les suggestions extrêmes du profileur peuvent-elles être résolues d’une manière ou d’une autre ?
• Si l'amélioration de la conception par la réalisation d'expériences supplémentaires est une solution, comment puis-je accéder à d'autres options d'amélioration ? Pour l'instant, je ne peux que modifier les paramètres de facteur supérieur/inférieur et définir le nombre d'essais supplémentaires. Je ne peux rien faire d'autre.

Merci d'avoir pris le temps de lire cet article. Vos commentaires, réflexions et suggestions sont les bienvenus.

Merci!,

DS

Modélisation statistique avancéePlan d'expériencesWindowsObjet : Discussion sur le DOE Split Plot

comment vas-tu, Y__4 car il y a une limite de conception supérieure ??/

Objet : Discussion sur le DOE Split Plot

Votre discussion va bien au-delà des split-plots (les variables de réponse n'ont rien à voir avec les split-plots). Avez-vous lu l'article sur les split-plots que j'ai suggéré dans la discussion que vous avez citée ?

Re : Discussion sur le DOE Split Plot

@statman a raison : il s’agit de bien plus qu’une simple discussion. Je tiens à souligner que la distribution de vos variables de réponse est sans importance. Vos données de réponse devraient contenir des signaux, ce qui modifierait la distribution. Le fait que certaines réponses aient une distribution non normale ne devrait pas surprendre. Ce sont les résidus (après ajustement du modèle et explication des signaux) qui doivent être normalement distribués.

Objet : Discussion sur le DOE Split Plot

Je ne comprends pas ta question.

Objet : Discussion sur le DOE Split Plot

Je n'ai pas facilement accès à l'article, donc je n'ai pas pu le lire.

Je lis cet article, qui m'a été quelque peu utile : Split-Plot Designs: What, Why, and How, B. Jones et CJ Nachtsheim, J. Quality Technology, V. 41, N. 4, p. 340.

Objet : Discussion sur le DOE Split Plot

Il s’agit peut-être d’une discussion compliquée et détaillée, mais cela reste néanmoins une discussion.

Sémantique mise à part, je trouve intéressant que vous mentionniez que la distribution de la réponse n'est pas pertinente. Cela semble aller à l'encontre de ce qui a été discuté par d'autres collègues de JMP lors d'un Discover Summit en 2021 ou 2022. Lors de la présentation, il a été question de l'utilisation de la nouvelle propriété de colonne « limite de détection » pour JMP 16. De nombreux commentaires ont été formulés sur la distribution non normale de la réponse et sur la nécessité de la prendre en compte correctement en utilisant une distribution log-normale lors de la modélisation des données avec la plateforme GenReg. Alors, quelle est la bonne approche ? Considérons-nous la distribution non normale de la réponse comme non pertinente, ou la prenons-nous en compte ? Difficile de voir comment les deux peuvent être justes. Je comprends parfaitement votre point de vue sur la distribution normale des résidus.

Concernant les autres questions que j'ai posées, avez-vous des commentaires à ce sujet ? Par exemple, le profileur ne suggère que des valeurs extrêmes comme paramètres optimaux pour la combinaison de réponses que nous avons. D'après notre connaissance du domaine, cela n'a aucun sens. Est-ce le signe d'un problème avec le plan d'expérience ou d'un bruit systématique introduit dans les données ? Ou est-ce un autre signe que quelque chose d'autre ne fonctionne pas correctement ?

Bien que je pose des questions spécifiques à mon cas, je pose également des questions très générales que d'autres ont probablement rencontrées (ou pourraient rencontrer à l'avenir), d'où leur pertinence pour la communauté. Nombre de ces questions portent généralement sur la gestion et le traitement des données lorsque l'analyse n'est pas optimale. La plupart, voire la totalité, des exemples de données fournis avec JMP tendent à illustrer des situations idéales, mais la réalité est souvent plus complexe et nécessite une approche plus nuancée.

J'ai toujours bon espoir de poursuivre les discussions, notamment sur les questions plus générales.

Merci,

DS

Objet : Discussion sur le DOE Split Plot

Salut @SDF1 : Je pense qu'il est nécessaire de clarifier ce que l'on entend exactement par normalité de la réponse (nous l'appellerons Y pour l'instant). Pour simplifier, considérons simplement le modèle de régression multiple des moindres carrés ordinaires (MCO). On peut parler de normalité d'au moins deux manières différentes (par souci de concision, je laisserai de côté les indices et l'hypothèse iid) :

1. Y = a + b*x1 + c*x2 + d*x3 + e, où e est distribué normalement avec une moyenne = 0 et une variance = Sigma^2.

De manière équivalente, nous pourrions dire

2. Y est distribué normalement avec une moyenne a + b*x1 + c*x2 + d*x3 et une variance = sigma^2.

Les discussions sur la distribution de la réponse renvoient implicitement à la manière dont le modèle est décrit dans (2) ci-dessus. Cependant, cela diffère considérablement de l'affirmation, par exemple, selon laquelle votre colonne Y doit avoir une distribution normale évaluable via la plateforme de distribution (elle doit être corrigée pour une moyenne qui varie en fonction des X). Autrement dit, quelle que soit la manière dont le modèle est décrit, la façon dont nous évaluons la normalité est la même (en explorant les résidus). La normalité (ou non) de la réponse est donc importante (en fait, l'estimation des paramètres dans votre modèle mixte via Fit Model/REML suppose la normalité), et il ne faut pas la confondre avec la façon dont nous évaluons la normalité.

Re : Discussion sur le DOE Split Plot

Permettez-moi de clarifier mon commentaire. Dire que la répartition des réponses n'est pas pertinente est un peu exagéré. Mais permettez-moi de brosser un tableau.

Supposons que je mesure la tension artérielle de plusieurs patients. Tous souffrent d'hypertension. Après la mesure, je leur administre un médicament très puissant. Un mois plus tard, je mesure à nouveau leur tension artérielle. Vous attendez-vous à ce que la distribution de toutes les tensions artérielles soit normale ? La réponse est non. Le médicament rendrait (espérons-le) la distribution bimodale. Le signal est présent dans les données brutes et doit être supprimé avant de vérifier la normalité. Toutes les inférences statistiques reposent sur la normalité des erreurs ou des résidus.

Quant aux propos d'autres collègues de JMP, je ne peux pas les commenter. Je n'étais pas présent. Cependant, si l'expérience suggère que la variable a une certaine distribution à l'état stationnaire, il est conseillé d'utiliser cette distribution. C'est généralement ce qui se fait pour spécifier une distribution d'erreur. Au-delà de cela, j'aurais dû participer à cette discussion pour pouvoir en dire plus.

Objet : Discussion sur le DOE Split Plot

Salut @MRB3855 ,

Merci pour votre réponse, je suis tout à fait d'accord avec vous. Je vais essayer d'être un peu plus clair dans mes questions concernant la normalité des réponses.

En fait, peu m'importe que les réponses ne soient pas normales ; elles le sont pour plusieurs raisons connues et sans surprise. Je ne crois pas avoir indiqué que ces réponses anormales devraient être normales. Si je l'ai fait, je m'en excuse, car je ne pense pas qu'elles devraient l'être. Elles sont ce qu'elles sont, et rien n'indique actuellement qu'une cause particulière puisse entraîner la suppression de données du Département de l'Énergie.

Y__2 est anormal car il dépend fortement (de manière non linéaire) de Y__1. Y__3 est anormal en partie car il ne peut physiquement avoir une valeur inférieure à 0, et en raison de la conception du plan d'expérience, certaines mesures sont proches de cette limite physique (il dépend également fortement de Y__1). En revanche, Y__4 est en partie non linéaire car il dépend également fortement de Y__1 et a une limite de détection supérieure de 280 ; au-delà, les résultats sont maximisés, et en raison de la conception, il y a des exécutions où la réponse est maximisée. Tout cela est bien. Jusqu'à présent, à mon avis, le plan d'expérience a fait exactement ce pour quoi il a été conçu.

Mes questions/préoccupations concernant la normalité des réponses concernent davantage la gestion des réponses atypiques lors de la modélisation. Certaines ressources de la communauté et de l'aide JMP que j'ai consultées semblent proposer des recommandations contradictoires, notamment pour les plans en parcelles divisées où au moins un facteur est difficile à modifier. Certaines recommandent de conserver les effets aléatoires et globaux dans l'analyse (il faut donc utiliser la méthode du modèle mixte, mais sans tenir compte des distributions atypiques dans la réponse, ni de la limite de détection). D'autres suggèrent d'utiliser la plateforme GenReg, qui permet de prendre en compte les distributions atypiques (et les limites de détection), mais sans tenir compte des effets aléatoires dans le modèle.

Les différentes approches impliquent évidemment des compromis, et je m'attache davantage à minimiser leur impact sur l'analyse du DOE, notamment en ce qui concerne la normalité des réponses. Si j'utilise la plateforme GenReg, je ne peux pas prendre en compte les effets aléatoires inhérents au plan en parcelles divisées, et suis donc sujet aux erreurs de type 1 et 2. Je pourrais conclure à l'existence d'un élément alors qu'il ne l'est pas, ou conclure à son absence alors qu'il est présent. En revanche, le modèle mixte ne prend pas en compte les distributions de réponses non normales (mais peut gérer les effets aléatoires et globaux), ce qui peut parfois conduire à des prédictions irréalistes, comme des valeurs inférieures à 0, qui n'ont aucun sens.

Alors, comment gérer cela dans un exemple concret ? Les exemples de tables de données dans JMP sont pratiques et offrent un chemin d'analyse clair, mais ils ne traitent pas vraiment les zones grises comme celle-ci, où un chemin d'analyse clair n'est pas si simple.

En fin de compte, il serait utile de disposer d'un modèle à faible erreur, dont les résidus seraient normalement distribués et centrés autour de 0. Les résultats de la plateforme de modèles mixtes le permettent (mais fournissent également des prédictions de réponse non physiques), tandis que la plateforme GenReg ne le permet pas, mais fournit des prédictions de réponse physiquement valides. Là encore, comment gérer cela dans une situation réelle, non idéale ?

Gardez à l’esprit que j’ai également plusieurs autres questions/préoccupations plus générales.

J'espère que cela a contribué à clarifier certains points, mais aussi à orienter la discussion vers d'autres questions plus générales comme l'augmentation, ou quelles sont les meilleures pratiques pour gérer l'analyse lorsque vos données ne s'intègrent pas parfaitement dans un modèle ou dans l'autre, ou pourquoi le profileur suggère-t-il toujours des paramètres extrêmes pour des réponses optimales, et est-ce une indication que quelque chose de plus important ne va pas ?

DS

Objet : Discussion sur le DOE Split Plot

Salut @Dan_Obermiller ,

Je comprends votre scénario et vos commentaires sur les distributions d'erreurs. Concernant les réponses de mon plan d'expérience, comme je l'ai répondu à @MRB3855 , peu importe la nature des distributions du point de vue de la réponse : elles peuvent être bimodales, log-normales, SHASH, etc. Elles sont ce qu'elles sont pour diverses raisons (généralement connues), et rien n'indique qu'une variation due à une cause particulière se soit produite pendant le plan d'expérience, ce qui aurait pu éliminer des données.

Le problème réside dans la gestion de ce problème lors de la modélisation/analyse, car plusieurs ressources de la communauté et de l'aide JMP émettent des recommandations contradictoires. Certains soutiennent qu'il est essentiel d'utiliser le modèle mixte, car il conserve les effets aléatoires et globaux, mais présente également ses propres inconvénients (notamment les valeurs de prédiction non physiques). En revanche, GenReg peut gérer les réponses non normales et les effets globaux (et fournir des prédictions physiquement valides), mais pas les effets aléatoires. Le modèle mixte produit également des résidus normalement distribués avec une moyenne proche de 0, contrairement à GenReg. Quelle est la bonne approche et pourquoi ? (Je ne dis pas que c'est la « bonne » approche, mais une bonne approche). J'ai également essayé d'analyser les données avec la plateforme GLMM, qui fonctionne correctement pour trois des quatre réponses, mais échoue lamentablement avec le jeu de données log-normal et limité par des valeurs >=0.

Comme il ne s'agit pas d'un cas idéal, comme c'est généralement le cas pour la plupart des données d'échantillon JMP, quelles sont les meilleures pratiques pour gérer l'analyse lorsqu'elle n'est pas idéale ? Il en va de même pour les autres questions générales que j'ai posées.

DS

Objet : Discussion sur le DOE Split Plot

Salut @SDF1 ,

Question délicate et situation complexe, mais vous avez raison, c'est souvent le cas, contrairement aux jeux de données « parfaits » de jouets/d'apprentissage.

Ayant été confronté à des situations similaires (et pas idéales), voici ce que je pourrais recommander d’un point de vue pratique :

1. Identifier les tendances et les anomalies : Tracez les données pour vérifier si les réponses présentent des tendances inhabituelles en fonction de l'effet global du tracé et si vous pouvez déjà identifier des relations entre vos facteurs et vos réponses (+ corrélations entre les réponses). Vous pouvez utiliser la plateforme multivariée pour identifier les corrélations ainsi que les valeurs aberrantes potentielles grâce à l'analyse des valeurs aberrantes disponible sur cette plateforme.
2. Première itération du modèle :
   • Procédez avec le modèle hypothétique complet. Assurez-vous de bien comprendre comment gérer l'effet de la parcelle entière : effet aléatoire (influence sur la variance de la réponse) ou effet fixe (influence sur la réponse moyenne) ? Cette réponse doit être dictée par la « signification physique » de cette situation de parcelle entière et ce qu'elle représente. Dans les deux cas, l'ajustement du modèle hypothétique complet vous aidera à comprendre l'ampleur de la variabilité capturée par cet effet (importance sur la moyenne de la réponse ou sur la variance de la réponse, selon le type d'effet).
     Dans votre table de données, en considérant l'effet de l'ensemble du graphique comme aléatoire, l'influence de cet effet varie selon la réponse : de négligeable (pour Y2), à moyenne (environ 19 et 23 % de la variance totale pour Y3 et Y1) et à élevée (plus de 40 % de la variance capturée par l'effet de l'ensemble du graphique pour Y4). En fonction de cette influence, cela peut vous donner une idée de la perte de précision que vous pourriez subir en supprimant cet effet aléatoire du modèle. J'essaierais de conserver un modèle mixte pour Y4, Y3 et Y1 si possible, et de ne pas avoir besoin d'un modèle mixte pour Y2.
   • À ce stade, vous pouvez vérifier les résidus de votre modèle (et le tracé réel par prédit), pour voir si vous avez un motif courbe dans votre résidu qui peut indiquer un modèle non adéquat (terme manquant ?) ou qu'une transformation peut être nécessaire.
     Soyez prudent avec la transformation par rapport au modèle généralisé, car ils ne traitent pas les données de la même manière : Différence entre la « méthode des moindres carrés » et la « méthode linéaire généralisée » dans le modèle d'ajustement La transformation affecte directement vos données (donc la moyenne et la variance de la réponse), tandis que les modèles généralisés utilisent une fonction de lien pour transformer la moyenne en une fonction linéaire des variables prédictives et une fonction de variance pour tenir compte de l'hétérogénéité de la variance dans l'analyse plutôt que d'essayer de la transformer. Je ne transformerais pas les réponses à moins d'avoir une forte indication que cela pourrait être nécessaire (simplification du modèle avec des réponses transformées et de meilleurs modèles résiduels en transformant la réponse, ce qui semble être le cas pour Y2).
   • Enfin, vous pouvez également vérifier quels effets sont statistiquement et pratiquement significatifs, afin de comprendre quels effets sont intéressants à inclure dans d'autres itérations de modèles. Vous pouvez également comparer les résultats avec d'autres plateformes, comme la plateforme de criblage à deux niveaux Fit, qui permet d'identifier les effets actifs, ou la modélisation par les moindres carrés Fit avec effet aléatoire.
3. Exploration/comparaison/sélection de modèles : Utiliser différentes plateformes en fonction des hypothèses et des résultats précédents :
   • Pour les réponses avec un impact moyen/élevé de l'effet aléatoire sur la courbe entière (Y4, Y3 et Y1), vous pouvez utiliser un modèle mixte ou un modèle des moindres carrés avec effet aléatoire sur la courbe entière. Pour traiter les données censurées, vous pouvez utiliser les pondérations dans le modèle : créez une colonne numérique continue où les données censurées ont une valeur faible (pondérations binaires : 0,5 par exemple, ou basées sur le ratio données censurées/données non censurées, ou une tendance de pondération plus complexe : plus vous vous éloignez du seuil, plus le poids/l'importance de votre observation sera faible sur l'ajustement du modèle) et les données non censurées ont une valeur élevée (pondérations binaires : 2 par exemple, ou basées sur le ratio données non censurées/données censurées, ou une tendance plus complexe comme décrit ci-dessus). Cela biaisera l'ajustement du modèle et accordera plus d'importance aux données non censurées, et moins d'importance (« pondération ») aux données censurées (puisqu'elles ne peuvent être mesurées avec précision ; il n'est donc pas essentiel d'avoir un bon ajustement et de faibles résidus dans cette zone censurée). Vous pouvez ensuite vérifier le graphique « Réel par Prévision », voir si les résidus semblent acceptables pour la partie des mesures non censurées, ainsi que vérifier les résidus et l'hypothèse de régression pour la partie des données non censurées.
     Exemple avec la réponse Y_3 avec la formule de pondération utilisant l'inverse de la distance au carré à la limite de détection de 10 :

     If( :Y__3 > 10,
     	1,
     	1 / ((10 - :Y__3) ^ 2)
     )

     Et les résultats de la modélisation (avec l’effet aléatoire de l’intrigue entière) :
     
     
   • Pour une réponse présentant un faible impact de l'effet aléatoire sur la réponse (Y2), vous pouvez tester différents modèles avec la méthode des moindres carrés, GenReg par exemple. Vous pouvez ensuite comparer les effets inclus dans les modèles et les comparer selon divers critères : significativité statistique, RMSE, R²/R² ajusté, AICc/BIC, etc.
4. Validation et augmentation : Validez vos modèles à l'aide d'essais de validation. Il peut paraître étrange que des paramètres extrêmes soient suggérés pour les facteurs, mais comme vos DoE utilisent principalement des facteurs à deux niveaux, la courbure de vos réponses (hormis celles induites par les effets d'interaction) est limitée.
   Augmenter votre DoE pour inclure des termes polynomiaux du 2e ordre (ou plus) peut être une bonne idée (au lieu de points centraux qui ne seront pas utiles pour estimer les termes polynomiaux contribuant éventuellement à la courbure), pour pouvoir dessiner un espace de conception satisfaisant vos 4 réponses.

Quelques autres considérations :

• Selon le moment où Y2, Y3 et Y4 sont mesurés par rapport à Y1 (réponse d'intérêt principale) et la pertinence de cette idée, vous pourriez ajouter ces réponses intermédiaires comme prédicteurs de Y1. Le processus pourrait alors consister à prédire Y2, Y3 et Y4 en fonction de facteurs, puis à prédire Y1 en fonction d'autres réponses prédites et de facteurs. Cette étape intermédiaire risque d'augmenter l'erreur de prédiction, mais elle peut valoir la peine d'être tentée. Vous pourriez également modéliser Y1 uniquement à partir de Y2, Y3 et Y4, en utilisant PLS ou d'autres plateformes de modélisation capables de gérer la colinéarité.
• Vous pouvez également essayer les approches d'apprentissage automatique, car elles peuvent constituer un bon modèle comparatif pour estimer l'importance des facteurs, par rapport à la modélisation statistique « traditionnelle ». De plus, selon le profil de prédiction souhaité, le profil de prédiction « par étapes » des modèles arborescents peut être intéressant pour les données censurées, afin de ne pas prédire précisément en dessous d'un certain seuil, par exemple.
  Exemple ici pour Y4 avec un arbre de partition simple avec seulement 2 divisions, vous pouvez voir que X5 et X6 ont la plus grande influence sur Y4, et vous pouvez séparer les données censurées du reste des données (avec la deuxième division à X6 < 65) :
  

  Même si ce modèle n’est peut-être pas très prédictif ou « pratiquement pratique », ce type d’analyse est utile pour comparer avec d’autres modèles et essayer d’identifier des prédicteurs importants.

Au final, un modèle n'est pas censé être parfait, mais utile. Des compromis peuvent être nécessaires quant aux plateformes de modélisation choisies, mais vous devez pouvoir justifier vos choix en vous appuyant sur des données de validation et une expertise métier.

J'espère que cette (longue) réponse pourra fournir quelques idées utiles,

Objet : Discussion sur le DOE Split Plot

Victor, je suis entièrement d'accord avec votre première étape, mais j'aimerais proposer une alternative à votre deuxième étape. Il ne faut pas ajuster un modèle complet, car il existe deux structures d'erreur différentes (graphique complet et sous-graphique). Cela rendrait les comparaisons inappropriées. Par exemple, comparer le ou les facteurs WP à l'erreur quadratique moyenne (EQM) du sous-graphique pour la signification statistique revient à comparer des pommes et des oranges. Cette valeur p est inutile. Il faut essentiellement traiter le graphique complet et le sous-graphique comme s'il s'agissait de deux expériences différentes. Veuillez lire Box et Jones, ainsi qu'Anderson et McLean, Sanders et Bisgaard.

Box, GEP, Stephen Jones (1992), « Plans en parcelles divisées pour une expérimentation robuste des produits », Journal de statistique appliquée , vol. 19, n° 1

Jones, Bradley, Christopher J. Nachtsheim (2009) « Conceptions en parcelles divisées : quoi, pourquoi et comment », Journal des technologies de qualité , vol. 41, n° 4, p. 340-361

Anderson, Virgil et McLean, Robert (1974) « Planification d'expériences, une approche réaliste » Marcell Decker (ISBN 0-8247-7493-0)

Sanders, D. et Coleman, J. (2003). Reconnaissance et importance des restrictions à la randomisation en expérimentation industrielle. Ingénierie de la qualité , 15 (4), 533–543. https://doi.org/10.1081/QEN-120018386

Bisgaard, S. (2000). Conception et analyse de 2^k–p× 2^q–rExpériences de parcelles divisées.Journal des technologies de qualité, 32(1), 39–56. https://doi.org/10.1080/00224065.2000.11979970

Objet : Discussion sur le DOE Split Plot

Point de vue personnel sur la conception expérimentale en parcelles divisées :
Avant de réaliser le plan expérimental formel, fixez tous les facteurs à leurs niveaux de production normaux et collectez les données par blocs. Analysez la significativité de l'effet de bloc aléatoire. Si cet effet n'est pas significatif, poursuivez avec les méthodes de plan expérimental conventionnelles pour l'expérience formelle, mais imposez des restrictions de randomisation sur certains facteurs lors de l'exécution et utilisez des méthodes analytiques standard. Si l'effet de bloc aléatoire est significatif, adoptez un plan en parcelles divisées.

Re : Discussion sur le DOE Split Plot

Salut @Victor_G ,

Merci d'avoir pris le temps de rédiger votre réponse détaillée et de partager vos réflexions sur les problèmes rencontrés. J'ai étudié certaines de vos suggestions et exploré d'autres pistes et idées.

En réponse à vos réflexions, voici quelques retours :

1. Identifier les tendances et les anomalies : Oui, j'ai étudié la question et j'ai constaté que les courbes entières 2 et 3, où X__5 est à son niveau « bas », entraînent des performances globalement médiocres pour les quatre réponses. Cela ne nous surprend pas trop. Heureusement, nous avons intégré ce paramètre dans les paramètres factoriels, ce qui nous a permis d'observer un changement de signal suffisamment important dans les réponses. Comme mentionné précédemment, trois des quatre réponses sont corrélées (de manière non linéaire) et dépendent de la première réponse, Y__1. L'observation de ces corrélations dans la plateforme multivariée n'est donc pas nouvelle pour nous. L'une des difficultés réside dans le fait que l'une des réponses, Y__2, est non monotone en fonction de Y__1 ; cela signifie que Y__2 peut avoir la même valeur de réponse à différentes valeurs de Y__1. Par exemple, Y__2 peut avoir une valeur de 24 lorsque Y__1 est d'environ 27 ou 31. Y__3 et Y__4 n'ont pas ce comportement, mais leur dépendance à Y__1 reste non linéaire. Il existe une valeur aberrante potentielle basée sur la réponse de Y__3, mais jusqu'à présent, nous n'avons aucune raison particulière d'éliminer cette exécution ou de tenter de la refaire. Cependant, je demanderai à mes collègues d'approfondir ce sujet.
2. Première itération du modèle:
   • Je suis d'accord sur le fait que l'effet de la parcelle entière est aléatoire. Idéalement, le plan d'expérience aurait pu être entièrement randomisé, mais comme X__5 est difficile à modifier (du moins pour obtenir ce plan d'expérience le plus efficacement possible), il s'agit finalement d'un modèle à parcelles divisées. Quoi qu'il en soit, compte tenu de ce que nous savons de certaines réponses et de la manière dont X__5 peut les influencer, nous ne pouvons pas vraiment abandonner l'effet de la parcelle entière. Et, bien que Y__2 n'ait pas vraiment besoin d'être inclus, il est plus facile d'intégrer l'ensemble du modèle mixte.
   • Merci pour vos réflexions sur les transformations. En testant la transformation SHASH pour Y__2, elle ne s'est pas avérée aussi efficace que l'ajustement de Y__2 sans transformation. J'ai évalué les résidus ainsi que d'autres méthodes d'évaluation de modèles, comme une analyse de Bland-Altman ou l'analyse de l'IC à 95 % pour les courbes de corrélation entre les valeurs réelles et les valeurs prédites. Jusqu'à présent, le modèle mixte semble être le plus performant parmi toutes les méthodes d'évaluation de modèles.
3. Modèles/exploration/comparaison/sélection:
   • Tout en conservant l'effet aléatoire dans le modèle, le modèle mixte semble légèrement plus performant que les moindres carrés. Tous deux prédisent des valeurs légèrement irréalistes pour l'une des réponses (différente pour chaque modèle). Elles ne sont pas radicalement irréalistes, mais compte tenu de nos connaissances, notamment concernant la réponse Y__1, ces réponses ne devraient pas pouvoir être atteintes.
   • Merci pour la suggestion concernant la colonne pondérée en fonction de l'écart entre la réponse et la limite de détection. J'apprécie cette approche et je l'ai adoptée pour comparer différents modèles afin de tenir compte du problème de la limite de détection.
   • Sur la base des réponses censurées/pondérées ainsi que du fait que certaines nécessitent l'effet aléatoire et une autre non, je pourrais finir par mélanger des colonnes de prédiction provenant de différentes plates-formes, mais je dois évaluer davantage les performances du modèle.
4. Validation et augmentation:
   • Je voudrais certainement valider le modèle – c'est toujours ce que je recommande (je ne peux pas les forcer à faire quoi que ce soit, je les recommande simplement).
   • En ce qui concerne le profileur, il est juste étrange que selon les critères d'optimisation, le profileur aille toujours vers des valeurs extrêmes, ce qui semble un peu étrange et inhabituel.
   • Concernant l'augmentation, j'espérais simplement reprendre le plan d'expérience original et effectuer quelques exécutions de remplissage d'espace, mais cela ne me le permet pas en raison du facteur difficile à modifier. En adoptant votre approche et en modifiant réellement le modèle en ajoutant des effets quadratiques, je peux alors demander à JMP de générer des exécutions qui ne se contentent pas de répéter les angles/arêtes de l'espace de conception, mais qui intègrent réellement les exécutions à l'intérieur de cet espace, ce qui, je l'espère, sera utile.

Vos autres considérations :

• Désolé, j'aurais dû être plus clair sur ce point. Toutes les réponses peuvent être mesurées indépendamment les unes des autres ; elles pourraient théoriquement être effectuées simultanément (en parallèle) ou séquentiellement (en série). L'ordre des tests n'a en réalité aucune importance. Ce que j'essayais d'expliquer, c'est que Y__2, Y__3 et Y__4 dépendent tous de Y__1 et chacun de manière non linéaire. Il serait préférable d'envisager d'utiliser la formule de prédiction facteurs + Y__1 pour prédire les autres réponses. Mais oui, il existe un risque d'augmentation de l'erreur de prédiction.
• Je n'avais pas pensé à utiliser la plateforme Partition pour analyser les données. Sans prendre les résultats trop au sérieux, je pense qu'il est utile d'examiner l'analyse et d'utiliser ces informations à notre avantage. Merci ! Certaines autres méthodes ne fonctionnent pas aussi bien, mais je pense que cela est peut-être dû en partie au manque d'exécutions.

Je suis tout à fait d'accord sur le fait que les modèles sont utiles et non parfaits - mais c'est là tout l'essentiel de ce que j'essaie de faire avec l'ensemble de données dont je dispose - générer un modèle utile, et lorsqu'un profileur de prédiction ne suggère que des paramètres extrêmes (et de manière incohérente sur la base des approches SLS ou Mixed Model), je voulais chercher des idées sur la façon de tirer le meilleur parti possible de cet ensemble de données.

Oui, votre réponse a été très utile et m'a apporté de nombreuses idées pour évaluer les choses. Merci. J'apprécie la discussion et l'effort d'analyse des données et du sujet !

Merci!,

DS