Comment aborder la faible hérédité dans les modèles de dépistage ?Je suis sur le point de préparer un DoE pour un nouveau processus qui implique jusqu'à 11 facteurs continus dont l'un est difficile à modifier.
Puisque j'essaie de combiner cela avec un effort pour rendre les idées derrière le DoE un peu plus transparentes pour mes collègues, je suis tombé sur quelques questions, qui peuvent être résumées comme ceci :
Quelle est la meilleure approche de conception lorsque la connaissance du domaine suggère l'existence d'interactions à deux paires et éventuellement d'effets quadratiques, alors que je ne peux pas supposer une forte hérédité ?
J'hésite à créer une conception personnalisée impliquant "tous" les termes (c'est-à-dire les effets principaux, les interactions bidirectionnelles et les effets quadratiques) car cela ressemble à une solution de force brute et est contradictoire avec une expérimentation efficace. Je préférerais faire une conception de sélection initiale pour (espérons-le) ignorer les facteurs non contributifs et exécuter une conception augmentée ultérieure. Ma principale préoccupation est qu'une conception de sélection inappropriée puisse entraîner la perte de facteurs importants en raison d'une interaction manquée ou d'un terme quadratique.
Il semble qu'il existe quelques fils de discussion avec des questions similaires mais ne touchant que de petits aspects de ce sujet, je publie donc ceci en tant que nouveau fil de discussion ici.
Afin d'étudier les méthodes de conception et d'analyse, j'ai mis en place un cas de test que je joins. J'ai créé un modèle de dépistage définitif pour cinq facteurs, dont un point central. Par souci de simplicité, j'ai ignoré l'existence possible de facteurs difficiles à modifier. La variable cible Y est générée via une formule, où vous verrez les termes pertinents.
J'ai essayé plusieurs approches pour trouver le modèle approprié (comme j'ai une connaissance a priori de la vraie fonction, je suis toujours biaisé) et je ne veux pas expliquer en détail ce que j'ai fait mais un bref résumé est le suivant :
- À partir d'une simple sélection des effets principaux, je pourrais supprimer les facteurs X2, X3 et X4 et ne pas les inclure dans une conception augmentée ultérieure.
- En adaptant un plan de dépistage définitif, je serais induit en erreur sur des interactions qui n'existent pas et les termes quadratiques seraient également confus. Je devrais abandonner les hypothèses de forte hérédité pour les interactions et les termes quadratiques.
Bien que je comprenne d'où cela vient (fortes corrélations entre les interactions et également les termes quadratiques au sein de la conception donnée), la question est de savoir comment gérer au mieux ce cas ?
Je comprends que ma fonction cible est constituée arbitrairement et qu’il pourrait donc s’agir d’un cas assez pathologique. Je me demande à quelle fréquence ce problème se pose dans la pratique ?
Dans l'attente de vos commentaires.
Björn
Analyse et modélisation des données de baseConception d'expériencesRe : Comment gérer la faible hérédité dans les modèles de dépistage ?Tout bien considéré, je pense qu'une approche de conception de dépistage définitive pourrait être votre «meilleure», et c'est un terme relatif, une option. Si vous ne souhaitez pas adopter l'approche de conception optimale, je ne peux pas penser à une meilleure alternative... d'autres, veuillez intervenir. Une déclaration que vous avez faite me rend un peu confus :
"En adaptant un modèle de dépistage définitif, je serais induit en erreur sur des interactions qui n'existent pas et les termes quadratiques seraient également confondus. Je devrais abandonner les hypothèses d'une forte hérédité pour les interactions et les termes quadratiques."
Pourquoi un DSD aurait-il tendance à indiquer des interactions qui n'existent pas ? En fait, je pense que c'est l'inverse... vous ne trouverez peut-être jamais d'interactions actives en raison du cas relativement rare où une interaction à deux facteurs est active, mais les effets principaux ne le sont pas. D'après mon expérience, cette situation n'arrive pas souvent. Tant que vous utilisez le flux de travail Fit DSD, vous pouvez vous prémunir, dans une certaine mesure, contre ce problème.
De plus… pensez à expérimenter de manière séquentielle. Essayez le DSD. J'espère que vous n'êtes pas dans un endroit où vous êtes obligé de résoudre le problème avec une et une seule expérience. Encore une fois, d’après mon expérience, les occasions où cela se produit sont rares. Surtout avec un système d’étude moins que bien compris. Voyez ce que vous apprenez. Ensuite, en fonction de ce que vous apprenez, des essais de confirmation et davantage d'expérimentations dans l'espace DOE optimal sont deux voies que vous pourriez suivre.
Ré: Comment aborder la faible hérédité dans les modèles de dépistage ?Je voulais approfondir le sujet. J'ai créé un modèle personnalisé incluant les effets principaux et quadratiques pour neuf facteurs. Comme je l'ai dit, un facteur est difficile à modifier (X1) et deux facteurs (X2 et X3) sont soumis à une condition limite linéaire (X2+X3 > const.).
Voici la matrice de corrélation résultant du concepteur personnalisé :
L'analyse après la collecte des données a montré que jusqu'à 6 facteurs sur 9 sont actifs. Il se trouve également que X2 lui-même n'est pas actif, alors qu'il devrait l'être d'un point de vue physique, car sa nature est identique à celle de X3. J'ai donc testé X2^2, ce qui constitue une contribution significative.
J’espère que ma conclusion n’est pas trop hâtive, mais il me semble que les principes de parcimonie et de hiérarchie sont ici violés.
Ré: Comment aborder la faible hérédité dans les modèles de dépistage ?Je ne vois pas le tableau de données ci-joint, il est donc impossible de les analyser. Comment se présentent les résidus ? Y a-t-il une colinéarité entre X2 et X2^2 (je remarque que X2 n'est pas dans votre matrice ?) ? Avez-vous choisi un niveau X2 trop élevé ? Ont-ils tous une signification pratique ? Il est facile d'obtenir une signification statistique, il suffit de minimiser les facteurs qui constituent l'erreur quadratique moyenne.
Les principes ne sont que cela. Ils ne sont pas absolus. Ils servent de guide. Je suggère néanmoins que six des facteurs possibles (bien plus que les neuf que vous avez testés) constituent un petit sous-ensemble.
Rappelons que F=MA...ni M ni A ne sont significatifs (tous deux des effets de premier ordre).
Ré: Comment aborder la faible hérédité dans les modèles de dépistage ?Salut,
Je n'avais pas joint le tableau de données, seulement la capture d'écran de la matrice de corrélation du plan expérimental. X2 est présent dans le plan. Comme JMP omet les étiquettes si l'étiquetage devient trop dense, il n'est tout simplement pas étiqueté. X2 correspondrait respectivement à la deuxième ligne ou à la deuxième colonne. Le plan incluait les effets principaux ainsi que tous les effets quadratiques. La corrélation de X2 et X2^2 est de 0,1.
Les niveaux de facteurs sont raisonnables selon notre expérience.
Dans l’ensemble, je me demande si le modèle physique sous-jacent est plus complexe, sur la plage de variables donnée, pour être bien adapté à un polynôme de Taylor du second ordre (en pensant à des termes comme le rayon de convergence, etc. - je suppose que ce serait une conversation pour une conférence et pas tellement pour une discussion sur un forum).
Re: Comment prendre en compte l'hérédité faible dans les plans de dépistage ?Pour compléter les excellentes réflexions de @P_Bartell et @Mark_Bailey, je vous suggère d'utiliser la méthode scientifique pour mener votre investigation. Autrement dit, commencez par formuler des hypothèses, collectez des données, puis modifiez, abandonnez, ajoutez des hypothèses et itérez. Il est impossible de connaître a priori le plan expérimental optimal (si vous le saviez, l'expérience serait probablement inutile). Les conseils dépendent toujours du contexte ; sans une compréhension approfondie de votre situation, je ne peux vous donner que des conseils généraux. Commencez votre investigation en créant un espace expérimental aussi vaste que vos ressources le permettent (nombreux facteurs à des niveaux importants). Ne sous-estimez pas l'effet du bruit ! Prévoyez une stratégie pour gérer tous les autres facteurs non manipulés explicitement dans l'expérience (par exemple, répétitions, réplicats, blocs, parcelles divisées). Plus l'espace d'inférence est grand, plus vos résultats ont de chances de se confirmer à l'avenir. Vous cherchez une direction (que vous pouvez obtenir avec deux niveaux) et les facteurs les plus susceptibles de vous conduire rapidement vers le meilleur espace expérimental (effets linéaires). Les expériences suivantes se concentreront sur l'espace de conception présentant les meilleurs résultats. Il est acceptable de confondre des effets lors des expériences initiales. La confusion est une stratégie d'efficacité. La clé d'une utilisation efficace de la confusion réside dans l'identification des variables confondues. Ainsi, les itérations suivantes pourront séparer les effets confondus. Procédez comme suit : en tant qu'expert, prédisez l'ordre d'importance des effets du modèle jusqu'au second ordre (tous les effets principaux et les effets d'interaction). Si les effets principaux sont en tête de liste, vous pouvez utiliser des conceptions à faible résolution lors de votre première itération. Vous évaluez l'importance relative de ces effets principaux. À mesure que les effets du second ordre prennent de l'importance, vous devrez envisager des conceptions à plus haute résolution.
Dans tous les cas, concevez plusieurs options d'expériences (c'est facile à faire avec JMP). Évaluez les connaissances que chaque option peut potentiellement vous apporter (par exemple, quels effets seront distingués, lesquels seront confondus et lesquels ne seront pas étudiés). Comparez ces connaissances aux ressources nécessaires pour les obtenir. Choisissez l'option qui répond le mieux à vos critères de connaissances et de ressources. N'oubliez pas que vous procéderez par itérations ; ne dépensez donc pas tout votre budget pour la première expérience.
Mark a tout à fait raison. La stratégie factorielle fractionnaire repose sur les principes de rareté et de hiérarchie. L'hérédité n'intervient que lors de l'analyse, lorsqu'il s'agit de déterminer quels effets confondus sont les plus susceptibles d'être actifs. La prédiction de l'effet confondu le plus probable à partir de l'expertise du chercheur est la méthode la plus efficace. Si la prédiction et l'hérédité ne permettent pas d'orienter les recherches, il faudra davantage de données.
Re: Comment prendre en compte l'hérédité faible dans les plans de dépistage ?Merci pour votre réponse ! Désolé de ne pas vous avoir répondu plus tôt, je n'avais pas accès à la communauté.
Je vais clarifier mon propos initial qui a suscité quelques inquiétudes. La fonction qui détermine la quantité cible est la suivante :
Comme vous pouvez le constater, l'interaction x2*x3 contribue, mais pas les deux facteurs principaux x2 et x3. L'ajustement DSD ne révèle pas l'interaction x2*x3, et n'indique aucune importance pour x2 ou x3. C'est essentiellement ce que je voulais exprimer : je pourrais abandonner l'idée d'approfondir l'étude de x2 et/ou x3 dans un plan d'expériences ultérieur et ainsi passer à côté de l'interaction x2*x3.
Je suis d'accord avec vous : en pratique, il est rare de trouver une interaction sans contribution des effets principaux. Je comprends que la modélisation consiste ici essentiellement à ajuster un développement de Taylor à la « fonction réelle ». Par ailleurs, j'étais quelque peu préoccupé par le fait que, par exemple, de nombreuses interdépendances/relations en physique suivent une formule où une quantité est le produit de puissances (négatives et positives) des autres quantités. Encore une fois, je pense que comme vous l'avez dit, il s'agit d'une question à la fois théorique et pratique.
Pour mon application spécifique, j'avais envisagé d'exécuter un DSD, mais il y a deux réserves :
- J'ai un facteur difficile à changer
- Deux variables présentent une interdépendance linéaire : elles ne peuvent pas atteindre leur minimum simultanément, ce que j'éviterais grâce à une condition aux limites linéaire.
Je jugerais ensuite de l'optimalité de ma conception en examinant la matrice de corrélation et, si nécessaire, j'ajouterais des termes au modèle si les corrélations restantes étaient encore trop fortes.
Re: Comment prendre en compte l'hérédité faible dans les plans de dépistage ?En complément des conseils de @P_Bartell , j'aimerais ajouter deux points. Les plans de criblage sont plus efficaces lorsque la situation présente les principes clés de criblage que sont la rareté et la hiérarchie des effets. On s'attend à ce que la plupart des facteurs du plan soient inactifs. Est-ce le cas ici ?
Je recommande généralement de ne pas séparer les facteurs en plans expérimentaux distincts, sauf contrainte particulière. Deux facteurs ayant des effets interactifs ne présenteront pas cette interaction s'ils sont étudiés séparément. Dans ce cas, les facteurs mis de côté sont traités comme dans une expérience à un facteur à la fois. Si vous prévoyez des effets importants, vous pouvez utiliser un plan en deux dimensions (DSD) avec 23 essais. L'hérédité du modèle n'intervient que lors de l'analyse.
Re: Comment prendre en compte l'hérédité faible dans les plans de dépistage ?Merci pour vos réflexions !
En réalité, compte tenu de notre connaissance du domaine, nous nous attendons à un nombre important de facteurs actifs. Parmi les 9 facteurs considérés (j'en avais mentionné 11 dans mon message initial, mais il y en a bien 9), je pense qu'au moins 6 pourraient être actifs. Je suis d'accord : séparer les facteurs ne serait pas judicieux, d'autant plus que nous pensons qu'il existe des interactions entre eux.
Re: Comment prendre en compte l'hérédité faible dans les plans de dépistage ?Merci pour vos excellents commentaires ! Je vais commencer par une conception personnalisée prenant en compte un maximum de facteurs, en tenant compte des contraintes.
Techniquement parlant, je suis habitué à la méthode scientifique, mais son acceptation peut parfois poser problème. En particulier pour la planification d'expériences (DoE), la mise en œuvre de configurations factorielles apparemment aléatoires et complexes avec de nombreux facteurs peut dérouter ceux qui ne maîtrisent pas le raisonnement sous-jacent. Par conséquent, si l'on doit trop souvent abandonner (ou affiner, pour employer un terme plus approprié) ses hypothèses, le problème pourrait résider dans la méthode elle-même et non nécessairement dans la simplicité de résolution de certains problèmes (pour diverses raisons comme des facteurs manquants, du bruit, etc.).
Pour mon problème spécifique, je prévois de fixer les facteurs à des valeurs minimales et maximales « raisonnablement » extrêmes pour le filtrage, dans l'espoir d'éliminer rapidement quelques facteurs, puis d'affiner avec une conception augmentée, voire nouvelle, en fonction des résultats et des tendances.
