Effort pour chaque DOESalut,
J'ai réalisé plusieurs plans d'expériences (DOE), mais le nombre important d'essais requis constitue un défi récurrent. Par exemple, avec un plan de criblage comportant sept essais, nous testons généralement 4 à 6 réplicats par essai pour évaluer la reproductibilité. Cela donne un total de 28 à 42 essais par DOE.
Cependant, après avoir effectué tous ces essais, les performances du modèle s'avèrent souvent insatisfaisantes, avec des valeurs R² comprises entre 0,55 et 0,59. De plus, en raison de larges intervalles de confiance et d'estimations de paramètres incohérentes, il est difficile d'identifier un modèle fiable et reproductible. Dans de nombreux cas, même lorsque les données Y sont collectées dans des conditions contrôlées, le modèle manque de cohérence et ne fournit pas d'informations concluantes. Il est donc nécessaire de collecter de nombreuses données de processus à chaque expérience.
Cela devient de plus en plus frustrant. Comment pouvons-nous résoudre ce problème efficacement et réduire les efforts inutiles tout en améliorant la fiabilité des modèles ?
Plan d'expériencesObjet : Effort pour chaque DOEQuelques réflexions pour vous :
1. En mode de sélection, essayez de ne pas trop vous focaliser sur les performances du modèle. Votre objectif principal est d'identifier les effets/facteurs actifs, en accordant moins d'importance au modèle et à son efficacité prédictive. Posez-vous la question suivante : « Avons-nous identifié des facteurs méritant une étude plus approfondie ? » Si oui, procédez en conséquence. Sinon, posez-vous d'autres questions, comme :
a. Avons-nous choisi des niveaux qui ne sont pas suffisamment larges pour que le signal dépasse le bruit ?
b. Existe-t-il des variables de bruit cachées qui influencent nos réponses... si oui, comment les gérerons-nous à l'avenir... blocage ?
c. Y a-t-il d’autres facteurs auxquels nous devons penser ?
2. Avec toutes ces réplications, vous devriez pouvoir obtenir une bonne estimation de l'erreur pure… qui, si elle est suffisamment importante, commencera à écraser le signal. Que savez-vous de la variation de votre système de mesure par rapport aux réponses ? Si elle est suffisamment importante, vous devrez peut-être travailler à réduire le bruit du système de mesure ?
Je suis sûr que d'autres interviendront... et comme toujours, si vous pouvez partager une expérience ou deux, peut-être pourrons-nous vous aider davantage ?
Objet : Effort pour chaque DOESalut @Statexplorer ,
@P_Bartell a fourni de nombreuses informations et conseils utiles. J'aimerais compléter certains points mentionnés, car vous semblez effectuer des expériences dans des environnements avec un bruit (relativement) élevé.
Avez-vous tenté d'analyser la cause possible du bruit/de la forte incertitude ? Inadéquation du modèle (termes d'interaction manquants ou effets quadratiques ?), erreur de mesure élevée, variables nuisibles (variabilité quotidienne, des opérateurs, des procédés ?). Évaluer la source du bruit serait utile pour recommander des stratégies d'atténuation appropriées :
- En cas d'inadéquation du modèle, quel modèle utilisez-vous fréquemment en mode de sélection (effets principaux uniquement) ? Observez-vous des tendances spécifiques dans les résidus et/ou des tests d'inadéquation qui pourraient indiquer des problèmes ?
Attendez-vous des effets d'interaction forts et/ou des effets polynomiaux ou non linéaires ? Avez-vous testé d'autres méthodes de modélisation (non linéaires) : par exemple, des algorithmes de machine learning adaptés à la taille et à la complexité de votre jeu de données, comme Bootstrap Forest et les SVM ?
- En cas d'erreur de mesure élevée, est-il possible d'élargir les plages de facteurs (afin que le signal soit relativement supérieur au bruit) ? Est-il également possible d'ajouter des mesures répétées en plus des réplicats, ou de réduire le nombre de réplicats indépendants et de compenser par des mesures répétées, puis de modéliser la moyenne et la variance des réponses des mesures répétées pour chaque réplicat ?
- En cas de variables nuisibles connues, vous pourriez peut-être intégrer des mesures de protection lors de la génération de votre conception, comme le blocage, afin d'éviter l'influence de l'opérateur, la variabilité quotidienne, le changement d'équipement de mesure, etc. L'utilisation d'une variable de bloc aléatoire permet de capturer la variance de cette variable nuisible dans la variance expérimentale totale afin d'éviter que cette variance ne « masque » d'éventuels effets actifs. Si les variables nuisibles sont manipulables/modifiables et connues (par exemple, les variables de procédé), vous pouvez également utiliser les plans Taguchi pour créer une conception robuste ou utiliser la plateforme de conception personnalisée : Expériences pour une conception robuste de procédés et de produits.
J'espère que cette réponse pourra contribuer à la discussion,
Objet : Effort pour chaque DOEMalheureusement, je ne peux pas donner de conseils précis, faute de contexte suffisant. Ces problèmes ne peuvent être abordés globalement. Voici mes premières réflexions :
1. Je ne connais aucun modèle de criblage comportant 7 passages. Voulez-vous dire 8 (2^7-4 ResIII) ?
2. Je ne comprends pas le nombre de réplicats. Premièrement, il s'agit de réplicats (exécution indépendante des mêmes combinaisons de traitements) et non de répétitions. L'un des aspects sacrifiés avec la conception expérimentale est la stabilité. Si vous cherchez à comprendre les problèmes de stabilité, l'échantillonnage et les études de COV seraient des outils de choix. De toute façon, il est impossible d'obtenir une stabilité avec 4 à 6 réplicats.
3. Il semble y avoir beaucoup de bruit. Peut-être avez-vous besoin d'une meilleure stratégie pour gérer ce bruit (par exemple, RCBD, BIB, split-plots)
4. N'ayant pratiquement aucune connaissance de la situation, je suggérerais de commencer par le COV/échantillonnage avant le DOE.
4. R^2 n’est qu’une des nombreuses statistiques que vous devriez utiliser pour évaluer le modèle (et ce n’est pas la meilleure).
Objet : Effort pour chaque DOEMerci @P_Bartell
Mais quel devrait être le Rsq minimum dont nous avons besoin dans le cadre des conceptions de criblage.
a. Avons-nous choisi des niveaux qui ne sont pas suffisamment larges pour que le signal dépasse le bruit ? - comment les trouver ?
b. Existe-t-il des variables de bruit cachées qui influencent nos réponses... si oui, comment les gérerons-nous à l'avenir... blocage ? - comment les trouver ?
c. Y a-t-il d'autres facteurs auxquels nous devons penser ? - comment les trouver ?
2. Avec toutes ces réplications, vous devriez pouvoir obtenir une bonne estimation de l'erreur pure… qui, si elle est suffisamment importante, commencera à écraser le signal. Que savez-vous de la variation de votre système de mesure par rapport aux réponses ? Si elle est suffisamment importante, vous devrez peut-être travailler à réduire le bruit du système de mesure ? Je connais les bases de l'AMS et ses effets sur les réponses. Comment les utiliser au niveau du DOE ?
Objet : Effort pour chaque DOEMerci @statman
Désolé, ce n'était pas 7, c'est 10 exécutions utilisant une conception personnalisée et seulement deux variables continues ont été modifiées.
3. Il semble y avoir beaucoup de bruit. Peut-être avez-vous besoin d'une meilleure stratégie pour gérer ce bruit (par exemple, RCBD, BIBD, split-plots) ? Comment puis-je les utiliser dans un DOE JMP ?
4. N'ayant pratiquement aucune connaissance de la situation, je suggérerais de commencer par l'échantillonnage avant la mesure des valeurs de la variance. Comment réaliser une étude des valeurs de la variance et choisir le bon nombre d'échantillons avant la mesure des valeurs de la variance ? Je garde généralement un échantillon de 38 à 52 cellules pour l'ensemble de la mesure des valeurs de la variance (c'est-à-dire pour l'ensemble de la mesure).
4. R^2 n'est qu'une des nombreuses statistiques à utiliser pour évaluer le modèle (et ce n'est pas la meilleure). Quelles sont les autres meilleures statistiques pour évaluer le modèle ? Pourriez-vous me les indiquer ? Je recherche toujours des modèles, l'IC, le manque d'ajustement, l'estimation des paramètres et parfois l'erreur quadratique moyenne normalisée.
Objet : Effort pour chaque DOEMerci @Victor_G
Non, je n'ai jamais essayé d'évaluer la cause du bruit, car de nombreux processus ont été impliqués avant de fabriquer une cellule finale.
Je n'ai pas de modèles spécifiques en matière de résidus.
Comme il s'agit du premier DOE pour ce processus (d'après mon expérience), je ne m'attends à aucun effet polynomial ou d'interaction. Nous n'avons pas utilisé de méthodes d'apprentissage automatique.
Le blocage est une chose qui n'est pas encore complètement réalisée, mais cela ajouterait un avantage car dans le cas où toutes les cellules seraient réalisées le même jour, avec les mêmes instruments, par la même personne et en utilisant les mêmes matériaux.
Objet : Effort pour chaque DOEÀ mon avis, il existe une valeur minimale de R² pour toute analyse, quel que soit le plan d'analyse. R² n'est qu'un nombre parmi d'autres permettant d'exprimer la variabilité expliquée par un modèle spécifique. Le but de votre analyse n'est pas d'obtenir de « bonnes statistiques », mais de satisfaire vos objectifs expérimentaux. Donc, si ces objectifs ne sont pas atteints, R² et toute autre statistique m'importent peu. Quant aux trois autres questions que vous posez, « comment les trouver », elles sont traitées par la connaissance du domaine, la conduite expérimentale, l'expérience passée et les connaissances fondamentales que vous pouvez apporter au problème posé. Alors, laissez-moi commencer et essayer de vous aider.
1. Concernant les niveaux, si vous ne savez vraiment pas où les définir, alors le DOE est probablement prématuré. Je regrette de le recommander… mais si vous n'en avez aucune idée, il est peut-être temps de faire des essais chronométrés à un facteur pour voir si vous pouvez trouver ces niveaux.
2. Facteurs cachés… c'est là que la connaissance du domaine joue un rôle important. Par exemple, vous devez peut-être réaliser l'expérience sur deux « machines » différentes… que vous espérez identiques… mais que vous souhaitez éviter si elles n'influencent pas les réponses de manière identique. C'est là qu'une forme de blocage entre en jeu. Ou bien, les facteurs sont difficiles à modifier… comme la température d'un récipient ; vous souhaitez donc restreindre la randomisation à la température en combinant toutes les valeurs basses, puis les valeurs hautes. Dans ce cas, un plan de « split plot » (une seule forme de blocage) est recommandé. Réfléchissez à l'expérience et à ses conditions et utilisez votre connaissance du domaine pour vous prémunir contre ces facteurs cachés, ou du moins en tenir compte. De plus, j'ai toujours essayé d'être présent à chaque expérience pour détecter tout élément suspect.
3. Lors de la planification de l'expérience, avez-vous passé du temps à réfléchir à tous les facteurs susceptibles d'influencer le résultat ? J'espère que oui, et vous en avez dressé une liste. Vous l'avez conservée. Peut-être est-il temps, après analyse, de la revoir et d'essayer d'autres facteurs ?
4. Concernant la variation du système de mesure, la règle empirique que nous utilisions souvent était que la variation souhaitée devait être égale à 1/4 de la variation du signal recherchée. Votre situation pourrait être complètement différente.
J'espère que cela aide ?
