Vérification de l'ordre d'exécution aléatoire et de la validité du plan d'expériences dans JMP DOE
Salut tout le monde,
Je travaille actuellement sur un plan d'expériences (DOE) créé avec JMP et je souhaite évaluer la qualité de l'ordre aléatoire des exécutions. Bien que JMP randomise automatiquement la séquence des exécutions lors de la génération du plan, j'aimerais évaluer objectivement l'efficacité de cette randomisation.
Plus précisément, j'aimerais savoir si JMP propose des fonctionnalités intégrées ou des flux de travail établis pour :
- détecter les tendances, les schémas systématiques ou les dérives au cours de la séquence d'exécution,
- identifier les regroupements ou la distribution non uniforme des niveaux de facteurs,
- effectuer des tests statistiques formels d'aléatoire (par exemple, tests de séquences, tests d'autocorrélation ou d'indépendance),
- ou quantifier autrement dans quelle mesure l'ordre d'exécution se rapproche d'une véritable randomisation.
Si JMP ne propose pas de méthode directe pour ce type d'évaluation, existe-t-il des scripts JSL recommandés, des modules complémentaires ou des approches de bonnes pratiques pour évaluer l'aléatoire dans l'ordre d'exécution des plans d'expériences ?
De plus, je souhaite savoir si JMP fournit des outils permettant de vérifier que l'intégrité et les propriétés statistiques du plan expérimental sont préservées après un réordonnancement manuel des essais.
Merci d'avance pour vos contributions.
BayesKnight
Conception des expériencesRe : Vérification de l’ordre d’exécution aléatoire et de la validité du plan d’expériences dans JMP DOESalut @BayesKnight ,
Bienvenue dans la communauté !
Je vois au moins deux options qui peuvent vous aider à détecter les tendances de réponse dues à un éventuel manque de randomisation ou à une sensibilité temporelle dans les options d'ajustement du modèle :
- Option graphique : Représentation graphique des résidus par ligne : Ce graphique peut vous aider à détecter les tendances résultant de l’ordre des lignes des observations.
- Test statistique optionnel : Test de Durbin-Watson : Statistique permettant de vérifier si les résidus présentent une autocorrélation de premier ordre. Ce test n’est approprié que si les lignes sont ordonnées chronologiquement (expériences réalisées dans le même ordre que dans le tableau de données).
Vous pouvez également utiliser d'autres options graphiques ou statistiques, comme les cartes de contrôle (qui permettent d'évaluer si la répartition des niveaux de facteurs suit une tendance, notamment grâce aux règles de Westgard ) et l'analyse des séries temporelles. Le clustering hiérarchique vous permet de vérifier que le regroupement des points est équilibré et forme des groupes de lignes ordonnés. Enfin, la plateforme multivarié vous permet de vérifier l'existence de corrélations significatives entre les facteurs et l'ordre des lignes.
L'évaluation de la conception via la plateforme Évaluer la conception ne tient pas compte de l'ordre des lignes dans les différentes évaluations. Si vous suspectez une tendance temporelle lors de l'exécution de votre conception et souhaitez rendre la répartition des niveaux de facteurs robuste à toute tendance temporelle, vous pouvez consulter les articles suivants :
https://community.jmp.com/t5/RD-Blog/How-to-create-an-experiment-design-that-is-robust-to-a-linear/ba-p/30138
Covariables dans un ordre défini dans une conception personnalisée
J'espère que cette réponse vous sera utile.
Re : Vérification de l’ordre d’exécution aléatoire et de la validité du plan d’expériences dans JMP DOESalut @Victor_G ,
Merci beaucoup pour votre accueil chaleureux et les informations fournies. Je tiens à préciser que mon principal objectif est d'évaluer la qualité de l' ordre de passage aléatoire des tests avant le début de l'expérience . Une fois les réponses recueillies, il devient trop tard pour corriger les problèmes potentiels liés à un séquençage non aléatoire. Existe-t-il un moyen de l'évaluer ?
Re : Vérification de l’ordre d’exécution aléatoire et de la validité du plan d’expériences dans JMP DOEDans votre message initial, vous souhaitiez « quantifier dans quelle mesure l'ordre d'exécution se rapproche d'une véritable randomisation ».
Dites-moi à quoi ressemble une véritable randomisation et je pourrais probablement trouver un moyen de quantifier à quel point je m'en approche.
En définitive, la randomisation des expériences est une forme de protection contre les sources d'erreur inconnues ou imprévues, potentiellement liées au temps ou à l'ordre de réalisation des expériences. Ces sources d'erreur, si elles existent, se manifesteraient dans les données recueillies, ce qui explique l'éclairage apporté par @Victor_G .
Pourvu qu'un générateur de nombres aléatoires fiable soit utilisé (JMP en propose d'excellents), n'importe quel motif aléatoire convient généralement. Des situations particulières peuvent indiquer le contraire, mais il faudrait alors les connaître.
Par exemple, supposons qu'une machine commette systématiquement une erreur sur le quatrième article produit. Dans ce cas, un schéma aléatoire valide pourrait placer l'un des facteurs à sa valeur maximale une fois sur quatre. Pour un plan d'expériences à 8 essais, ce serait tout à fait plausible. Mais cela influencerait certainement les résultats. On ne le saurait qu'après avoir effectué l'analyse et, surtout, après avoir vérifié les résultats. J'ai déjà observé un phénomène similaire en situation réelle, malgré un schéma aléatoire apparemment valide.
Enfin, l'analyse statistique et les propriétés que vous mentionnez supposent que les termes d'erreur du modèle sont indépendants et identiquement distribués. Réorganiser manuellement les essais d'un plan d'expériences ne devrait pas affecter cette hypothèse. En fait, la randomisation n'est même pas nécessaire si vous savez que chaque essai est véritablement indépendant. La plupart des chercheurs randomisent les essais par mesure de précaution contre les sources d'erreur inconnues (comme indiqué précédemment). Si le déplacement manuel des essais affecte l'indépendance, votre plan (et votre analyse) devra alors tenir compte de ces variations temporelles.
J'espère que ces informations vous seront utiles. N'oubliez pas que toutes les expériences doivent être vérifiées et que même la séquence 1, 2, 3, 4, 5 peut être un motif aléatoire !
Re : Vérification de l’ordre d’exécution aléatoire et de la validité du plan d’expériences dans JMP DOEJe propose une perspective différente. Il existe de nombreuses techniques pour évaluer l'efficacité de la stratégie expérimentale après l'expérience. Je suggère de consacrer plus de temps à la planification. Je pense que la randomisation en expérimentation est une technique permettant d'éviter qu'un facteur non identifié et non testé (que j'appellerai bruit) ne soit confondu avec un facteur de l'expérience. Je pense que nous pouvons être plus efficaces. Alors, où va cet effet de bruit ? Voulez-vous en savoir plus sur cet effet de bruit ? L'utilisation de la randomisation empêche l'assignation (Shewhart). Je veux en savoir plus sur le bruit. Quel bruit est significatif ? Comment introduire du bruit dans l'expérience ? Comment être robuste au bruit ? Je suis d'accord avec GEP Box :
«Bloquez ce que vous pouvez, randomisez ce que vous ne pouvez pas».
Autrement dit, si le bruit est identifiable, le confondre avec le bloc est plus efficace que la randomisation. Il est assignable. Pour un bruit non identifiable (on ignore pourquoi), randomisez-le.
Je suggère quelques articles :
Youden, WJ, Randomisation et expérimentation, Technometrics, vol. 14, n° 1, février 1972
Hwan, Marilyn (2000), « Faut-il randomiser ou non, telle est la question », Bulletin de la Division de statistique de l’ASQ , vol. 17, n° 1, p. 26
Re : Vérification de l’ordre d’exécution aléatoire et de la validité du plan d’expériences dans JMP DOESalut @BayesKnight ,
En plus de ce qui a déjà été très bien exprimé par d'autres, je voudrais ajouter quelques points à prendre en considération.
1. Comment comptez-vous quantifier l'ordre de votre plan d'expériences AVANT de réaliser l'expérience ? Si les essais dépendent de l'état d'un paramètre (état de l'échantillon, équipement, température du four ou tout autre élément non pris en compte dans votre plan d'expériences), cela se manifestera dans les données, mais seulement APRÈS la réalisation de tous les essais, et pourra être évalué comme indiqué précédemment.
2. Si vous souhaitez vraiment tester l'aléatoire d'un plan d'expériences (DOE), vous pouvez en générer des centaines, voire des milliers. Si vous disposez de 20 essais, vous pouvez collecter des statistiques sur la fréquence de sélection de chaque essai. En générant suffisamment de DOE, vous ne devriez observer aucun schéma dans le processus de sélection. Mais alors, quel DOE choisir ? Lequel est le plus aléatoire ? Vous pouvez créer un script JSL pour cela, et cela ne devrait pas prendre beaucoup de temps. Il est bien sûr essentiel de définir votre DOE avec soin afin d'éviter tout facteur caché susceptible de le fausser. Même avec cette analyse, il serait impossible de prendre en compte une variable cachée influençant l'ordre des essais.
3. Une fois le plan d'expériences (DOE) terminé, plusieurs méthodes permettent d'évaluer l'aléatoire des exécutions, comme mentionné précédemment (l'analyse des résidus par ligne est un excellent point de départ). Il est également possible d'ajouter une colonne « ordre d'exécution » et de l'inclure dans l'analyse afin de déterminer s'il existe une dépendance statistiquement significative des résultats à cet ordre. On peut même inclure un « facteur nul » (consultez la documentation sur la validation automatique dans JMP ; un code JSL est disponible, mais cette fonctionnalité n'est pas intégrée) qui représente un facteur totalement aléatoire. Tout facteur dont l'importance statistique est inférieure ou égale à celle de ce facteur nul peut être ignoré.
La planification préalable est essentielle et représente souvent une part importante du temps de discussion. Un plan d'expériences (DOE) bien conçu sera plus rapide à analyser qu'un plan mal conçu, et vous obtiendrez des informations plus rapidement. À cet égard, posez-vous les questions suivantes : y a-t-il lieu de penser que l'ordre a une importance ? Si oui, pourquoi ? D'où vient-il ? Comment pouvons-nous en tenir compte dans notre conception ? Quels autres facteurs pourraient affecter les résultats et pouvons-nous les prendre en compte ? D'où provient le bruit dans notre signal ? Comment pouvons-nous minimiser ce bruit et/ou le prendre en compte dans le DOE ?
J'espère que cela vous aidera !
DS
Re : Vérification de l’ordre d’exécution aléatoire et de la validité du plan d’expériences dans JMP DOESalut @Dan_Obermiller ,
Merci pour votre réponse détaillée.
Vous avez tout à fait raison. Il n'existe pas de randomisation « parfaite » ou « véritable ». Cependant, certaines randomisations peuvent être meilleures que d'autres, car elles évitent les schémas indésirables (par exemple, de longues périodes avec des niveaux de facteurs identiques, une structure périodique, etc.).
C’est pourquoi j’espérais explorer si JMP offre des outils permettant d’évaluer ces aspects objectivement, plutôt que de se fier uniquement à la confiance dans le générateur de nombres aléatoires ou à une inspection visuelle.
Je recherche d'autres moyens d'évaluer la qualité de l'ordre d'exécution, notamment dans les situations où des risques subtils liés au temps ou au comportement des équipements peuvent influencer les résultats.
Merci encore pour vos analyses. Elles sont très utiles.
Re : Vérification de l’ordre d’exécution aléatoire et de la validité du plan d’expériences dans JMP DOESalut @SDF1
Merci pour votre réponse.
Je suis entièrement d'accord sur le fait que la phase de définition/planification d'un plan d'expériences est cruciale ; c'est précisément la raison pour laquelle j'ai soulevé cette question. Je souhaite partir d'un plan d'expériences aussi robuste que possible et m'assurer de la fiabilité de l'ordre d'exécution aléatoire avant la mise en œuvre.
Je reconnais qu'il peut y avoir des variables cachées que nous ne pouvons pas prévoir, mais mon objectif principal est :
- comment générer un ordre d'exécution aléatoire robuste
- comment évaluer sa qualité avant de mener l'expérience.
Merci encore pour ce point de vue.
Re : Vérification de l’ordre d’exécution aléatoire et de la validité du plan d’expériences dans JMP DOESi vous cherchez à éviter les schémas dans la distribution des niveaux des facteurs, la plateforme Explorer les modèles pourrait peut-être vous aider à détecter les schémas univariés indésirables ?
Avant d'examiner les éventuelles tendances de la randomisation (qui font toujours partie intégrante de ce processus), avez-vous évalué les propriétés et les performances de votre plan d'expérience à l'aide de la plateforme Évaluer la conception ? Il est probable que les scénarios d'échec soient davantage liés à une taille d'échantillon/puissance statistique inappropriée ou à une structure d'aliasing inadéquate qu'à d'éventuelles tendances de la randomisation.
Re : Vérification de l’ordre d’exécution aléatoire et de la validité du plan d’expériences dans JMP DOESalut @BayesKnight : Je suis ce sujet avec un certain intérêt… et, pour être honnête, une certaine confusion. Il me semble que votre question est : l’ordre d’exécution « aléatoire » (généré par JMP) est-il réellement aléatoire ? Comme l’a dit @Dan_Obermiller : « Du moment qu’un générateur de nombres aléatoires fiable est utilisé (et JMP en propose), n’importe quel motif aléatoire convient généralement. » Bien sûr, même les générateurs de nombres aléatoires « fiables » sont en grande partie des générateurs de nombres pseudo-aléatoires. De ce fait, ils utilisent généralement un algorithme pour générer une séquence de nombres aléatoires qui possède les propriétés d’une séquence aléatoire. Donc, la réponse est « oui ».
Une méthode simple pour randomiser l'ordre des exécutions consiste à générer un nombre uniforme sur 0 ou 1 pour chaque exécution, puis à réordonner les exécutions selon cette distribution uniforme.
Ma question est la suivante : qu'est-ce qui a motivé votre question ?
Re : Vérification de l’ordre d’exécution aléatoire et de la validité du plan d’expériences dans JMP DOESalut @statman
Merci pour votre réponse et pour le partage des documents de référence.
Je suis d'accord qu'il existe de nombreuses façons d'évaluer une conception, mais comme vous l'avez mentionné, la plupart d'entre elles sont utilisées après la fin de l'expérience.
Mon objectif est d'éviter de ne découvrir les problèmes qu'à la fin, lorsqu'il est trop tard pour les corriger.
Je ne remets pas en question l'utilité de la randomisation ou du blocage. Je souhaite simplement détecter tout problème potentiel le plus tôt possible. Plus précisément, je veux vérifier au préalable que l'ordre aléatoire n'introduit pas accidentellement de schémas ou de tendances susceptibles de fragiliser le dispositif expérimental.
Merci encore pour votre point de vue pertinent.
Re : Vérification de l’ordre d’exécution aléatoire et de la validité du plan d’expériences dans JMP DOESalut @BayesKnight ,
JMP générera un ordre d'exécution aléatoire robuste pour votre plan d'expériences ; vous n'avez pas à vous en soucier (et vous ne devriez même pas vous en soucier). JMP est un leader du secteur depuis plus de 35 ans. Leur longévité est indéniable si leur logiciel n'était pas fiable.
Même si vous parveniez à quantifier et évaluer l'ordre d'exécution des expériences AVANT de réaliser le plan d'expériences, vous ne feriez en réalité que tester l'algorithme de randomisation de JMP pour déterminer s'il est « véritablement » aléatoire. Comme l'a mentionné @MRB3855 , aucun générateur de nombres aléatoires (numériques) n'est véritablement aléatoire. Prenez votre application musicale préférée et testez sa fonction de lecture « aléatoire ». En réalité, cette lecture est limitée car l'application privilégie la lecture de chaque morceau de la liste de lecture une fois avant de « re-randomiser » la liste. L'ordre obtenu n'est donc pas véritablement aléatoire.
Je partage également l'avis de @MRB3855 : qu'est-ce qui vous a incité à soulever la question de l'évaluation de l'aléatoire AVANT même de lancer le plan d'expériences ? Pourquoi pensez-vous que JMP ne propose pas un ordre d'exécution aléatoire robuste ?
Si vous disposez de données historiques qui semblent confirmer cette hypothèse, je vous conseillerais de consacrer plus de temps à la planification du plan d'expériences et d'utiliser une méthode de blocage ou une autre technique pour en tenir compte. Je ne remettrais pas en question les décisions de JMP et ne supposerais pas qu'il y a un problème de leur côté ; il est beaucoup plus probable que le plan d'expériences n'ait pas été correctement planifié dès le départ.
DS
Re : Vérification de l’ordre d’exécution aléatoire et de la validité du plan d’expériences dans JMP DOESalut @BayesKnight . Je partage l'avis de @MRB3855 : cette discussion est vraiment intéressante. On y trouve une multitude de réponses pertinentes et bien argumentées, offrant des perspectives variées. Il semble qu'après chaque réponse, vous ne soyez toujours pas satisfait et, comme cela a été souligné, vous cherchez apparemment à savoir s'il existe un moyen d'évaluer la « qualité du caractère aléatoire ». Je crois fermement que le hasard est le hasard, et il arrive que l'on perçoive des motifs à l'œil nu, même lorsque quelque chose est aléatoire.
Je ne connais aucune technique statistique reconnue permettant d'évaluer la qualité de l'aléatoire, si ce n'est d'observer l'ordre des niveaux de facteurs et de vérifier s'ils sont suffisamment désordonnés. La solution serait peut-être de procéder ainsi et de continuer à randomiser jusqu'à obtenir un ordre aussi désordonné que possible ? On pourrait objecter (et je le ferais probablement en tant que statisticien) que cela biaise l'ordre d'exécution et risque de supprimer l'aléatoire.
Une solution simpliste consisterait à représenter vos facteurs sur l'axe des ordonnées, l'ordre d'exécution sur l'axe des abscisses et à utiliser une carte thermique où la couleur correspond au niveau du facteur (-1, 0, +1). Cela pourrait vous aider à identifier visuellement d'éventuelles tendances.
