Comment traiter les répétitions et les échecs dans une conception de criblage définitiveSalut la communauté, j'ai du mal à modéliser certaines données que j'ai obtenues d'un DSD. Il s'agissait d'un écran de 10 facteurs. Nous l'avons exécuté avec 3 blocs (opérateurs) et j'ai inclus le nombre maximum d'exécutions supplémentaires (8). Cela m'a donné un tableau de 31 pistes. Nous avons fait quelques expériences initiales de recherche de plage pour établir des limites raisonnables pour tous les facteurs. Malheureusement, nous avons encore 4 passages où la réaction a complètement échoué, donc je n'ai aucune valeur à mettre en réponse.
Ma première question est de savoir comment ces échecs doivent être traités ? Idéalement, je suppose qu'ils devraient être exclus, et j'aurais encore 27 exécutions qui ont fourni des données. Mais si je les exclut du tableau et que j'essaie d'exécuter le script Fit Definitive Screening, rien ne se passe. Il n'y a pas de message d'erreur mais la fenêtre ne s'ouvre tout simplement pas. Ma réponse est "Time to Completion", dans le but de minimiser cette réponse, et je pourrais simplement mettre un grand nombre représentant un temps plus long que la durée de l'expérience mais cela semble arbitraire. Le script s'exécutera cependant.
Ma deuxième question est de savoir si je peux inclure des exécutions répétées pour avoir plus confiance dans le modèle ? Nous avons exécuté 8 répétitions de chaque condition d'exécution. Cependant, si je copie et colle une exécution et que j'essaie d'exécuter le script, encore une fois, rien ne se passe. Pour le moment, je prends simplement la moyenne des 8 exécutions et je l'utilise, mais je me demande s'il serait préférable d'inclure d'une manière ou d'une autre les valeurs individuelles et, dans l'affirmative, existe-t-il un moyen de le faire avec le script Fit Definitive Screening?
Je peux utiliser le module standard Fit Model pour résoudre ces deux problèmes, mais il semble que je manque l'avantage du DSD. Merci pour toute réponse ! Je suis sur JMP 15.2. Si l'affichage du tableau serait utile, je suis heureux de le faire.
BICHERe : Comment traiter les répétitions et les échecs dans une conception de dépistage définitiveTout d'abord, je n'ai pas examiné vos données, je ne peux donc pas reproduire les modes de défaillance que vous décrivez... mais je pense que vous n'avez pas de chance. Pour récolter les caractéristiques d'un DSD, vous avez vraiment besoin d'avoir toutes les réponses pour chaque combinaison de traitement. Il s'agit d'une conception très économique et riche en informations pour l'analyse en deux étapes, comme le prescrit le script Fit Definitive Screening. Voici ma suggestion générale, encore une fois, je n'ai pas regardé vos données. Mais j'essaierais au moins cela ... vous pouvez peut-être revenir aux mêmes conclusions que vous obtiendriez d'un flux de travail d'analyse DSD.
Vous devrez utiliser la plate-forme Fit Model. Inclure toutes les répliques « telles quelles ». Pourrait aussi bien... il peut y avoir des informations utiles dans la variation entre ces points... soit statistique ou pratique. Étant donné qu'un flux de travail d'analyse DSD suppose la rareté des effets pour réaliser les avantages d'une approche DSD ... je commencerais par ajuster un modèle d'effets principaux uniquement et voir quels effets sont actifs. Espérons que les combinaisons de traitement manquantes ne fassent pas trop mal en trouvant ces effets principaux actifs. Une fois que vous avez obtenu ces effets principaux actifs, ajustez maintenant un modèle avec ces effets principaux actifs ET toutes les interactions possibles à deux facteurs, y compris ces termes d'effet principal. Ajustez ce modèle... et voyez ce qu'il vous dit.
Cette approche en deux étapes imite conceptuellement ce que fait la plate-forme d'analyse Fit Definitive Screening... en quelque sorte. Je pense que cette approche pourrait vous rapprocher?
Je serais intéressé de voir ce que d'autres comme @markbailey ou @statman pourrait penser?
Re : Comment traiter les répétitions et les échecs dans une conception de dépistage définitiveMes pensées:
1. Variables de réponse : Pouvez-vous mesurer autre chose que le « délai d'achèvement » ? Par exemple, % d'achèvement ou chimie après 'x' temps... en d'autres termes, d'autres façons de mesurer les phénomènes.
2. Il s'agit d'une préoccupation pour toute stratégie DOE avec l'optimalité à l'esprit. Ils sont plus sensibles aux données perdues/manquantes/atypiques.
3. Comment remplacer les données manquantes (quelques idées à ce sujet, mais plus il y a de données manquantes, moins elles sont utiles) ?
- Utiliser la moyenne de l'ensemble de données
- Utilisez des données prédites (espérons que ces prédictions ont été faites a priori
- Régressez sur les données dont vous disposez et utilisez le modèle pour prédire les données manquantes (à l'aide de la plateforme de modèle d'ajustement)
- Faites tout ce qui précède et comparez les résultats.... s'ils concordent quelque peu, vous avez une plus grande confiance dans l'analyse résultante, sinon vous devez décider Qu'avez-vous appris et quelle devrait être la prochaine itération.
4. Je suis un peu confus par l'énoncé "Nous avons exécuté 8 répétitions de chaque condition d'exécution". Répliques ou répétitions ? S'agissait-il de traitements indépendants ? S'il s'agit vraiment de répliques et que les 8 répliques n'ont pas réagi (les 4 fois), qu'avez-vous appris ?
Re : Comment traiter les répétitions et les échecs dans une conception de dépistage définitiveJe veux vérifier que Fit Definitive Screening fonctionne ne pas fonctionnent si vous avez des valeurs manquantes ou des exécutions supprimées ou exclues du plan de criblage définitif. L'analyse spécialisée dépend de la structure rabattable de la matrice de conception lors de la formation des matrices modèles pour l'analyse. (Notez que vous pouvez utiliser Fit Definitive Screening avec quelconque conception repliable !)
Je me demande s'il serait possible de remplacer les valeurs manquantes pour les exécutions sans réaction par un très grand nombre pour Time to Completion ? Ce recodage est une astuce numérique. Vous voulez simplement que l'analyse se poursuive là où certaines exécutions ont pris essentiellement un temps infini, mais représentez cela avec un nombre fini. Par exemple, si le temps de réaction est compris entre 5 minutes et 2 heures, vous pouvez utiliser une valeur comprise entre 1 000 et 100 000 au lieu des valeurs manquantes. Est-ce que ça marche ? J'essaie de récupérer autant que possible votre expérience.
Les exécutions supplémentaires sont-elles vraiment des répliques ? C'est-à-dire qu'il ne s'agit pas simplement de mesures répétées d'une seule passe. Je soupçonne que Time to Completion exige qu'il s'agisse de véritables répliques - il suffit de vérifier. Si tel est le cas, j'inclurais certainement les répétitions individuelles et non la moyenne d'entre elles. Un contre-argument, cependant, est que vous pouvez estimer la moyenne et l'écart type et les modéliser pour trouver des conditions qui vous donnent à la fois le temps moyen minimum et la variation minimum dans le temps.
Mon dernier commentaire est que Fit Definitive Screening est un outil merveilleux et spécialisé. C'est vraiment une question de sélection de modèle, et c'est tout. Vous disposez de nombreux autres outils pour sélectionner le meilleur modèle linéaire.
Re : Comment traiter les répétitions et les échecs dans une conception de dépistage définitivesalut @markbailey , @statman , @P_Bartell ,
Merci pour les pensées! J'ai joint mon tableau de données afin que vous puissiez reproduire ce que je vois, si cela est utile. À l'heure actuelle, les cellules sans valeur dans la colonne "Heure" correspondent aux échecs d'exécution. Sans valeur, le script Fit Definitive Screen ne s'exécute pas. Si j'exclus ces lignes/exécutions, le script ne s'exécute toujours pas. Si j'attribue des valeurs aléatoires, il fonctionnera. Je sais qu'il est préférable de ne pas exclure les exécutions et cela nuirait au modèle, mais comme j'ai ajouté 8 exécutions supplémentaires lors de la génération de la table, j'espérais que perdre 4 à cause des échecs pourrait toujours fonctionner. J'étais juste surpris que le script n'essaye même pas! J'ai commencé par essayer l'approche qui @P_Bartell suggéré et j'ai des questions là-bas aussi, mais cela devrait probablement être un autre fil et je veux d'abord y consacrer plus de temps. Pour répondre à quelques-unes des autres questions qui se sont posées :
- Oui, je peux essayer d'utiliser une métrique différente de "Time to Completion". Le seul auquel je puisse penser est "Temps restant dans l'expérience", et essayez de maximiser cette valeur (ce serait zéro pour les échecs). Il s'agit d'une réaction biochimique qui produit un signal censé augmenter avec le temps jusqu'à atteindre un maximum. Dans les échecs, aucun signal n'a jamais été produit, donc je n'ai aucune autre valeur à utiliser.
- J'ai essayé d'attribuer des valeurs aux échecs, tels que des nombres supérieurs à la durée de l'expérience, ou simplement de très grands nombres (approximation d'un temps infini car cela n'a jamais fonctionné), ceux-ci semblent vraiment fausser le modèle et faire tout le d'autres points de données ont moins d'impact.
- Pour clarifier, mes répliques sont vraiment des répétitions des conditions d'exécution, pas seulement plusieurs mesures de la même exécution. Donc, au total, nous avons lancé 31*8 = 248 réactions. Ces réactions ont naturellement une certaine variabilité, les répétitions sont donc importantes. Les valeurs actuellement dans le tableau sont la moyenne des 8 exécutions. Je pensais qu'il serait utile d'inclure les données de chaque exécution dans le modèle, mais si j'essaie d'ajouter des exécutions supplémentaires à la table, le script Fit Definitive Screening ne s'exécute pas.
- Pour aborder "Qu'est-ce que j'ai appris des échecs": Si je regarde les exécutions échouées, 3 sur 4 ont une combinaison de Low Mg et High Log2X1. On s'attendait à ce que cela soit préjudiciable à la réaction, et j'avais envisagé de mettre en place une contrainte pour que cette combinaison ne puisse pas être utilisée, mais le DSD ne le permettait pas. Si j'avais fait un DOE personnalisé, j'aurais fait cette contrainte. (bien qu'il y ait des cas où Low Mg et High Log2X1 ont fonctionné, ce n'est donc pas un échec garanti).
Pour l'instant, je vais essayer de modéliser ces données en excluant les exécutions ayant échoué, y compris les données répliquées individuelles, et en n'utilisant pas le script Fit Definitive Screening.
Re : Comment traiter les répétitions et les échecs dans une conception de dépistage définitiveQuestion rapide : quelle est la part d'un changement dans le temps qui a une signification scientifique (ou une signification pratique) ?
Re : Comment traiter les répétitions et les échecs dans une conception de dépistage définitiveTout ce qui dépasse 5 min serait intéressant. Pour notre test "milieu" pour les 3 blocs/opérateurs, il a été achevé en 16, 25 et 25 minutes (ce qui est en soi un peu préoccupant qu'un opérateur soit en quelque sorte tellement plus rapide).
Beaucoup de ces conditions sont bien pires que cela, mais nous espérions identifier les facteurs qui pourraient nous aider à améliorer ce timing.
Re : Comment traiter les répétitions et les échecs dans une conception de dépistage définitiveJ'ai exécuté quelques analyses (modèles ajustés) par bloc et en incluant le bloc comme effet fixe. Fiche technique jointe. Les analyses utilisent des modèles saturés et n'ont pas été réduites. Oui, les effets de bloc peuvent être assez difficiles... menant à beaucoup de questions.
Re : Comment traiter les répétitions et les échecs dans une conception de dépistage définitiveMerci @statman ! Je suis assez nouveau dans la modélisation DOE, j'essaie donc de trouver mon propre chemin vers les modèles que vous avez scénarisés, mais en me concentrant sur l'utilisation de l'ensemble de données avec bloc comme effet fixe, et il semble que l'inclusion des données répliquées aide. Les différences entre les modèles de blocs individuels sont certainement préoccupantes. Merci à tous pour l'aide.
Re : Comment traiter les répétitions et les échecs dans une conception de dépistage définitivesalut @statman , le modèle que vous avez fourni, y compris toutes les données et le bloc en tant qu'effet, est logique d'après ce que nous savons du système. J'ai essayé de recréer votre modèle mais j'ai eu des difficultés, en particulier je ne sais pas comment vous vous êtes installé pour examiner les interactions secondaires et les effets quadratiques pour un sous-ensemble de facteurs (pH, Mg, Log2X2, Log25X3), qui fournissent le belle courbure que nous attendions.
J'ai essayé la stratégie qui @P_Bartell mentionnés ci-dessus - filtrer les effets principaux, puis croiser ceux-ci avec toutes les combinaisons possibles de facteurs. J'ai également essayé d'utiliser la régression linéaire pas à pas de différentes manières. Mais rien ne m'a conduit à quelque chose d'aussi prédictif que ce que vous avez fourni, et j'aimerais juste savoir comment vous en êtes arrivé là. Tout aperçu de votre processus de réflexion serait apprécié! Ou s'il y a une page d'aide particulière que je devrais lire, faites-le moi savoir.
Re : Comment traiter les répétitions et les échecs dans une conception de dépistage définitiveMon processus de réflexion lors de l'analyse des données du DOE est de commencer avec un modèle saturé. C'est ce qu'on appelle le soustractif approche de la construction de modèles (par rapport à l'approche additive comme le fait pas à pas). Un modèle saturé est lorsque tous les degrés de liberté sont assignés. Dans votre cas, j'ai traité le blocage comme un effet fixe et j'ai inclus les interactions bloc par facteur. Lors de l'analyse des résultats, réfléchissez d'abord à l'effet pratique de chaque facteur (terme du modèle), puis examinez la signification statistique. Supprimez les éléments insignifiants, puis relancez le modèle réduit et analysez les résidus. Je ne sais pas quelle est la signification pratique de votre ensemble de données, je ne peux donc pas réduire le modèle.
