Analyse Svem DOE avec exécutions répliquéesLors du dernier forum de discussion sur le DOE, l'analyse Svem a été discutée pour un DOE avec des exécutions répliquées. Il a été suggéré de faire la moyenne du résultat des exécutions répliquées. Que se passe-t-il s'il y a une variation significative entre les réplications ? Ne serait-il pas préférable d'exécuter Svem avec une « variable d'exécution répliquée » supplémentaire pour estimer la variation au sein des réplications ? Si la variation au sein des réplications est importante, Svem s'en chargera ; dans une prochaine analyse de modèle mixte, la variable répliquée peut être attribuée comme aléatoire et séparée des effets fixes que Svem a attribués comme étant importants.
Plan d'expériencesRé: Analyse Svem DOE avec exécutions répliquéesJe suis désolé de ne pas avoir assisté à la réunion du club DOE et de ne pas être familier avec l'analyse SVEM (j'ai téléchargé le fichier et je vais le consulter). L'analyse des expériences est un choix personnel. Il existe de nombreuses façons de procéder. Avant de commenter, je veux m'assurer que vous entendez par réplication et non par répétition. Cela signifie que les réplications sont considérées comme des exécutions indépendantes de la même combinaison de traitement, chaque exécution ayant une unité expérimentale indépendante comme sortie.
Voici mes commentaires non informés :
1. Lorsque vous résumez des données, vous rejetez invariablement des informations. Si vous faites une moyenne, vous devez également prendre en compte la variation des données que vous avez moyennées en tant que réponse. À mon humble avis, vous rejetez des informations (et des DF) si vous faites la moyenne sur les répliques. Maintenant, si vous faites des répétitions, c'est une excellente idée et prenez également en compte la réponse de la variation au modèle.
2. S'il s'agit bien de répliques, il semble que vous souhaitiez comprendre ce qui change entre les répliques. Si vous pouvez identifier et attribuer les facteurs (bruit) qui changent entre les répliques, vous pouvez en apprendre beaucoup sur la robustesse des effets des facteurs. Cela peut être une excellente stratégie pour augmenter simultanément l'espace d'inférence et la précision de la conception.
« Bloquez ce que vous pouvez, randomisez ce que vous ne pouvez pas ». GEP Box
Confondez ce que vous pouvez identifier et attribuer avec le bloc. Pour les facteurs que vous n'avez pas réussi à identifier, la randomisation est la stratégie à adopter.
Ré: Analyse Svem DOE avec exécutions répliquéesSalut @frankderuyck ,
L'analyse SVEM fonctionne parfaitement dans deux situations :
- Construire un modèle prédictif avec des données très limitées, en empilant les différents modèles individuels qui ont été formés et validés sur des données légèrement différentes (poids différents pour la formation et la validation).
- Évaluer la signification pratique et augmenter la précision des estimations d'effets pour des expériences individuelles uniques (pas de répliques) de manière automatique, grâce à l'empilement de modèles.
Quelle que soit la situation, il est important de se rappeler dans quel contexte la technique SVEM a été introduite : pour fournir une technique/un cadre de validation en présence d'un petit ensemble de données sans aucune autre technique de validation possible.
Conférences et présentations : Repenser la conception et l'analyse des expériences ? (2021-EU-30MP-776) - JMP User Community
SVEM : un changement de paradigme dans la conception et l'analyse des expériences (2021-EU-45MP-779) - Communauté d'utilisateurs JMP
Donc, juste sur le plan conceptuel, j'ai des sentiments mitigés à propos de l'idée de combiner SVEM et répliques, car cela ressemble à la fusion de deux méthodologies de construction de modèles différentes qui reposent sur des concepts, des objectifs et des méthodologies de validation différents : le dépistage basé sur la signification statistique et l'estimation de l'erreur/du bruit pour les conceptions impliquant des répliques et la modélisation statistique par rapport à la modélisation prédictive basée sur la précision prédictive et l'amorçage/l'empilement de modèles.
En présence de répliques, je crains que des fuites de données puissent se produire lors de l'utilisation de SVEM pour la construction du modèle : comme chaque expérience aura des poids d'entraînement et de validation aléatoires (et de manière anticorrélée), les exécutions répliquées pourraient avoir une importance différente sur l'entraînement et la validation, même si elles représentent le même traitement ! Ainsi, la construction du modèle peut être légèrement biaisée (car elle contient des informations sur les ensembles d'entraînement et de validation via des répliques avec des poids différents), et peut entraîner une "surconfiance" et une forte diminution de l'écart type pour les estimations des termes :
Lorsque l'on augmente la variabilité entre les répliques sur le même exemple (ensemble de données JMP personnalisé Reactor 20 avec des exécutions de répliques ajoutées jusqu'à 30 exécutions par rapport à l'ensemble de données personnalisé Reactor 20 d'origine), on peut constater que les deux situations d'utilisation de SVEM sur la conception avec des répliques et d'utilisation de SVEM sans répliques sont assez similaires en termes d'estimations et d'erreurs standard :
Donc encore une fois, je ne vois pas quel pourrait être l'intérêt de fusionner ces deux techniques, car vous fusionnez deux techniques de validation (très) différentes, ce qui n'est pas la raison pour laquelle SVEM a été créé.
Je suis également sceptique quant à l'utilisation de SVEM pour estimer la variation intra-réplication, car vous pouvez déjà avoir cette information si vous avez des répliques avec une analyse standard, et l'utilisation de SVEM pourrait diminuer l'estimation de l'écart type, comme le bootstrapping : voir la grande visualisation interactive pour le bootstrapping : Seeing Theory - Frequentist Inference
Pour les autres intéressés par cette discussion, voici les enregistrements du DoE Club Q4 : Enregistrements DOE Club Q4 2024
J'espère que la réponse aura du sens et que les contributions des autres membres m'intéressent,
Ré: Analyse Svem DOE avec exécutions répliquéesBonjour Victor, lorsque la variation entre les répliques est faible, on ne peut s'attendre à aucune influence importante lors de l'augmentation du nombre de répliques. Mais que se passe-t-il s'il y a une variabilité assez élevée entre les répliques, n'est-il pas intéressant d'introduire un facteur de blocage pour chaque réplique et d'inclure cet effet de blocage dans Svem ?
Ré: Analyse Svem DOE avec exécutions répliquéesSalut Frank,
Je pense toujours que ce n'est peut-être pas une bonne idée, car la méthode SVEM semble être « indépendante de la conception », elle ne prend donc pas en compte le regroupement, la structure de blocage ou la présence de répliques, ce qui peut entraîner un « excès de confiance »/une fuite de données/une diminution de l'écart type sur l'estimation du terme d'effet de blocage.
De plus, comme il s’agit d’un type spécifique d’amorçage, il peut entraîner une diminution de l’estimation de l’écart type, comme indiqué précédemment avec la visualisation interactive.
EDIT : Plus d’informations sur SVEM :
Présentation des modèles d'ensemble auto-validés
Lemkus, T., Gotwalt, C., Ramsey, P., et Weese, M. (2021). « Modèles d'ensemble auto-validés pour la conception d'expériences ».Chimiométrie et systèmes de laboratoire intelligents219:104439.
Ré: Analyse Svem DOE avec exécutions répliquéesJe suis d'accord que si la variation entre les répliques n'est pas trop élevée, les résultats moyens peuvent être utilisés pour la modélisation. C'est différent lorsqu'il y a une variation significative entre les répliques ; vous trouverez en pièce jointe une étude avec une variation significative entre les répliques en raison du bruit du processus. Le modèle mixte avec la réplique comme effet aléatoire et le SVEM avec le facteur de réplique montrent des résultats similaires. Cependant, lorsque les résultats des répliques sont moyennés, les modèles AICC et SVEM généralisés sont également similaires et bien meilleurs, mais les résultats sont différents des modèles mixtes et SVEM+réplique : dans les 2 dernières analyses utilisant la moyenne des répliques, davantage d'effets sont significatifs ! Ce cas montre qu'il faut être prudent lors du calcul de la moyenne des répliques avec une variation significative ; de plus, le SVEM+réplique capte assez bien l'effet de réplique aléatoire.
Ré: Analyse Svem DOE avec exécutions répliquéesCaptures d'écran d'analyse ci-dessous
1. Modèle mixte et SVEM + Effet de réplication
2. Résultats de réplication moyens : Sélection directe généralisée AICC et SVEM
Ré: Analyse Svem DOE avec exécutions répliquéesÉtude de cas intéressante, merci de l'avoir partagée @frankderuyck .
En comparant les estimations des termes et leurs écarts types, nous pouvons voir que l'utilisation de SVEM avec des répliques a effectivement une influence sur les écarts types. Dans mon exemple avec une variabilité moyenne des répliques, SVEM a réduit de manière significative les écarts types associés à l'estimation des termes, car les fuites de données dans les pondérations d'entraînement et de validation ont apporté des informations sur les estimations des termes lors de la construction du modèle.
Dans votre cas, comme la variabilité entre les répliques est très élevée, la fuite de données n'apporte pas d'informations entre l'apprentissage et la validation du modèle (en fait, le modèle peut être encore plus "perdu" à cause de cette grande variabilité des répliques), vous aurez donc des écarts types pour les estimations de termes plus élevés que pour d'autres méthodes. L'utilisation de SVEM avec des valeurs moyennes ou d'un modèle REML apporte des informations très similaires, et la régression généralisée Forward Regression sur des valeurs moyennes peut fournir des estimations d'écarts types trop optimistes :
Je pense donc qu'un conseil général pourrait être de ne pas utiliser SVEM sur des données brutes impliquant des répliques (en raison de l'ajustement biaisé du modèle que cela créerait avec la fuite de données). Utilisez soit SVEM avec des valeurs moyennes pour le traitement (mais vous perdez des informations sur la variabilité des traitements internes), soit utilisez d'autres méthodes pour les données brutes avec des répliques (approches REML/Fit Model).
Intéressé par les points de vue de @philramsey , @chris_gotwalt1 et de tout autre membre curieux de la communauté,
Ré: Analyse Svem DOE avec exécutions répliquéesJe proposerais une approche en deux étapes : (1) utiliser SVEM + facteur de réplication pour filtrer les effets les plus forts et (2) utiliser ce dernier pour construire un modèle mixte avec la réplication comme aléatoire.
Ré: Analyse Svem DOE avec exécutions répliquéesLorsque le poids de l'effet de réplication dans SVEM est faible, on peut utiliser le genreg/OLS régulier avec des moyennes de réplication.
