Définition de la valeur P de l'étape 1 dans l'analyse de DSD à un niveau élevé pour détecter les effets actifsJ'ai une question sur la définition de la valeur P de l'étape 1 pour l'analyse d'un DSD à 7 facteurs en attachement.
Je dois définir la valeur P de l'étape 1 à 0,4 pour détecter les 5 facteurs actifs, alors que le paramètre par défaut est de 0,05 ; y a-t-il une explication ?
La valeur par défaut de 0,05 pour la phase 1 n'est-elle pas trop basse ? Comment régler la valeur P de la phase 1 ? Existe-t-il une règle empirique ?
Plan d'expériencesRé: Définition de la valeur P de l'étape 1 dans l'analyse de DSD à un niveau élevé pour détecter les effets actifsSalut @frankderuyck ,
Je suppose que l'exemple que vous montrez est à des fins d'éducation/formation puisque la réponse est basée sur une formule ?
Un bon rappel de l'aide JMP pour répondre à votre question est : « Un DSD de taille d'exécution minimale est capable d'identifier correctement les termes actifs avec une probabilité élevée si le nombre d'effets actifs est inférieur à environ la moitié du nombre d'exécutions et si les tailles d'effets dépassent deux fois l'écart type » (Source : Présentation de la plateforme de criblage définitif Fit )
Dans votre cas, vous avez 7 facteurs et vous vous attendez à ce que 5 d'entre eux soient détectés comme « actifs », c'est donc une tâche très complexe à réaliser lorsque vous utilisez un DSD de taille d'exécution minimale avec un bruit de réponse relativement élevé.
Quand je regarde la partie "bruit"/variabilité de votre formule de réponse, je vois que la partie aléatoire uniforme est assez grande (de -25 à 25) par rapport à la taille des estimations (de -20,8 à 5,2) pour les facteurs que vous souhaitez détecter dans cette première étape. Donc pour la plupart des facteurs pour lesquels vous avez spécifié une taille d'effet à estimer, il risque d'être très difficile de les détecter et d'estimer leur taille d'effet, par rapport à la partie bruit/variabilité que vous avez ajoutée dans la formule. Vous mentionnez aussi 5 facteurs "actifs", mais je pense qu'il y a une confusion : ils ne seront considérés comme "actifs" que si leur taille relative d'estimations est suffisamment grande par rapport au bruit/variabilité naturelle de vos expériences. Ce n'est pas parce que vous avez spécifié une estimation différente de 0 qu'il faut les considérer comme actifs/importants. C'est une question de rapport signal sur bruit, et une différence entre significativité statistique et significativité pratique.
Le niveau de signification (seuil de valeur p) à ajuster peut être estimé en fonction de votre conception et du bruit supposé (RMSE anticipé) dans la plateforme Évaluer les conceptions . Dans cette plateforme, vous pouvez ajuster le niveau de signification et le RMSE anticipé pour évaluer la puissance (probabilité de détecter un effet s'il est actif).
Ce n'est peut-être pas "exactement rigoureux", mais en guise d'exercice, vous pouvez vérifier si les résultats de votre analyse semblent corrects lorsque vous travaillez sur une formule de réponse théorique. En ajoutant une nouvelle colonne de formule pour examiner la partie bruit de la formule, je peux estimer un écart type d'environ 12 :
Lorsque vous utilisez cette valeur comme RMSE anticipé (probablement comme une estimation basse pour le RMSE), en fixant le niveau de signification à 0,05 et en utilisant les estimations théoriques de la formule comme coefficients anticipés (j'ai laissé « 1 » pour les effets nuls de votre formule pour voir la puissance « de base » de votre conception pour les effets principaux avec ce RMSE), cela correspond aux résultats de votre analyse :
Seul X1 a une taille d'effet suffisamment grande pour être détectée avec une probabilité élevée. Les autres effets ont une taille d'effet relativement trop faible (par rapport au RMSE anticipé de la réponse). Si vous avez un seuil de signification plus élevé avec le même bruit attendu, la puissance de détection des effets principaux augmentera :
Plusieurs options (seules ou combinées) pour votre exemple pourraient être utilisées en fonction de vos objectifs pédagogiques :
- Vous pouvez réduire la variabilité (partie uniforme aléatoire dans la réponse de la formule Y), pour vous assurer de pouvoir détecter la plupart des effets actifs que vous souhaitez détecter (et estimer).
- Vous pouvez augmenter la taille de la conception, pour permettre une détection plus facile des effets actifs. Extrait de l'aide JMP : « Cependant, en augmentant une taille d'exécution minimale DSD avec quatre exécutions ou plus correctement sélectionnées, vous pouvez identifier beaucoup plus d'effets avec une probabilité élevée. » : Présentation de la plateforme de dépistage définitive Fit
- Vous pouvez augmenter la taille de l'effet (taille des estimations des facteurs dans la formule), de sorte qu'il soit plus facile de détecter l'effet malgré le bruit/la variabilité élevés.
- Vous pouvez également essayer différentes plateformes d'analyse pour détecter les principaux effets. La plateforme de dépistage à deux niveaux Fit peut offrir une perspective différente, par exemple :
- Quel que soit votre choix, la plateforme Évaluer les conceptions (et la plateforme Comparer les modèles pour comparer les choix de conceptions différentes) est vraiment importante à montrer et à expliquer aux étudiants, car elle permet de mieux évaluer les avantages et les inconvénients de toute conception en fonction des objectifs, de la complexité du modèle, de la capacité à détecter l'effet, des propriétés d'aliasing, etc... Elle peut également être utilisée pour évaluer le niveau de signification à ajuster si vous disposez d'informations préalables sur le RMSE anticipé et les coefficients anticipés.
J'espère que ma réponse vous aidera à comprendre ce qui se passe dans votre exemple,
Ré: Définition de la valeur P de l'étape 1 dans l'analyse de DSD à un niveau élevé pour détecter les effets actifsBonjour Victor, merci encore pour votre réponse détaillée. Oui, il s'agit d'un cas de formation DOE basé sur une étude de cas pilote où les résultats étaient flous avec un bruit considérable et le budget d'expérimentation était limité à un maximum de 25 exécutions. Malheureusement, il n'y avait aucune connaissance préliminaire et une approche pragmatique était requise. L'objectif principal de cette étude de dépistage est de spécifier les effets principaux forts avec lesquels le DSD peut être augmenté pour obtenir un RSM. C'est pourquoi je n'ai pas inclus les 4 exécutions DSD supplémentaires et j'en ai conservé 17, il y a donc 8 exécutions de réserve à augmenter (4 exécutions de réserve pourraient être trop faibles).
Il est intéressant de noter qu'en augmentant le seuil P à 0,4, l'analyse DSD détecte toujours 5 facteurs significatifs ! Ce n'est que lorsque le seuil P est aussi élevé que 0,7 que les 2 effets plus petits et non significatifs X6 et X7 entrent en jeu et (comme dans l'analyse ROC) que la spécificité du modèle diminue. L'augmentation du DSD de 17 exécutions à 24 en utilisant les 5 effets forts donne un modèle très bon et utile et une réalisation réussie de l'objectif expérimental (correspondance avec la cible Y).
J'aime beaucoup la plate-forme de criblage à deux niveaux Fit que vous mentionnez ci-dessus, je sélectionnerais également le X4.
Cette étude de cas montre qu'en utilisant une approche pragmatique, même avec des résultats bruyants et des contraintes budgétaires, un DSD reste un outil de dépistage puissant, comme le signifie le « S ». Je l'utilise encore beaucoup.
Ré: Définition de la valeur P de l'étape 1 dans l'analyse de DSD à un niveau élevé pour détecter les effets actifsLa sélection avancée de SVEM fait également du bon travail ! cf. pièce jointe
Ré: Définition de la valeur P de l'étape 1 dans l'analyse de DSD à un niveau élevé pour détecter les effets actifsSalut @frankderuyck ,
J'ai des sentiments mitigés sur le rendement et l'utilisation (systématique) de SVEM, en particulier sur les données bruyantes.
La sélection directe SVEM ne « sélectionne » pas les termes du modèle (ni ne les filtre selon un critère statistique et un seuil spécifiques), mais tente plutôt de les estimer le plus précisément possible grâce au rééchantillonnage des points de données avec différents poids anticorrélés d'entraînement/validation. Par défaut, tous les termes seront considérés et estimés avec SVEM.
Ainsi, si votre objectif est de comprendre et de filtrer les principaux effets importants par le biais d'un filtrage, SVEM ne vous aidera peut-être pas davantage, car vous ne disposez pas d'un cadre de décision (critère statistique, métrique et seuil) pour le faire. SVEM est cependant très utile dans un état d'esprit prédictif, pour une estimation précise des termes.
Cependant :
- Vous pourriez utiliser la colonne/métrique "Pourcentage non nul" comme métrique statistique pour affiner le modèle, mais vous aurez la même difficulté qu'avec les p-values pour définir un seuil : un terme doit-il être >50% non nul pour être inclus dans le modèle et considéré comme "actif" ? Ou un autre niveau ?
- En visualisant les données du modèle SVEM, vous pouvez probablement mettre en évidence certains effets clés et les sélectionner en fonction de leur importance pratique (par exemple, la valeur absolue du terme doit être > 2) :
Mais encore une fois, la définition de ce seuil « d'acceptation » peut impliquer une grande expertise du domaine et une réflexion pour ne pas exclure prématurément certains termes qui pourraient être intéressants à étudier plus en profondeur.
De plus, si vous regardez le modèle des résidus, quelque chose d'étrange se produit :
Je ne ferais pas confiance à un modèle de régression qui montre ce modèle de résidus non aléatoire (biais). Mais cela peut être « amélioré » en réduisant la complexité du modèle, si vous lancez SVEM GenReg uniquement avec les effets principaux :
Il semble qu'il puisse y avoir une courbure dans le modèle résiduel. Donc, de toute évidence, dans votre exemple, les interactions et les effets quadratiques de votre formule de réponse ne sont pas étudiés ici dans ce modèle simple, et cela peut expliquer ce modèle de courbure.
Je ne pense pas que complexifier la construction et l’estimation des modèles soit la bonne chose à faire, en particulier avec des données bruyantes comme dans cet exemple.
La qualité de votre modèle sera toujours liée à la qualité (et à la précision) de vos données.
Ré: Définition de la valeur P de l'étape 1 dans l'analyse de DSD à un niveau élevé pour détecter les effets actifsJe suis d'accord, un modèle de régression basé sur un dépistage initial n'est pas du tout fiable ; ce n'est pas l'objectif du dépistage qui donne simplement une direction sur la façon de procéder dans un flux de travail séquentiel. Tous les outils d'analyse ci-dessus, l'analyse DSD, l'ajustement à deux niveaux et SVEM filtrent les mêmes 5 effets les plus forts qui peuvent être utilisés pour augmenter le DSD. J'aime l'approche séquentielle ; pour construire une maison de la connaissance, il faut commencer par les éléments de base les plus solides pour obtenir un cadre solide pour étudier les autres effets plus petits et importants.
Objet : Définition de la valeur P de l'étape 1 dans l'analyse de DSD à un niveau élevé pour détecter les effets actifsCe criblage à deux niveaux révèle un effet quadratique fort et significatif ; est-ce fiable ? Étant donné que cette plateforme de criblage ne vérifie que deux niveaux, comment peut-elle détecter des effets quadratiques à trois niveaux ?
Objet : Définition de la valeur P de l'étape 1 dans l'analyse de DSD à un niveau élevé pour détecter les effets actifsSalut @frankderuyck ,
Vous trouverez des directives et plus d'informations dans la documentation : Présentation de la plateforme de dépistage Fit Two Level
Vous pouvez également vérifier l'ordre d'introduction des termes/effets dans le modèle ici : Détails statistiques pour l'ordre d'entrée des effets
Cette plateforme n'est pas recommandée pour les facteurs catégoriels ou ordinaux à plusieurs niveaux, car ils seront traités comme continus.
Pour les effets quadratiques, ceux-ci sont généralement orthogonalisés artificiellement pour être intégrés au modèle, ce qui peut rendre les valeurs de p et l'estimation des effets imprécises. Cependant, la plateforme peut détecter des effets quadratiques à fort contraste pour des facteurs continus à trois niveaux.
J'ai utilisé cette plateforme dans ce sujet : Découverte des plans OML (Orthogonal Main Effects Screening Designs for Mixed Le...) - Communauté d'utilisateurs JMP et elle m'a aidé à détecter un effet quadratique qui n'était pas détecté par la plateforme Fit Definitive Screening ou par deux méthodes d'estimation de la plateforme Fit Model (Generalized Regression).
Il peut donc être intéressant de tester la plateforme Fit Two-Levels (et de suivre les directives et recommandations) pour comparer les modèles de différentes plateformes et comprendre lesquels sont d'accord/en désaccord sur la sélection des termes, et quels sont les modèles les plus pertinents.
J'espère que cette réponse pourra vous aider,
