Choisir d'exclure 2 valeurs aberrantes égales dans le DoESalut,
Existe-t-il une autre mesure que je peux utiliser pour aider à déterminer quelle valeur aberrante est la plus susceptible d’être la véritable valeur aberrante dans l’ensemble de données ?
J'ai effectué une analyse de données et, lors de la modélisation, j'ai constaté la présence de deux valeurs aberrantes égales (résidus externalisés : 48 et -48). Si j'exclus l'une ou l'autre, le R2 ajusté du modèle s'améliore immédiatement et considérablement, passant d'environ 0,65 à 0,99, et l'autre valeur aberrante se situe désormais dans la tendance.
Selon la valeur aberrante que je choisis d'exclure, cela impacte mon modèle. Dans un cas, j'obtiens uniquement des effets linéaires et d'interaction, dans un autre, j'obtiens également des effets quadratiques (je m'attends à des effets quadratiques, mais je n'en suis pas certain).
Existe-t-il une autre mesure que je peux utiliser pour aider à déterminer quelle valeur aberrante est la plus susceptible d’être la véritable valeur aberrante dans l’ensemble de données ? I want to avoid any scientific bias if at all possible. In looking at the experiment, I cannot identify anything incorrect in the execution of the conditions which would sway my decision.
Plan d'expériencesWindowsRe : Choix d'exclure deux valeurs aberrantes égales dans le DoESalut @MetaLizard62080 ,
Les résidus studentisés peuvent être un bon moyen d’identifier les valeurs aberrantes Basé sur un modèle supposé . Plus d'informations sur le calcul des résidus studentisés ici : Diagnostics de ligne (jmp.com)
Les points situés en dehors des limites rouges doivent être considérés comme des valeurs aberrantes probables . Les points situés en dehors des limites vertes, mais à l'intérieur des limites rouges, doivent être considérés comme des valeurs aberrantes possibles , mais avec moins de certitude.Comme vous pouvez le constater à partir de la définition, il n’existe aucune certitude définitive quant à la nature des valeurs aberrantes, car cela peut dépendre du modèle supposé que vous ajustez.
Peut-être que le modèle que vous ajustez est trop simple/pas pertinent pour tous les points et mesures collectés (il semble que ces effets quadratiques puissent être pertinents) ?
Vous pouvez analyser votre jeu de données avec une méthode de détection des valeurs aberrantes indépendante du modèle afin de vérifier si ces deux points semblent « étranges » ou s'il s'agit simplement d'un problème d'ajustement du modèle. Les méthodes de détection des valeurs aberrantes indépendantes du modèle, comme les distances de Mahalanobis ou de Jackknife, ne s'appuient pas sur un modèle spécifique et comparent simplement la distance entre les points en fonction de variables, de facteurs ou de caractéristiques. Ainsi, une valeur aberrante identifiée par ce type de méthode indique que ce point semble « étrange » et ne semble pas faire partie des distributions factorielles des autres points.
Valeurs aberrantes Épisode 3 : Détection des valeurs aberrantes à l'aide de la distance de Mahalanobis (et T2)
Valeurs aberrantes Épisode 4 : Détection des valeurs aberrantes à l'aide de la distance jackknife
Compte tenu des informations limitées fournies et du diagnostic effectué uniquement pour un ajustement de modèle spécifique, vous ne devez supprimer aucun point si vous n'avez pas justifié votre capacité à le faire, en vous basant sur des propriétés statistiques (valeurs aberrantes, etc.) et votre expertise du domaine (valeurs erronées, faute de frappe dans l'enregistrement des mesures, bug/problème dans le système de mesure, etc.). Dans votre exemple, vous pouvez toujours comparer les résultats de deux modèles, l'un avec tous les points, et l'autre en masquant et en excluant les deux points « étranges » (ou simplement en ajoutant une colonne pour pondérer ces deux points aberrants moins que les autres), et voir si les résultats sont très différents. Vous pouvez toutefois vérifier d'autres options, comme l'EQM/R2 de la pression , les distances de Cook et les hypothèses de régression linéaire multiple , pour vérifier la validité de votre modèle. Vos données pourraient-elles utiliser une transformation Y Box-Cox ?
J'espère que cette réponse pourra vous aider,
Re : Choix d'exclure deux valeurs aberrantes égales dans le DoEVoici mes réflexions et je suis d'accord avec Victor, ne supprimez pas simplement les données sans savoir ce qui s'est passé pour ce traitement (ces points de données peuvent être les plus informatifs de votre étude) :
1. Pour reprendre la terminologie de Deming, les points de données de causes spéciales dans une expérience ne sont, ironiquement, pas si inhabituels. Cela est probablement dû au fait que l'on effectue une expérimentation assez inhabituelle (par exemple, manipuler des facteurs à des niveaux de définition élevés). La question concernant ces points de données particuliers est la suivante : sont-ils dus aux facteurs de l'expérience ou sont-ils attribuables au bruit ?
2. Il existe de nombreuses façons de diagnostiquer la qualité des données d'une expérience. L'analyse des résidus en est une, et elle peut s'avérer très utile car elle est réalisée après la définition du modèle et la connaissance de la variation expliquée par celui-ci. Par exemple, d'autres méthodes permettent de diagnostiquer la qualité des données :
- Triez les Y (en ordre décroissant pour chaque Y) du meilleur au pire. Obtenez un graphique IRM. Les points hors sujet situés aux deux extrémités du graphique IRM ne sont probablement pas dus aux effets du traitement, mais au bruit. (Cette méthode est appelée ANOG (Analyse du Bon))
- Comparez les données réelles de chaque traitement aux valeurs prédites (cela nécessite de prédire les données a priori). Ne renoncez pas à l'ingénierie ! Quelles sont vos hypothèses sur ce qui se passe pour chaque traitement ? N'oubliez pas que pour les résidus, les données réelles peuvent ne pas sembler si inhabituelles. C'est le fait que le modèle prédise mal les résultats de ce traitement particulier qui est intéressant. Pourquoi le modèle serait-il mauvais pour ces traitements ?
- Effectuez une analyse de rang. Une fois le tableau de données trié selon la méthode ANOG, ajoutez une nouvelle colonne intitulée « Rang ». Indiquez-y des numéros séquentiels (par exemple, pour une expérience de 16 exécutions, vous aurez de nombreux numéros de 1 à 16). Analysez le rang ainsi que le Y réel et comparez les résultats. Le rang supprime les sauts importants dans les données réelles, minimisant ainsi l'effet de levier du point de données de cause spéciale.
Si vous aviez anticipé une cause particulière potentielle, vous pourriez exécuter des répétitions et si l'un des points de données répétés est inhabituel, vous disposez toujours d'autres répétitions pour ce traitement à utiliser pour l'analyse.
Il est toujours judicieux d'effectuer des diagnostics pour les données du DOE. Pour paraphraser l'un de mes auteurs préférés du DOE (Cuthbert Daniel) :
Les défauts les plus courants dans les DOE sont
- Sursaturation : trop d'effets pour le nombre de traitements
- Trop de prudence : trop d'observations pour les estimations souhaitées
- Ne pas étudier les données pour déceler les valeurs erronées
- Ne pas prendre en compte l'ensemble des aliasings
- Imprécision due à une mauvaise compréhension de la variance d'erreur.
En passant, vous devriez vous intéresser davantage au delta entre le R-carré et le R-carré ajusté pour affiner le modèle et utiliser le R-carré ajusté pour évaluer l’adéquation du modèle.
