Quand supprimer les valeurs aberrantes lors de la réduction du modèle ?Salut,
Lorsque je réduis un modèle, j'observe les résidus studentisés externes pour détecter l'apparition de valeurs aberrantes. Quand dois-je supprimer ces valeurs aberrantes tout au long du processus de réduction du modèle ?
Si je ne vois aucune valeur aberrante lorsque le modèle contient tous les termes, mais que je supprime ensuite un terme et qu'une valeur aberrante apparaît, supprimez-vous cette valeur aberrante immédiatement et continuez-vous à réduire, ou continuez-vous à réduire puis supprimez les valeurs aberrantes à la fin ?
Plan d'expériencesWindowsRe : Quand supprimer les valeurs aberrantes lors de la réduction du modèle ?Salut @MetaLizard62080 ,
Avez-vous lu les réponses de @statman et moi à propos de votre article précédent Choisir d'exclure de 2 valeurs aberrantes égales dans DoE ?
Pour être clair et le répéter, les résidus studentisés peuvent être un bon moyen d'identifier les valeurs aberrantes Basé sur un modèle supposé . Plus d'informations sur le calcul des résidus studentisés ici : Diagnostics de ligne (jmp.com)
Les points situés en dehors des limites rouges doivent être traités comme des valeurs aberrantes probables . Les points situés en dehors des limites vertes, mais à l'intérieur des limites rouges, doivent être traités comme des valeurs aberrantes possibles , mais avec moins de certitude.
Vous pouvez les utiliser comme diagnostic de la complexité du modèle ajusté aux données. Cela illustre notamment comment et pourquoi vos résultats de résidus studentisés dépendent du modèle, car la suppression ou l'ajout d'un terme dans le modèle modifie le diagnostic des points potentiellement aberrants : le comportement de ces points n'est pas bien décrit/prédit par le modèle, mais cela n'en fait pas des points aberrants dans tous les autres cas/options de modélisation.
Vous ne devez PAS rejeter/supprimer des points en fonction de l'analyse des valeurs aberrantes basée sur le modèle. Ces outils sont parfaits pour affiner votre modèle et ajuster sa complexité, à l'aide d'autres mesures et critères statistiques (R²/R² ajusté, RMSE, valeurs p, critères d'information comme AICc/BIC, ...).
L’identification et l’analyse des valeurs aberrantes doivent être effectuées avant la modélisation, avec des outils adéquats.Si vous souhaitez déterminer si des points de votre ensemble de données peuvent être des valeurs aberrantes, essayez d'utiliser des méthodes multivariées basées sur des distances telles que les distances de Mahalanobis, de Jackknife ou de T² : Analyse des valeurs aberrantes Vous disposez également d'une gamme d'autres analyses dans le menu Explorer les valeurs aberrantes .
Dans tous les cas, une analyse statistique ne suffit pas à écarter les points qui peuvent être aberrants, il faut enquêter sur ces points étranges et comprendre comment/pourquoi les valeurs mesurées de ces points semblent étranges par rapport aux autres : erreur de mesure, erreur expérimentale, changement/erreur d'opérateur, ou peut-être quelque chose d'inattendu se produit-il ?
J'espère que cette réponse pourra vous aider,
Re : Quand supprimer les valeurs aberrantes lors de la réduction du modèle ?Salut Victor,
J'ai lu la réponse. Dans mon domaine, nous sommes souvent confrontés à une forte variabilité des analyses, ce qui peut facilement expliquer des résultats erratiques pouvant être considérés comme des valeurs aberrantes.
Je commence généralement mon analyse avec JackKnife Z, en utilisant la plateforme multivariée pour évaluer les réponses générales. Cependant, cela ne révèle pas toujours les valeurs aberrantes du modèle. Par exemple, dans mon dernier DoE, JackKnife affiche des valeurs < 2 pour une valeur aberrante, détectée systématiquement par les résidus Studentisés en externe. Je n'ai pas réussi à expliquer pourquoi ce point était une valeur aberrante, mais sans le supprimer, mon modèle affichait un R^2 ajusté de 0,61, tandis qu'avec le point supprimé, le R^2 ajusté passait à 0,99. De plus, le modèle sans le point était scientifiquement cohérent, tandis que sans le point supprimé, il était généralement chaotique.
J'aime toujours comparer les modèles possibles lorsque je supprime les valeurs aberrantes afin de déterminer si leur impact sur la prédiction est significatif. Dans ce cas, selon le moment où je supprime le point de réduction du modèle (au début, au milieu ou à la fin), j'ai constaté que les modèles étaient différents, mais que leur capacité prédictive était globalement la même. Dans un cas, par exemple, j'avais une très légère corrélation quadratique, mais ce n'était pas un facteur prépondérant. Bien que dans ce cas, les trois modèles aient probablement eu la même utilité, j'aimerais connaître la meilleure pratique pour choisir le modèle le plus probable.
Je comprends qu'il y a plus à supprimer des points que simplement suivre le processus résiduel studentisé, cependant si je sais qu'il y a une valeur aberrante ou si j'ai le fort sentiment qu'il pourrait y en avoir, est-il préférable de la supprimer avant, au milieu ou après la réduction du modèle , car cela influencera les résultats vers lesquels le modèle converge.
Re : Quand supprimer les valeurs aberrantes lors de la réduction du modèle ?Salut @MetaLizard62080 ,
Si vous vous attendez à une variabilité élevée des dosages, tenez-vous compte de cette source de bruit en utilisant le blocage ?
C'est formidable de pouvoir valider un modèle grâce à une expertise métier ; cela devrait réduire les risques d'erreurs. Pourriez-vous répéter les tests (ou mesures) qui vous semblent étranges ? Cela pourrait vous aider à déterminer s'il s'agit d'une « erreur systématique » ou d'une « erreur aléatoire » et à éclairer votre prise de décision.
Au lieu de supprimer directement les points qui semblent étranges et non décrits précisément par le modèle, je les utiliserais quand même, mais diminuerais leur influence sur le modèle, en créant une colonne « poids » avec la valeur 1 pour les points « normaux » et une valeur inférieure pour les « points étranges », et utiliser cette colonne « poids » dans la boîte de dialogue Modèle comme variable de poids : Éléments dans la fenêtre de lancement du modèle d'ajustement
Supprimer des points pour que le modèle converge plus rapidement biaisera le modèle et créera probablement des résultats de modèle faussement optimistes.
J'espère que certains de ces points vous semblent logiques,
