Je suppose que le résidu étudiant est un bon moyen d'identifier les ouliers. (Veuillez me corriger si je me trompe). Et ma question est de savoir comment filtrer l'effet de ces valeurs aberrantes dans le modèle de prédiction JMP ? Le modèle évitera-t-il automatiquement ces valeurs aberrantes ou devrions-nous les supprimer pour obtenir une prédiction plus précise ?
Salut @Mathej01 ,
Les résidus studentisés peuvent être un bon moyen d'identifier les valeurs aberrantes sur la base d'un modèle supposé . Voir plus d'informations sur la façon dont les résidus studentisés sont calculés ici : Row Diagnostics (jmp.com)
" Les points qui se situent en dehors des limites rouges doivent être traités comme des valeurs aberrantes probables . Les points qui se situent en dehors des limites vertes mais à l'intérieur des limites rouges doivent être traités comme des valeurs aberrantes possibles , mais avec moins de certitude. "Comme vous pouvez le voir dans la définition, il n'y a pas de certitude définitive quant à la nature des valeurs aberrantes, et cela peut dépendre du modèle supposé que vous impliquez.
J'approuve totalement et je suis d'accord avec le commentaire de @P_Bartell , il peut y avoir plusieurs explications à la présence de votre éventuelle valeur aberrante (variables cachées, bruit, opérateurs différents, ...).
Le plus grand conseil à donner concernant les valeurs aberrantes avant de faire quelque chose pourrait être : connaissez vos valeurs aberrantes. Selon leur origine, leur type (valeurs aberrantes globales, locales/contextuelles ou collectives) et les techniques pour les repérer, elles sont différentes, peuvent être détectées différemment et peuvent avoir des influences différentes sur les modèles créés :
- Valeurs aberrantes globales : dans les données univariées, les boîtes à moustaches peuvent facilement les détecter. Dans les données multivariées, le clustering basé sur la densité (DBSCAN, Optics, ...) ou les algorithmes de détection d'anomalies (Isolation Forest) peuvent être utiles. Ils peuvent résulter d’erreurs d’enregistrement/mesure, ou d’anomalies d’échantillonnage.
- Valeurs aberrantes contextuelles (conditionnelles) : étant donné que les valeurs aberrantes peuvent ne pas être des valeurs aberrantes dans toutes les dimensions des données, les K-plus proches voisins, les distances de Mahalanobis, l'analyse en composantes principales et les distances de Jackknife peuvent être intéressants à examiner. Ces valeurs aberrantes sont intéressantes à considérer dans le modèle, puisque leurs valeurs anormales résultent d’un contexte spécifique.
- Valeurs aberrantes collectives : les techniques de clustering pourraient être utiles dans ce contexte : les K-Means, les mélanges gaussiens, le clustering hiérarchique et d'autres algorithmes pourraient être envisagés. Ils pourraient être considérés comme un groupe.
Un bon conseil est également de savoir si l’éventuelle valeur aberrante a un impact sur le modèle, car toutes les valeurs aberrantes ne constituent pas un point d’effet de levier (élevé). Vous pouvez essayer d'adapter le même modèle en parallèle avec et sans ce point, pour voir si cette valeur aberrante est (également) un point de levier élevé. Jetez un œil aux tracés Réel et Prédit, au tracé des résidus et aux métriques telles que RMSE PRESS et R² PRESS pour mieux évaluer si la valeur aberrante a une influence sur le modèle.
Essayez d'analyser ce qui a causé une variabilité plus élevée sur les 4-5 derniers points (niveaux de facteurs spécifiques provoquant un bruit élevé, changement d'opérateur/d'appareil de mesure, ... ?).
J'espère que cette réponse complémentaire vous aidera,
