883609_fr-FR

liliconcom

Comment prédire les valeurs aberrantes par modèle d'ajustement

Salut tout le monde,

Actuellement, j'essaie d'utiliser Fit Model pour créer un modèle, afin de prédire la sortie à partir des variables d'entrée et de déterminer si la prédiction est aberrante ou non. Cependant, après avoir obtenu le modèle, je rencontre des difficultés : il ne parvient pas à identifier clairement les valeurs aberrantes, surlignées en rouge.

Même si j'ai essayé de prétraiter la source de données, par exemple en excluant les valeurs aberrantes de la source de données, puis en formant le modèle, les valeurs aberrantes n'ont pas vraiment été éliminées.

Existe-t-il un moyen de former le modèle afin que les points aberrants puissent être distingués ?

Merci

Analyse et modélisation des données de baseRé : Comment prédire les valeurs aberrantes par modèle d'ajustement

Salut @PhamBao ,

La détection et la classification des valeurs aberrantes peuvent constituer une mine d'informations sur différentes approches. Il est important de réfléchir à la définition d'une valeur aberrante (ce qui n'est pas très clair dans votre article) : recherchez-vous une valeur aberrante qui ne correspond pas à votre modèle, ou les points en rouge sont-ils ceux que vous avez définis comme tels ?

En guise de réflexion rapide, voici quelques domaines à tester :

Valeurs aberrantes de Cooks D : elles définissent l'ampleur de la variation des coefficients de votre modèle si vous supprimez un point. En général, un seuil de toute valeur supérieure à 4/n (n = nombre de lignes) est un bon point de départ. Ce lien propose de nombreux guides, ainsi que des informations sur Cooks D.

- Graphiques résiduels étudiés - ils donnent une bonne visualisation des résidus de vos lignes et aident à définir les points qui sont entrés dans une certaine région comme des valeurs aberrantes probables.

Consultez ces deux liens ici et ici pour plus d'informations.

Merci,

Ben

Ré : Comment prédire les valeurs aberrantes par modèle d'ajustement

Salut @PhamBao ,

Je suis d'accord avec @Ben_BarrIngh , il existe de nombreuses possibilités lorsqu'on traite du sujet des valeurs aberrantes.

La première chose à considérer est la nature de la valeur aberrante : basée sur un modèle (liée à un ajustement de modèle spécifique) ou indépendante du modèle ?

Les méthodes d’identification des valeurs aberrantes dépendent de leur nature :

• Les méthodes de détection des valeurs aberrantes indépendantes du modèle , comme les distances de Mahalanobis, ne s'appuient pas sur un modèle spécifique et comparent simplement la distance entre des points en fonction de variables, de facteurs ou de caractéristiques. Ainsi, une valeur aberrante identifiée par ce type de méthode indique que ce point semble « étrange » et ne semble pas faire partie des distributions factorielles des autres points. Consultez les options disponibles dans Analyse des valeurs aberrantes de la plateforme multivariée.
• Les méthodes de détection des valeurs aberrantes basées sur les modèles , basées sur les résidus (résidus studentisés ou autres mesures comme le RMSE/R2 de PRESS, etc.), permettent d'identifier les valeurs aberrantes mal ajustées/prédites par le modèle. Cela peut indiquer que le modèle manque de certains termes importants (comme l'interaction ou les effets non linéaires) ou qu'il n'est pas adapté aux données. Vous pouvez utiliser les autres outils de diagnostic pour vérifier si le modèle semble bien adapté à vos données, en vous basant sur sa significativité statistique et sur différentes mesures selon votre objectif, comme le critère d'information/RMSE/R2. Vous pouvez également vérifier si la valeur aberrante détectée a un impact important sur votre modèle en calculant les distances de Cook : https://www.jmp.com/en_us/statistics-knowledge-portal/what-is-multiple-regression/mlr-residual-analy... Si les valeurs de ces points sont élevées et/ou inhabituelles, cela indique qu'ils pourraient influencer et biaiser votre modèle. Il est alors conseillé d'examiner la nature de ces points et la validité des mesures avant de décider de réduire leur influence sur le modèle ou de les supprimer. Consultez les options « Diagnostics de ligne » dans la plateforme « Ajuster le modèle » ou « Options d'ajustement du modèle » une fois le modèle ajusté.

Veuillez prêter une attention particulière à la cause/source des valeurs aberrantes et à leur traitement approprié. Supprimer une valeur aberrante peut faciliter l'analyse, mais cela ne résoudra pas votre problème et n'empêchera pas sa réapparition.

J'espère que cette réponse pourra vous aider,

Ré : Comment prédire les valeurs aberrantes par modèle d'ajustement

Salut @Victor_G et @Ben_BarrIngh ,

J'apprécie vraiment vos contributions. Mes connaissances en matière de modèles d'ajustement et de statistiques sont limitées. J'aimerais donc obtenir des conseils supplémentaires. Permettez-moi de clarifier ce que je souhaite. D'après l'image ci-dessous, les points de données rouges correspondent à des données erronées selon nos critères de fabrication. Je souhaite séparer les points de données erronées de la droite d'ajustement. La première fois, j'utilise le Modèle 1, mais je constate que les points de données erronées ne sont pas très éloignés de la droite d'ajustement. La deuxième fois, j'essaie d'utiliser les mêmes entrées du Modèle 1, mais cette fois, j'applique un polynôme de degré 2 à un paramètre. Je constate alors que le point de données erronées est éloigné de la droite d'ajustement par rapport au Modèle 1.

1. En comparaison, les tableaux récapitulatifs d'ajustement entre les modèles 1 et 2 sont comparables, mais le modèle 2 semble correspondre à ce que je recherche. Question : Existe-t-il une méthode permettant de séparer les points de données erronés, loin de la ligne d'ajustement ?
2. Pour le modèle 1, je ne comprends pas vraiment pourquoi les points de données erronés sont si proches de la droite d'ajustement. Existe-t-il une méthode pour les distinguer ?
J'attends vos réponses avec impatience

Ré : Comment prédire les valeurs aberrantes par modèle d'ajustement

Dans JMP, vous pouvez prédire les valeurs aberrantes en ajustant un modèle (tel qu'un modèle de régression ou de classification), puis en analysant les résidus ou les erreurs de prédiction. Après avoir ajusté le modèle, recherchez les points de données présentant des résidus, un effet de levier ou une influence anormalement élevés (par exemple, en utilisant la distance de Cook ou les résidus studentisés). JMP propose également des outils visuels, comme le graphique Effet de levier vs. Résiduel, pour vous aider à identifier les valeurs aberrantes potentielles. Une fois ces points signalés, vous pouvez les explorer plus en détail afin de déterminer s'il s'agit de véritables anomalies ou de problèmes de saisie de données.

Ré : Comment prédire les valeurs aberrantes par modèle d'ajustement

Salut @PhamBao ,

Votre question comporte plusieurs sujets, l'un lié à l'ajustement du modèle (et à la comparaison et à la validation des modèles) et l'autre lié à la détection des valeurs aberrantes.

• Concernant l'ajustement du modèle, je recommande de comparer les métriques des modèles et d'analyser les résidus. Dans votre dernière capture d'écran, vous pouvez constater que les modèles sont très similaires, à l'exception de l'ajout d'un effet quadratique dans le modèle 2. Cet ajout n'a qu'un faible effet sur le R²/R² ajusté et l'erreur quadratique moyenne (RMSE). Il impose également une courbe de courbure non aléatoire dans les résidus ; il est donc recommandé d'être très prudent lors de l'évaluation et de la comparaison des modèles. L'utilisation de points de validation ou la division de votre ensemble de données en ensembles d'entraînement et de validation pourraient vous aider à identifier le modèle le plus adapté à vos données.
• Concernant la détection des valeurs aberrantes, comme je l'ai déjà mentionné dans ma première réponse, de nombreuses options sont disponibles. Si vous savez déjà que ces points sont étranges ou anormaux, pourquoi ne pas les identifier comme tels et essayer de comprendre quels facteurs (et valeurs de plage) peuvent les provoquer ? Vous pourriez créer un modèle de classification (comme une régression logistique) où votre réponse serait une réponse à deux classes (« normale » et « valeur aberrante » par exemple) et vos facteurs seraient vos variables d'entrée (comme dans les modèles présentés).
  En fonction des résultats/performances de ce modèle de classification (matrice de confusion, taux d'erreur de classification, ...), vous pouvez ensuite rechercher quels facteurs sont à l'origine de la situation et utiliser la formule des probabilités prédites pour prédire la probabilité qu'un nouveau point puisse être étrange/aberrant en fonction des valeurs mesurées.

J'espère que ces quelques suggestions pourront vous aider,

Ré : Comment prédire les valeurs aberrantes par modèle d'ajustement

Je pense que le deuxième point de Victor_G est tout à fait correct. Les points que vous avez identifiés comme « mauvais » ne sont pas vraiment des valeurs aberrantes au sens traditionnel du terme ; ils ne sont pas si éloignés de la droite de régression. Le véritable problème est que vous savez (grâce à vos connaissances du sujet) que ces points de données sont problématiques. Vous recherchez donc un modèle pour les prédire, et le modèle de régression que vous avez fourni ne le permet pas. Je ne chercherais pas d'autres modèles de régression ; je pense qu'il est préférable d'utiliser un modèle de classification pour prédire les points que vous savez problématiques. Il s'agit d'un modèle différent, et la plupart des mêmes méthodes peuvent être utilisées dans JMP, mais avec une variable de réponse nominale plutôt que la variable de réponse continue que vous avez utilisée.

Ré : Comment prédire les valeurs aberrantes par modèle d'ajustement

Merci à Victor et aux autres membres. Je vais certainement essayer votre suggestion.