détection des valeurs aberrantesBonjour
si je veux calculer le résidu de la prédiction du réseau neuronal dans le problème de classification pour détecter les valeurs aberrantes
quelle formule dois-je utiliser pour calculer le résiduel ?
est-ce que le logiciel fait ça ?
Modélisation statistique avancéeModélisation prédictive et apprentissage automatiqueRe : Détection des valeurs aberrantesSalut @maryam_nourmand ,
Si vous utilisez un modèle pour prédire des valeurs numériques continues, certains modèles vous permettent d'enregistrer directement les résidus dans votre tableau de données en cliquant sur le triangle rouge, choisissez "Enregistrer les colonnes", puis "Résidus". Pour les réseaux de neurones, vous aurez besoin d'un travail manuel, en enregistrant la formule de prédiction dans votre tableau (triangle rouge, "Enregistrer les formules" ou "Enregistrer les formules rapides"), puis en créant une nouvelle colonne "Résidus" avec une formule : Valeur réelle - Valeur prédite
Notez que vous disposez déjà d'options pour tracer le graphique « Résiduel par prévision » dans la plate-forme Neural Network, lorsque vous cliquez sur le triangle rouge.
Si vous utilisez un modèle pour prédire les classes, vous n'aurez pas de résidus mais vous disposerez d'informations sur les erreurs de classification et les probabilités calculées. Vous pouvez ensuite sauvegarder ces colonnes de probabilités (mêmes options qu'auparavant), et essayer de comprendre où se trouvent les erreurs, par exemple en traçant les probabilités de la classe principale prédite et voir si le seuil de probabilité de classification doit être ajusté.
Si vous souhaitez évaluer les modèles de classification, il existe également différents graphiques qui vous aident à évaluer les performances de votre modèle de classificateur : courbe ROC , courbe de levage , matrice de confusion , ...
J'espère que cette réponse vous aidera,
Re : Détection des valeurs aberrantesmais on peut calculer le résidu en régression logistique
c'est aussi une sorte de modèle de classification
Je joins la photo de la formule de calcul du résidu d'écart pour cela
maintenant je veux savoir quand j'utilise un réseau neuronal pour un problème de classification
comment puis-je calculer le résidu pour cela aussi ?
Re : Détection des valeurs aberrantesEn effet, vous pouvez calculer la déviance dans des modèles linéaires généralisés : Détails statistiques pour la sélection du modèle et la déviance
Par exemple sur le jeu de données JMP "Détergent", en utilisant "marque" comme réponse catégorique Y, j'ai la possibilité de calculer directement les résidus de déviance et de les enregistrer dans la table de données :
La déviance est une indication de la qualité de l'ajustement pour les modèles statistiques où l'ajustement du modèle est obtenu avec une vraisemblance maximale, qui ne peut pas être utilisée pour les modèles d'apprentissage automatique qui utilisent différentes fonctions de perte : Déviance (statistiques) - Wikipédia
Il se peut donc qu'il ne soit pas possible de le calculer pour certains modèles utilisant différentes fonctions d'ajustement.
Re : Détection des valeurs aberrantesalors quel est le concept égal de résidu dans les modèles statistiques dans les modèles d'apprentissage automatique ?
mais je pense que nous avons une probabilité pour chaque classe dans les modèles d'apprentissage automatique, nous devrions donc également pouvoir calculer le résidu pour cela
Re : Détection des valeurs aberrantesL'analyse des résidus est utilisée dans les modèles statistiques non seulement pour évaluer les performances des prédictions, mais également pour valider les hypothèses derrière leur utilisation correcte : Hypothèses du modèle de régression | Introduction aux statistiques | JMP
Dans les modèles d'apprentissage automatique, il y a généralement des hypothèses beaucoup moins « strictes » puisque nous ne supposons pas que la véritable relation est linéaire, que les erreurs sont normalement distribuées, etc...
La grande hypothèse commune derrière l'utilisation des modèles de Machine Learning reste que les données sont iid : indépendantes et distribuées de manière identique . Les autres hypothèses sont davantage liées à l’utilisation d’un algorithme spécifique et à la manière dont il apprend sur les données. Vous pouvez en savoir plus à ce sujet ici :
- https://www.kdnuggets.com/2021/02/machine-learning-assumptions.html
- Biais inductif dans la série Machine Learning : https://mindfulmodeler.substack.com/p/from-theory-to-practice-inductive
Tout modèle de classification calculera les probabilités qu'un point de données appartienne à chaque classe. Sur la base d'un seuil spécifié (par exemple > 0,5 pour une classification binaire), il affichera alors la classe prédite correspondant à la probabilité de classe la plus élevée. Travailler et visualiser les probabilités prédites peut vous aider à mieux définir un seuil pour la sortie de la classe prédite et à évaluer si votre modèle semble différencier correctement les classes.
Je ne sais pas s'il existe une métrique ou un moyen d'utiliser directement ces probabilités prédites pour calculer une sorte de résidus dans JMP ?
Re : Détection des valeurs aberrantes
si vous trouvez un moyen d'utiliser directement ces probabilités prédites pour calculer une sorte de résidus dans JMP ou si vous trouvez un moyen, pas seulement dans JMP, d'utiliser ces probabilités prédites pour calculer les résidus, veuillez le dire dans cet article
Merci
Re : Détection des valeurs aberrantesVous pouvez calculer le score du Brier. Mais peut-être devriez-vous en dire un peu plus sur ce que vous essayez exactement de faire. Il existe de nombreuses façons de mesurer et d'évaluer l'exactitude des modèles de classification. Je trouve que les résidus sont parmi les moins intuitifs puisque les modèles de classification donnent des probabilités et que chaque observation sera classée correctement ou non. Plus la probabilité de classifications incorrectes est extrême, plus le modèle est mauvais (et je suppose que les mesures résiduelles le font - mais je pense qu'il existe des façons plus intuitives de voir cela). Alors, que veux-tu faire avec les résidus ?
Re : Détection des valeurs aberrantesje veux vérifier dans quelle mesure mon modèle peut prédire la réponse
Re : Détection des valeurs aberrantesVous avez décrit votre problème comme un modèle de classification. JMP calculera les probabilités des résultats discrets pour chaque observation (de préférence en utilisant la validation et en se concentrant sur les données de validation plutôt que sur les données de formation). Vous pouvez utiliser ces probabilités pour calculer des mesures telles qu'un score Brier ou vous pouvez utiliser diverses méthodes décrites ci-dessus pour mesurer la précision de votre modèle. Je ne comprends vraiment pas ce que vous entendez par résidus ni pourquoi vous souhaitez vous concentrer sur ceux-ci. Supposons que votre modèle de classification soit binaire : prédisez la réponse 0 ou 1. Votre modèle produira une probabilité de 1 - disons que cette probabilité est de 0,6. Supposons maintenant que cette observation particulière ait une classification réelle de 0 (ou, alternativement, 1). Comment appelleriez-vous le « résiduel » de cette observation ? S'il s'agit d'une prédiction correcte, disons 1, alors plus la probabilité est proche de 1, plus votre modèle est « meilleur ». S'il s'agit réellement d'un 0, alors plus la probabilité du modèle est proche de 1, plus votre modèle est "pire". Le score Brier est une méthode souvent utilisée pour mesurer la qualité de votre modèle (je ne pense pas que JMP calculera le score Brier - du moins je ne l'ai pas vu - mais il devrait être facile à calculer manuellement). Alternativement, l'AUC, le taux d'erreurs de classification, l'AIC, etc. sont autant de mesures que JMP fournit facilement pour mesurer la qualité de votre modèle.
Mais se concentrer sur les « résidus » est loin d’être le moyen le plus intuitif d’atteindre votre objectif consistant à déterminer « dans quelle mesure mon modèle peut prédire la réponse ». Les résidus sont un moyen naturel de déterminer cela lorsque vous disposez d'une variable de réponse continue et non d'un modèle de classification, et JMP facilite le calcul des résidus pour ces types de modèles (soit intégrés aux triangles rouges pour enregistrer les colonnes, soit simplement créés un colonne utilisant l'ABS (réel-prédit).
