354119_fr-FR

liliconcom

Question de régression logistique nominale concernant la formule de probabilité de sauvegarde

J'essaie de développer un modèle pour prédire si un arbre vivra ou mourra sur une période de 25 ans étant donné certains attributs environnementaux associés à chaque arbre.J'ai exécuté le modèle de régression logistique nominale, qui a montré que le Prob> ChiSq pour chaque attribut était <0,0001, ce qui semble suggérer que les attributs environnementaux pourraient être utilisés comme un bon prédicteur.Voulant voir la qualité d'une prédiction, j'ai sélectionné l'option Enregistrer la formule de probabilité.Cela a ajouté plusieurs colonnes au tableau, y compris la dernière colonne, qui fournissait une prédiction (le plus probable), en direct ou mort.Les prédictions étaient terribles.Le modèle a prédit qu'un total de 140 arbres seraient vivants après 25 ans, alors qu'en fait le nombre était d'environ 1000.Non seulement cela, mais bon nombre des 140 arbres vivants prévus étaient en fait morts.Ma question est donc la suivante: pourquoi les prévisions n'étaient-elles même pas proches des données réelles Live / Dead?

AnalytiqueTableau de donnéesRe: Question de régression logistique nominale concernant la formule de probabilité de sauvegarde

Vous pouvez avoir un modèle statistiquement significatif qui fait un mauvais travail de prédiction. La signification statistique vous indique que ces termes significatifs Aident à expliquer la réponse, mais ne garantissent pas un bon ajustement.

 

Par exemple, avec une réponse continue, regardez cette image:

Le modèle est statistiquement significatif, mais ne permettrait manifestement pas de bien prévoir.

Déterminer pourquoi le modèle ne s'adapte pas bien peut être difficile avec une régression logistique nominale. Quelques éléments qui peuvent vous aider à déterminer la capacité de prédiction plutôt que de «regarder» le tableau.

 

* Vous pouvez demander la courbe ROC. La zone sous la courbe (AUC) est une indication de la capacité prédictive. Une AUC de 0,5 est la «ligne de base». C'est comme utiliser une pièce de monnaie pour déterminer si l'arbre vivra ou non. Tout ce qui dépasse 0,5 commence à fournir la preuve de la capacité prédictive. L'AUC au-dessus de 0,7 commence à atteindre une capacité prédictive décente. Au-dessus de 0,9, c'est fantastique.

* Vous pouvez également demander la matrice de confusion. Il s'agit d'un tableau des résultats observés par rapport aux résultats prévus. Ce tableau correspond essentiellement à ce que vous envisagiez en sauvegardant la formule de prédiction. Cela peut vous aider à déterminer où votre modèle commence à avoir des problèmes. At-il du mal à classer les arbres morts? Ou a-t-il des problèmes avec uniquement des arbres vivants? Ou les deux?

 

N'oubliez pas d'évaluer les données sur lesquelles le modèle a été construit. Dans quelle mesure les données sont-elles «équilibrées» entre les arbres vivants et morts? Par exemple, s'il n'y a que 1% des arbres morts, un excellent modèle prédictif serait de dire que tous les arbres sont vivants. 99% de précision! Pas très utile cependant. Pour cette raison, avoir une réponse assez proche de l'équilibre peut être utile.

Le modèle ne contenait-il que les effets principaux? Les interactions aideraient-elles? Qu'en est-il des termes quadratiques? Les données sont-elles suffisamment "riches" pour prendre en charge un modèle avec ces termes d'ordre supérieur (c'est une excellente question si ces termes d'ordre supérieur sont déjà dans le modèle aussi!).

 

Je suis sûr que d'autres peuvent ajouter plus de choses pour vous aider, mais c'est là que votre plaisir commence VRAIMENT! Bonne chance!

 

Re: Question de régression logistique nominale concernant la formule de probabilité de sauvegarde

Je suis un peu confus ... Où avez-vous obtenu les données pour créer le modèle? La raison pour laquelle la plupart des modèles ne prédisent pas vraiment bien est que les données utilisées pour créer le modèle n'étaient PAS REPRÉSENTATIVES des conditions futures. C'est pourquoi la planification de la collecte de données est bien plus importante que l'analyse des données. Même si je dirai que c'est une situation difficile. Beaucoup de choses peuvent changer en 25 ans qui pourraient ou n'étaient pas prévues.

Re: Question de régression logistique nominale concernant la formule de probabilité de sauvegarde

Dan, j'ai exécuté la matrice de confusion et cela a montré que le modèle prédisait décemment les arbres morts, prédisant correctement les 3/4 d'entre eux comme morts.Mais c'était terrible de prédire les arbres vivants, prédisant que 63% d'entre eux étaient morts.La répartition des arbres vivants et morts est d'environ 45%, 55%, donc assez bien équilibrée.Pourquoi le modèle ferait-il un travail décent en prédisant les arbres morts mais pas les arbres vivants? - Mark

Re: Question de régression logistique nominale concernant la formule de probabilité de sauvegarde

Les commentaires de Dan sont pertinents, mais une chose que vous devez vérifier est que les prédictions (vivantes ou mortes) sont basées sur un seuil de 50% pour classer les arbres.Si l'ASC (à partir de la courbe ROC) est élevée (plus proche de 1 que de 0,5), il est probable que l'utilisation d'une valeur de seuil différente pour classer les arbres aboutira à de meilleures prédictions.Cela est particulièrement vrai si les données sont très déséquilibrées (c'est-à-dire s'il y a très peu d'arbres morts, il est probable que la plupart des probabilités estimées à partir de la régression logistique seront assez faibles, ce qui aboutira à la prédiction par défaut de "non mort" ).Il existe un joli complément que vous pouvez utiliser (il suffit de le rechercher) qui produira des matrices de confusion pour des probabilités de classification de seuil alternatives.

 

D'autre chose m'a frappé dans votre description.On dirait que ce sont des données censurées - après 25 ans, les arbres qui sont vivants ne sont probablement pas tous de la même santé.Si les conditions environnementales contribuent à la mort des arbres, les arbres survivants sont probablement également affectés, mais pas encore morts.Si vous avez une mesure de l'heure à laquelle les arbres sont morts, vous pouvez essayer une analyse de survie, où la variable dépendante est l'heure de la mort et les données censurées peuvent être utilisées dans l'analyse.

Re: Question de régression logistique nominale concernant la formule de probabilité de sauvegarde

Dale a peut-être raison. Mais en supposant que les seuils ne jouent pas beaucoup de rôle, votre modèle est biaisé en faveur de la prédiction de Dead. Cela semble indiquer qu'il y a quelque chose qui manque probablement dans votre modèle et qui indique un arbre vivant. Je ne peux pas vous dire ce que c'est. Je ne suis pas non plus totalement convaincu que ma déclaration est correcte. C'est là que regarder les données et avoir une connaissance du terrain est nécessaire.

Re: Question de régression logistique nominale concernant la formule de probabilité de sauvegarde

Dan, merci de m'avoir répondu. Tout d'abord, merci beaucoup pour les suggestions de ROC et de matrice de confusion (nom impair). Ils ont été très utiles. Mon meilleur modèle a produit un ROC de 0,798, ce qui était assez décent. Bien sûr, cela prédisait le nombre total d'arbres vivants et morts 25 ans plus tard, et non les prévisions mortes ou vivantes pour les arbres individuels, qui, comme décrit ci-dessous, sont ressorties à environ 63%. Les arbres de 2020 étaient environ 1/3 vivants et 2/3 morts sur la période de 25 ans. Bien que n'étant pas équilibré à 50/50, toujours pas trop biaisé. J'ai pris la suggestion de Dale et joué autour de l'ajustement du seuil de prédiction (fixé à 0,5) utilisé pour classer / prédire les arbres individuels comme vivants ou morts. En ajustant le seuil à 0,5 + 0.284, j'ai pu obtenir les pourcentages de prédiction corrects pour les arbres vivants et morts équilibrés à 63%, bien que le nombre de prédictions correctes ait en fait légèrement diminué (4%) par rapport à l'original fortement biaisé vers des prédictions mortes résultant d'un seuil de prédiction de 0,5. Vous pourriez penser que le taux de mortalité des arbres de 67% sur 25 ans était vraiment élevé. Ce serait dans des conditions normales. Le taux de mortalité élevé était dû au fait que la zone où je suivais les quelque 10 000 arbres a été brûlée 8 fois au cours de la période de 25 ans. --Marque