Meilleure approche et alternative à la régression logistique simple pour modéliser la probabilité d'appartenance à un groupeBonjour
J'ai besoin d'un peu d'aide pour choisir la bonne approche pour résoudre mon problème.
J'ai une variable continue X qui peut prendre n'importe quelle valeur comprise entre [-45 0].
J'ai un ensemble de données de valeurs X pour 12 groupes distincts, voir ci-dessous leur histogramme.
J'essaie de construire deux modèles :
1) Un modèle qui, pour une nouvelle valeur de X donnée, me donne la probabilité d'appartenir à chaque groupe et me donne le groupe le plus probable.
2) Un modèle qui, pour une nouvelle entrée de X supposée appartenir à un groupe donné, me donne la probabilité que cette entrée ne soit pas pour ce dit groupe.
J'ai d'abord pensé que la régression logistique était la meilleure approche, du moins pour 1) mais pour 2) je ne suis pas sûr. En particulier pour les groupes à répartition très étroite comme K par exemple.
Merci d'avance!
Modélisation statistique avancéeAnalyse et modélisation des données de baseModélisation prédictive et apprentissage automatiqueRe : Meilleure approche et alternative à la régression logistique simple pour modéliser la probabilité d'appartenance à un groupeEn fonction de la taille de l'ensemble de données, vous pouvez consulter les méthodes de l'arbre de décision. Plus précisément Bootstrap Forest (forêt aléatoire dans la littérature).
Re : Meilleure approche et alternative à la régression logistique simple pour modéliser la probabilité d'appartenance à un groupeMerci @MikeD_Anderson . Je vais jeter un oeil !
J'ai environ 800 entrées mais certains groupes ont moins de 20 observations.
Cependant, je n'ai accès qu'à JMP (pas Pro) donc je suis toujours intéressé par d'autres alternatives avec une formule de prédiction continue. Est-ce qu'ANN fonctionnerait ?
Merci
Re : Meilleure approche et alternative à la régression logistique simple pour modéliser la probabilité d'appartenance à un groupeSalut @KarlA026 . Vous voudrez peut-être également essayer une analyse discriminante.
https://www.jmp.com/support/help/en/18.0/index.shtml#page/jmp/overview-of-the-discriminant-platform.shtml#
Re : Meilleure approche et alternative à la régression logistique simple pour modéliser la probabilité d'appartenance à un groupeMerci @MRB3855 . J'obtiens de meilleurs résultats avec ANN. Mais je peux quand même m'empêcher de penser que j'utilise des outils sophistiqués alors que je n'ai qu'un seul prédicteur (continu).
Pour l'approche 2) Qu'en est-il si j'adapte un modèle de distribution à un groupe (normal ou autre) et que j'utilise la formule du modèle comme formule de prédiction ?
Re : Meilleure approche et alternative à la régression logistique simple pour modéliser la probabilité d'appartenance à un groupeSalut @KarlA026 Qu'entendez-vous par ANN « meilleur » que LR ?
Et, par rapport à (2), vous inversez ce qui est aléatoire à partir de (1). Dans (1), le groupe est aléatoire. Dans (2), comme vous l'avez formulé, X est aléatoire. C'est pourquoi j'ai suggéré que vous envisagiez DA.
Je ne suis pas sûr de ce que vous entendez par « adapter un modèle de distribution à un groupe (normal ou autre) et utiliser la formule du modèle comme formule de prédiction ? Pouvez-vous clarifier?
Re : Meilleure approche et alternative à la régression logistique simple pour modéliser la probabilité d'appartenance à un groupeMerci @MRB3855 et @MikeD_Anderson
Pour ANN, je veux dire qu'en utilisant X pour prédire le groupe, j'ai moins de résultats Missclassified qu'avec LDA. En effet, LDA donne simplement un modèle similaire à celui avec logit, ne permettant pas un modèle non linéaire (voir les différences des profileurs dans les images jointes dans un exemple pour le groupe K).
Comme vous pouvez le voir, les profileurs du modèle ANN sont proches de la distribution du groupe K. Ma suggestion d'ajuster une distribution n'est peut-être pas pertinente. C'est juste que lorsque j'ai essayé d'adapter un modèle de distribution normale au groupe K par exemple, j'ai pu enregistrer la formule du modèle en tant que nouvelle colonne et l'utiliser comme colonne indicatrice pour toute nouvelle entrée afin d'évaluer la probabilité de cette nouvelle entrée de appartenant au groupe K.
Je veux juste estimer, pour une valeur X fixe donnée, la probabilité que ce point appartienne à un groupe donné.
J'espère que je suis clair maintenant !
Merci!
Re : Meilleure approche et alternative à la régression logistique simple pour modéliser la probabilité d'appartenance à un groupe@MRB3855 , @MikeD_Anderson ,
Des réflexions ? Merci d'avance!
Re : Meilleure approche et alternative à la régression logistique simple pour modéliser la probabilité d'appartenance à un groupeSalut @KarlA026 : Malheureusement, je ne suis pas sûr d'avoir une bonne solution. Et, au cas où l’un de mes commentaires ci-dessus passerait inaperçu, je le développerai ci-dessous.
Plus haut, quelques posts plus haut, j'ai dit :
"Et, par rapport à (2), vous inversez ce qui est aléatoire à partir de (1). Dans (1), le groupe est aléatoire. Dans (2), comme vous l'avez formulé, X est aléatoire.".
(1) Dans la régression logistique ou ANN, vous estimez la probabilité (d'être dans un groupe étant donné une certaine valeur de X), qui, par souci de concision, peut s'écrire P (G | X) et lire "Probabilité d'appartenance à un groupe étant donné X". Donc ici, le groupe est la composante aléatoire. X est fixe (c'est-à-dire choisi).Ainsi, pour un X donné, vous estimez alors la probabilité d’être dans chaque groupe.
(2) Ce que vous « voulez juste estimer » est très différent. De la façon dont vous avez posé le problème, vous demandez Prob(X appartient à un groupe, étant donné un groupe) = Prob(X|G) lisez "probabilité que X appartienne à un groupe donné". Ici, X est aléatoire et le groupe est fixe. Alors, quelle est la probabilité que X fasse partie d’un groupe donné. Ici, vous choisissez le groupe et demandez quelle est la probabilité que X soit dans ce groupe.
P(G|X) est très différent de P(X|G), tout comme Prob(La personne A est atteinte de la maladie, étant donné que la personne A a été testée positive pour la maladie) est très différent de Prob(La personne A a été testée positive pour la maladie, étant donné que la personne A est atteinte de la maladie).
Tout est dit : en regardant votre tracé en haut, si vous choisissez une valeur x, disons -30 et tracez une ligne droite vers le haut. Vous pouvez voir que le pourcentage d'aire sous la courbe à gauche de -30 pour le groupe M est d'environ 50 %. Pour le groupe D, c'est environ 20 %, etc. Est-ce le genre de chose à laquelle vous pensiez lorsque vous avez dit « adapter un modèle de distribution à un groupe (normal ou autre) et utiliser la formule du modèle comme formule de prédiction ?
Re : Meilleure approche et alternative à la régression logistique simple pour modéliser la probabilité d'appartenance à un groupe@MRB3855 merci pour la clarification.
Je suppose que j'avais cela en tête, mais j'ai formulé que ce n'était pas très rigoureux.
Quoi qu'il en soit, sachant que conseilleriez-vous pour évaluer/modéliser P(G|X) ou P(X|G) ?
En effet ce que vous décrivez dans le dernier paragraphe semble proche de ce que j'avais en tête.Re : Meilleure approche et alternative à la régression logistique simple pour modéliser la probabilité d'appartenance à un groupeSalut @KarlA026 : Je ne suis pas sûr ici. Pourquoi avez-vous besoin « d'estimer, pour une valeur X fixe donnée, la probabilité que ce point appartienne à un groupe donné » ? c'est-à-dire, comment observez-vous X ? La valeur précise de X est-elle imprévisible (le résultat d'un processus qui a peut-être une source de variabilité incontrôlée) ou pouvez-vous sélectionner X à votre guise ? Et comment ce modèle, quel qu’il soit, doit-il être utilisé en pratique ? Pouvez-vous fournir quelques détails ?
Re : Meilleure approche et alternative à la régression logistique simple pour modéliser la probabilité d'appartenance à un groupeMerci @MRB3855 !
J'aurais dû commencer par ça. X est une propriété matérielle intrinsèque d’une matière première qui peut être obtenue grâce à une analyse spécifique. Les groupes sont différents fournisseurs de cette matière première.
Les deux scénarios correspondent à des cas :
1) Nous avons un matériau dont le fournisseur est inconnu et nous devons évaluer le fournisseur (groupe) le plus probable en fonction de X.
2) Un fournisseur de la matière première fournit un échantillon et nous souhaitons évaluer quelle est la probabilité que cette matière provienne effectivement de ce fournisseur ou, a contrario, la probabilité que cette matière provienne d'ailleurs. Tout cela est basé sur la valeur de X pour cet échantillon dans la base de données de référence illustrée dans la figure.
J'espère que cela t'aides!Re : Meilleure approche et alternative à la régression logistique simple pour modéliser la probabilité d'appartenance à un groupeSalut @KarlA026 : Oui, c'est utile. Merci!
L'idée, si je comprends bien, est de construire un modèle probabiliste basé sur les données de la figure. Ce modèle peut ensuite être utilisé pour estimer la probabilité que cet échantillon provienne de chacun des fournisseurs, respectivement (sur la base de la valeur observée de la propriété matérielle X).
Cas 1 (matériau provenant d'un fournisseur inconnu) : vous mesurez X. Ensuite, une fois que vous avez la valeur observée de X, appliquez-la simplement au modèle que vous avez déjà construit (logistique/ANN/quoi que ce soit) pour prédire le fournisseur le plus probable (fournisseur avec la probabilité la plus élevée ).
Cas 2 (matériau provenant d'un fournisseur connu) : Si vous connaissez le fournisseur et que vous connaissez X, la probabilité que ce matériau provienne de ce fournisseur (ou non) n'est pas pertinente (bien qu'elle puisse être calculée, comme dans le cas 1 ci-dessus). Voici un exemple. Supposons que vous regardiez dehors et qu'il pleuve. Mais il y a une heure, vous avez vérifié les prévisions météorologiques et vous avez indiqué que la probabilité qu'il pleuve aujourd'hui est de 10 %. Tout ce que l’on peut vraiment dire, d’un point de vue de prédiction binaire, c’est que le modèle s’est trompé ; D'un point de vue probabiliste, cependant, le modèle n'avait pas tort (il ne disait pas que le risque de pluie était de 0 %). Mais de toute façon, il pleut… la probabilité n’entre pas en ligne de compte. Ainsi, une fois que quelque chose s’est produit ou est connu, il ne peut y avoir aucune probabilité qui y soit associée. Dans votre cas, une fois que vous connaissez le fournisseur, aucune probabilité ne peut y être associée... bien que vous puissiez la calculer (tout comme dans le cas 1 ci-dessus) pour voir dans quelle mesure le modèle prédit. Donc, si le modèle prédit le fournisseur M, mais que vous savez qu'il provient en réalité du fournisseur F... tout ce que vous pouvez dire, du point de vue de la prédiction, c'est que le modèle s'est trompé. Cela dit, avez-vous des raisons de vous méfier d’un fournisseur ? Par exemple, y a-t-il une chance que vous obteniez un échantillon du fournisseur D qui provient en réalité du fournisseur B ? Si tel est le cas, la situation est différente, avec une solution simple (n'utilisez plus le fournisseur D !).
Re : Meilleure approche et alternative à la régression logistique simple pour modéliser la probabilité d'appartenance à un groupe@MRB3855 Merci beaucoup !
Pour répondre à ta question. Oui, dans notre scénario, nous supposons que certaines matières premières peuvent provenir d'un autre fournisseur que celui indiqué (ou pourraient être mélangées avec une autre source). Le but ici est d’obtenir une sorte de certification basée sur X.
De plus, puisque je n'ai qu'un seul prédicteur ici, l'ANN est-elle une méthode acceptable ? J'ai toujours pensé que c'était uniquement pour les problèmes multivariés.
Re : Meilleure approche et alternative à la régression logistique simple pour modéliser la probabilité d'appartenance à un groupeSalut @KarlA026 : Ah, je vois. Bonne chance!
Certes, si X = -5 et qu'il s'agit de "du fournisseur D", alors je serais très méfiant d'après votre intrigue ci-dessus. Mais que se passe-t-il si X = -24 ? Alors peut-être que plusieurs fournisseurs sont plausibles et peu capables de les distinguer avec précision. Je pense que X seul n'est, en général, pas un bon discriminateur. Peut-être existe-t-il d’autres propriétés matérielles ?
Bien sûr, ANN va bien ; d'un point de vue purement statistique, je ne vois aucune raison pour laquelle vous ne pouvez pas utiliser 1 prédicteur. Cependant, comme je l'ai dit ci-dessus, le X que vous mesurez n'est, en général, pas suffisant pour faire la distinction entre les groupes.
