J'ai interrogé Chris sur les distributions dans GenReg
Dans la fenêtre de lancement du modèle pour GenReg, il est indiqué la distribution des réponses. Est-ce correct? Ou est-ce la distribution du résidu du modèle?
La réponse courte est que c'est la distribution de la réponse et non une distribution d'erreur qui est modélisée en général. Pour la distribution normale et quelques autres distributions comme la distribution de Cauchy, vous pouvez penser que la distribution des erreurs et la distribution des réponses sont identiques, mais elles ne sont pas les mêmes en dehors de quelques cas particuliers. Par exemple, on ne pense jamais à un «terme d'erreur» pour les distributions binomiales, Poisson, Lognormal, Gamma ou de Weibull, mais seulement pour les distributions de réponse. Ce n'est que dans les cas où la distribution est symétrique par rapport au mode où l'on considère qu'il existe un concept «y = modèle moyen + terme d'erreur» qui s'applique. Ce qui se passe, c’est que les gens apprennent la modélisation des moindres carrés en utilisant d’abord le concept modèle + erreur, mais ensuite, pour bien comprendre la régression logistique et de Poisson, il faut le désapprendre et l’analyser à l’aide de distributions de réponses. Malheureusement, en dehors de certains contextes universitaires, ce point n’est presque jamais précisé. La bonne nouvelle est que, dans l’ensemble, ce subtil manque de compréhension n’empêche pas les utilisateurs d’utiliser les modèles avec succès dans l’industrie.
La confusion à ce sujet est parfaitement compréhensible car elle est très répandue. Même la phrase d'ouverture de la Page Wikipedia sur les modèles linéaires généralisés se trompe quand ils disent:
"Dans statistiques , la modèle linéaire généralisé ( GLM ) est une généralisation flexible de régression linéaire cela permet de variables de réponse qui ont des modèles de distribution d'erreur autres qu'un distribution normale . "
Ils commencent à bien faire les choses dans la deuxième phrase, cependant…
Ce qui se passe réellement dans la régression logistique, de Poisson ou gamma, c’est que nous permettons à la variable de réponse d’avoir une distribution non normale. La relation entre la réponse et les variables prédictives se produit en plaçant un modèle linéaire sur une fonction convenablement choisie de la moyenne, appelée fonction de lien. Dans le cas de la régression logistique (binomiale), il s’agit d’une fonction logistique (), dans Poisson c’est le log (), etc. La combinaison de ce modèle de moyenne avec une distribution d'estimation non normale permet d'optimiser l'utilisation des données, car elle prend en compte de manière inhérente l'évolution de la variance en fonction de la moyenne, ce qui est le cas pour toutes les distributions non négatives. nous permet de corriger les aspects inférentiels tels que les tests d'hypothèses et les intervalles de confiance de l'analyse.
Clay a présenté ce sujet à Copenhague lors du JMP Discovery Summit Europe cette année. Très bien fait, très éclairant!
Merci d'avoir soulevé cette question. C’est quelque chose que j’ai eu du mal à comprendre assez bien pour expliquer ce qui se passe. Votre message m'a motivée à proposer un moyen d'expliquer mieux les GLM et GenReg.
Pour clarifier, la distribution de réponse n'est pas ce qui est spécifié dans la boîte de dialogue de lancement, du moins pas ce que je considère généralement comme une distribution de réponse. C’est la distribution des observations pour des valeurs d’entrée fixes et des paramètres de modèle (c.-à-d., les observations conditionnelles aux prédicteurs) . Clay mentionne cela dans son discours sur la diapositive 18. Ce conditionnement dit, "ne regardez pas la distribution sur la plage d'entrées mais pour une valeur d'entrée donnée" (ou vecteur de valeurs lorsque nous traitons avec plusieurs entrées). À mon avis, cela caractérise la dispersion, ce que j'appellerais une variance d'erreur. Je pense également que la confusion est en grande partie due au fait que le mot "réponse" est utilisé non seulement pour indiquer les observations inconditionnelles observées, mais également, dans le cas de GLM ou de GenReg, les valeurs conditionnelles observées. Pour éviter cette confusion, il pourrait être plus clair de supprimer l'adjectif «réponse» lorsque vous parlez de la réponse ultérieure.
Je joins un tableau de données simulées pour illustrer ce qui se passe. Supposons que nous souhaitons générer un exemple permettant de prédire le nombre de tentatives infructueuses requises pour mener à bien une tâche par rapport au nombre d'années d'expérience d'un travailleur. Le binôme négatif (NB) est la distribution standard pour compter n échecs jusqu'au r e succès. La formule dans la colonne Réponse moyenne est ce que nous conditionnerons. Pour générer une dispersion autour de la réponse moyenne, nous simulerons des variables NB aléatoires avec des paramètres. r = 1 (donnée sous forme de variable de table) et p (qui est calculé en utilisant les valeurs de r, la réponse moyenne et la formule quadratique). Si vous regardez la formule pour N Essais , vous verrez que c'est une fonction de r (une valeur fixe) et p (via Réponse moyenne ), une valeur qui change par rapport à Années d'expérience en le rendant basé sur plusieurs NB. Vous pouvez le voir si vous simulez un grand nombre d'observations pour les mêmes expériences d'années, puis ajustez un NB aux données. Vous obtenez une estimation de dispersion proche de 1 (dispersion = 1 / r ) et une estimation moyenne de r *(1- p ) / p (la moyenne attendue d'un NB). Notez que les valeurs dans Réponse moyenne et la moyenne du NB sont deux choses différentes. La première spécifie la relation linéaire entre le ou les prédicteurs (inconditionnels) et la réponse après l'application de la fonction de lien. La dernière est la moyenne de la dispersion pour les observations conditionnées par des valeurs d'entrée fixes. Pour les années d'expérience peu nombreuses, la différence entre Réponse moyenne et l’estimation moyenne de la NB peut être relativement grande. Quant aux résidus, ils ne sont que la différence entre le Réponse moyenne et N Essais colonnes. Compte tenu de ce que j'ai mentionné ci-dessus concernant la N Essais est créé, il n’est pas surprenant qu’il ne suive aucune distribution donnée.
