Modèles mixtes linéaires avec JMP® Pro : un visage, plusieurs saveurs*
Jian Cao, PhD
Institut SAS, Inc.
24 mars 2015
Bruxelles, Belgique
Résumé
L'une des nouvelles fonctionnalités introduites dans JMP Pro 11 concerne les modèles mixtes. Cette nouvelle personnalité de modélisation dans la plate-forme Fit Model permet d'ajuster une variété de modèles de régression avec des effets fixes et aléatoires ainsi qu'une structure de covariance appropriée. Qu'est-ce qu'un modèle mixte ? Quand et pourquoi adapter un modèle mixte ? Et comment JMP s'adapte-t-il à un tel modèle ? Dans cet article, je vais essayer de dissiper les mythes sur les modèles mixtes en 1) examinant brièvement le contexte statistique, 2) en expliquant pourquoi les modèles mixtes fournissent de meilleures estimations et les conséquences de l'ajustement des modèles de régression traditionnels aux données où les mesures d'une variable de réponse sont corrélées ou un il manque une variable explicative clé et 3) illustrer les modèles mixtes de JMP® Pro en ajustant différentes saveurs de modèles mixtes largement utilisés dans les applications réelles.
Remerciements : Je tiens à remercier Christopher Gotwalt et Laura Lancaster pour leur aide.
* Les informations présentées dans ce document s'appliquent également à JMP Pro 12.L'amélioration clé du nouveau JMP Pro 12 est un algorithme d'optimisation amélioré qui permet à JMP de s'exécuter plus rapidement que dans JMP Pro 11 pour les données volumineuses. .
JMP Pro 11 a ajouté une nouvelle personnalité de modélisation, Mixed Model, à sa plate-forme Fit Model.Qu'est-ce qu'un modèle mixte ? Comment JMP s'adapte-t-il à un tel modèle ? Quelles sont les principales applications où les modèles mixtes peuvent être appliqués ? Dans cet article, j'essaierai de dissiper les mythes sur les modèles mixtes et de démontrer la capacité de JMP avec des exemples concrets.
Qu'est-ce qu'un modèle mixte linéaire
Les modèles mixtes linéaires sont une généralisation des modèles de régression linéaire , y=Xβ +ε . Étendre le modèle pour tenir compte des effets aléatoires, Z , le nouveau modèle devient y=Xβ+Z γ + ε . C'est le modèle mixte linéaire car il y a à la fois des effets fixes, X, et effets aléatoires, Z
Les hypothèses suivantes sont faites pour la paramètres d'effets aléatoires, γ et erreur aléatoire ε :
(1) γ et ε sont normalement distribués, et (2) il n'y a pas de corrélations entre et ε .JMP fournit plusieurs structures couramment utilisées pour ε . Les coefficients d'effet fixe , , et matrices de covariance pour et sont estimés conjointement par la méthode du maximum de vraisemblance restreint. Le montage de modèles mixtes nécessite un des données supplémentaires sur chaque unité de section ou, en cas de modélisation de données spatiales, les dimensions des mesures. Il existe des modèles mixtes pour les réponses distribuées non normales ou des modèles mixtes non linéaires ; cependant, Je limite la portée de ma discussion aux modèles mixtes linéaires pris en charge dans JMP Pro.
Pourquoi des modèles mixtes
Lorsqu'il existe une corrélation entre les réponses ou une variable explicative importante est manquant, le fait de ne pas en tenir compte conduit à des estimations biaisées des effets du traitement et d'autres facteurs.
Voici quelques cas d'utilisation courants pour les modèles mixtes :
- En permettant coefficients
- Analyse de conceptions en blocs aléatoires et de conceptions en parcelles divisées où des facteurs difficiles à modifier et faciles à modifier entraînent plusieurs termes d'erreur ;
- Contrôle de l'hétérogénéité individuelle non observée sous la forme d'effets aléatoires (c.-à-d. modèles de données de panel) ;
- Analyse des mesures répétées où les erreurs intra-sujet sont corrélées ;
- Réponses multiples qui sont corrélées parce que les mesures sont prises sur les mêmes sujets ;
- Les matières sont hiérarchiques (c'est-à-dire, les élèves au sein des écoles) . C'est ce qu'on appelle le modèle linéaire hiérarchique ou les modèles à plusieurs niveaux ;
- Variabilité spatiale (c.-à-d. régression géospatiale);
Avec JMP Pro, vous pouvez facilement spécifier et adapter tous ces modèles à l'aide de l'interface pointer-cliquer et examiner les résultats de manière conviviale.
Étapes pour spécifier un modèle mixte dans JMP Pro
- 1. Sélectionner Analyser => Ajuster le modèle , et choisissez Personnalité de modèle mixte ;
- 2. Sélectionnez une variable de réponse continue dans votre tableau de données comme Oui et construisez des effets fixes comme vous le feriez normalement avec un ajustement standard des moindres carrés ;
3A. Utilisation Effets aléatoires onglet pour spécifier des coefficients aléatoires ou des effets aléatoires ;
3B. Utilisation Structure répétée onglet pour sélectionner une structure de covariance pour les erreurs de modèle ;
- 4. Cliquez sur Courir .
Je vais maintenant passer à l'exemple pour montrer quatre types différents de modèles mixtes : modèle à coefficients aléatoires, analyse de mesures répétées, modèle de données de panel et régression géospatiale.
Exemple 1 : modèles de coefficients aléatoires— permettant l'interception et les pentes varier aléatoirement selon les sujets
Dans cet exemple, nous souhaitons estimer l'effet sur le rendement du blé de l'humidité du sol avant la plantation tout en permettant à chaque variété de blé d'avoir un écart aléatoire par rapport aux effets de la population. Ainsi, un modèle à coefficients aléatoires est nécessaire. L'expérience sélectionne au hasard 10 variétés de la population de blé et attribue chacune à six terrains .Au total, 60 observations avec 6 mesures de rendement pour chaque variété sont collectées. (Les données, « Blé », sont disponibles dans le répertoire Sample Data de JMP.)
J'ai suivi les étapes décrites ci-dessus pour spécifier le modèle. De Effets fixes Dans l'onglet , spécifiez l'humidité avec une interception par défaut comme effets fixes.
Fit Model: Fixed EffectsFit Model : effets fixes
Ensuite, à partir du Effets aléatoires onglet,utilisation Imbriquer les coefficients aléatoires bouton pour demander une interception aléatoire et un effet d'humidité pour chaque variété. 
Fit Model: Random EffectsModèle d'ajustement : effets aléatoires
Enfin, de Structure répétée onglet, sélectionnez Résiduel pour le terme d'erreur du modèle.
Fit Model: Repeated Structures Modèle d'ajustement : structures répétées
La capture d'écran suivante montre Estimations des paramètres de covariance des effets aléatoires, estimations des paramètres des effets fixes et Coefficients aléatoires .Discutons-en tour à tour.
L'estimation de variance pour Intercept est de 18,89 avec une estimation d'erreur standard de 9,11, donc le score z est de 2,07 (=18,89/9,11). À l'aide de la fonction de distribution normale de JMP Formula Editor, nous pouvons déterminer que la valeur p est de 0,0192, ce qui indique que la variation du rendement de référence entre les variétés est statistiquement significative.De même, le p -la valeur pour Cov (humidité, intercepter) , 0,3777 et valeur de p pour Var (humidité) est de 0,0380.
La Coefficients aléatoires rapport donne le BLUP (B prédicteur linéaire sans biais) valeurs pour la façon dont chaque variété est différente de l'intersection de la population et de la population Effet de l'humidité rapporté dans Estimations des paramètres à effets fixes. Pour la variété 1, l'effet estimé de l'humidité sur son rendement est de 0,61 (=0,66-0,05), et le rendement de référence est de 34,39 (=33,43+0,96) et l'équation de rendement prévue est
En combinant à la fois les effets fixes et les estimations de coefficients aléatoires, nous trouvons un effet global significatif sur le rendement en humidité du blé et découvrons une variation significative de l'effet d'humidité entre les différentes variétés.
Autres applications des modèles à coefficients aléatoires
Le modèle de croissance individuelle est un type de modèle à coefficient aléatoire dans lequel Aléatoire temps l'effet est estimé pour chaque individu.Son est fait en spécifiant une continue variable de temps telle que jour ou mois comme un effet aléatoire, et tu chanter Imbriquer les coefficients aléatoires pour demander une pente (c.-à-d. croissance) et une interception distinctes pour chaque individu.
Dans la recherche en éducation, les sujets sont souvent imbriqués dans un ordre hiérarchique.En ajoutant plusieurs groupes d'instructions à effet aléatoire, vous pouvez adapter Modèles linéaires hiérarchiques/Modèles multiniveaux .
Exemple 2 : Analyse des mesures répétées — prise en compte des erreurs corrélées
Les mesures répétées sont les mesures multiples d'une réponse recueillies auprès des mêmes sujets au fil du temps.Dans cet essai clinique, les sujets (c'est-à-dire les patients) ont été assignés au hasard à différents groupes de traitement. Le taux de cholestérol total de chaque sujet a été mesuré plusieurs fois au cours de l'essai. L'objectif de l'étude est de tester si de nouveaux médicaments sont efficaces pour réduire le cholestérol. Quoi rend l'analyse des mesures répétées distincte est la corrélation des mesures au sein d'un sujet. Le fait de ne pas en tenir compte conduit souvent à une conclusion erronée sur l'effet du traitement. (Les données, Cholestérol empilé , est disponible dans le répertoire Sample Data de JMP.
JMP Pro propose trois structures de covariance couramment utilisées :
- Non structuré
- AR(1) (autorégressif de premier ordre) estime la corrélation entre deux mesures distantes d'une unité de temps.La corrélation diminue à mesure que la différence de temps augmente.
- CS
La capture d'écran suivante montre le Effets fixes une partie de l'analyse des mesures répétées, qui comprend Traitement , Mois , MATIN APRÈS-MIDI , et leurs interactions.
Fixed effects part of the model Partie effets fixes du modèle
Je considérerai trois structures de covariance différentes pour les erreurs intra-sujet.D'abord, utilisons Non structuré. Appliquer Temps colonne comme Répété, et Patient colonne comme Matière --ceci définit les mesures répétées au sein d'un sujet. Il est important de noter que JMP exige que Matière la colonne ait une valeur unique et que Répété colonne être catégorique pour le Non structuré option.
Unstructured Covariance Structure Structure de covariance non structurée
Les rapports clés incluent Estimations des paramètres de covariance des effets répétés, Estimations des paramètres à effets fixes, et Tests Tests à effets fixes .
Results using Unstructured Résultats avec non structuré
Une façon de tester la signification statistique des estimations de covariance consiste à calculer les scores z et à trouver leurs valeurs p, comme je l'ai fait dans l'exemple de modèle de coefficient aléatoire précédent. Cependant, nous pouvons vérifier les limites de confiance : si l'intervalle de confiance à 95 % pour une estimation de covariance inclut zéro, alors nous pouvons dire que l'estimation n'est pas statistiquement significative à partir de zéro à α = 5 %.Comme nous pouvons le voir, les six estimations de la variance sont significativement différentes de zéro, mais la plupart des les estimations de covariance ne le sont pas. Ceci suggère qu'une structure parcimonieuse, telle que AR (1), devrait être envisagée.
Tests d'effets fixes rapport montre un effet très significatif du traitement. C niveau de cholestérol varie également considérablement d'un mois à l'autre et du matin à l'après-midi.
Ensuite, nous considérons AR(1) comme structure de covariance pour les erreurs intra-sujet. Veuillez noter que Répété utilisée dans AR(1) par JMP doit être une variable continue.Alors, D oui— nombre de jours à partir de la date de début de l'essai à chaque mesure--est utilisé à la place d'une variable catégorielle utilisée pour l'option UN.
AR(1) Covariance Structure AR(1) Structure des covariances
La Effets répétés Estimation du paramètre de covariance montre une corrélation intra-sujet hautement significative de 0,95. Les résultats des effets fixes sont similaires à ceux de l'option de l'ONU (non illustré) - l'effet du traitement et les effets du temps sont statistiquement significatifs.
Results using AR(1) Résultats utilisant AR(1)
Enfin, pour compléter notre exemple, adaptons le modèle avec un CS structure. Pour ce faire, sélectionnez Résiduel comme le Structure de covariance répétée — mais pas besoin de préciser Répété et Matière colonnes avec cette option ; à la place, nous ajoutons l'identifiant du sujet, Patient, comme un effet aléatoire sur Effets aléatoires languette. C'est-à-dire
w la covariance intra-sujet est modélisée par le sujet ef fect.
CS Covariance Structure with random subject effect and residual error Structure de covariance CS avec effet de sujet aléatoire et erreur résiduelle
Results using CSRésultats à l'aide de CS
À en juger par les limites de confiance de 95 %, la covariance entre deux mesures quelconques sur le même sujet n'est pas statistiquement significative à α =0.05 (en fait, p-value= 0,0621 ). Les résultats des tests d'effets fixes sont similaires aux modèles précédents et ne sont donc pas présentés ici.
Alors, quelle structure répétée adopter ? L'AICc est un critère de comparaison des modèles. Du Statistiques d'ajustement rapportés par JMP (non illustrés), les AICc sont : Non structuré —703,84, AR(1) —652,63 et CS —832,55. Alors, AR(1) est le gagnant.
Exemple 3 : Modèles de données de panel : contrôle de l'hétérogénéité non observée
Cet exemple est tiré de Vella et Verbeek (1998), dont il est question dans Économétrie d'introduction par Jeffrey Woodridge comme Exemple 14.4 . Voir les références ci-dessous pour plus d'informations.
Les données originales provenaient du Enquête longitudinale nationale auprès des jeunes Cohorte de 1979 (NLSY79). Dans les données, chacun des 545 travailleurs masculins a travaillé chaque année de 1980 à 1987. Nous souhaitons estimer l'effet sur les revenus salariaux de l'adhésion à un syndicat en tenant compte de l'éducation, de l'expérience de travail, de l'ethnicité, etc.
Bien que NLSY79 recueille des informations détaillées sur les travailleurs à utiliser comme variables de contrôle, il existe toujours des différences individuelles qui ne peuvent être observées ou mesurées. Les données de panel permettent de rendre compte de l'hétérogénéité individuelle : si l'hétérogénéité non observée peut être supposée non corrélée avec toutes les variables explicatives incluses dans le modèle, on peut en tenir compte en la traitant comme un effet aléatoire.
Suite à la discussion de Woodridge, une équation log(salaire) est ajustée dans laquelle l'ID du travailleur est entré comme un effet aléatoire pour capturer les différences non observées.
Fixed effects part of the Log(Wage) Equation Partie des effets fixes de l'équation Log(Wage)
Random effects part of the Log(Wage) EquationEffets aléatoires faisant partie de l'équation log(salaire)
je sélectionne Résiduel pour le terme d'erreur de mode. Le modèle s'appelle modèle à effet aléatoire unidirectionnel en économétrie .
Les résultats sont montrés plus bas.
Panel Model Results Résultats du modèle de panel
Du Estimations des paramètres de covariance des effets aléatoires signalons que nous constatons que cet individu hétérogénéité représente 47,8 % (=0,11/(0,11+0,12)) de la variation totale, ce qui indique un important effet d'hétérogénéité non observé. En d'autres termes, une analyse MCO donnerait probablement des résultats trompeurs.
La Estimations des paramètres à effets fixes Le rapport indique un taux de rendement estimé de l'éducation à 9,2 % et une prime syndicale de 10,5 %, tous deux très significatifs sur le plan statistique. À titre de comparaison, une OLS groupée estimerait la prime syndicale à 18,2 %. Voir Woodridge (2013, page 495).
Références
Francis Vella et Marno Verbeek (1998), " Les salaires de qui les syndicats augmentent-ils ? Un modèle dynamique de syndicalisme et de détermination des taux de salaire pour les jeunes hommes ", Journal of Applied Econometrics, Vol. 13, No. 2, pp. 163-183. Les données peuvent être téléchargées sur le site Web du Journal http://qed.econ.queensu.ca/jae/1998-v13.2/vella-verbeek/
Jeffrey M. Woodridge (2013), Introduction à l'économétrie : une approche moderne (5 e éd.), CENGAGE Apprentissage.
Exemple 4 : Modélisation de données géospatiales en tenant compte de la corrélation spatiale
Comme les mesures répétées sont corrélées dans le temps, les données spatiales sont probablement corrélées dans l'espace.c'est-à-dire des mesures qui sont relativement proches se ressemblent plus que celles qui sont plus éloignées. Ainsi, nous devons tenir compte de la dépendance spatiale dans l'analyse.
Les données spatiales sont enregistrées avec des coordonnées telles que latitude et longitude, positions des lignes et des colonnes, directions nord-sud et est-ouest. La distance entre deux mesures est calculée à l'aide d'un Distance euclidienne fonction, qui est utilisée pour former une structure de covariance. je si la fonction de distance ne dépend pas des directions des mesures, alors la covariance est dite isotrope; sinon c'est anisotrope .En outre, un pépite effet peut être ajouté pour tenir compte des changements brusques sur de petites distances dans une zone locale.
JMP Pro fournit quatre Distance euclidienne fonctions pour les structures isotropes : puissance, exponentielle, gaussienne et sphérique.Diverses formes de structures anisotropes sont disponibles.Un effet de pépite peut également être ajouté aux structures de covariance.
L'exemple suivant est tiré de SAS pour modèles mixtes, 2e édition , 2006, p. 457-460. ( http://www.sas.com/store/prodBK_59882_en.htm ). Afin d'étudier le drainage de l'eau sur un site d'élimination de déchets dangereux, 30 échantillons ont été prélevés à divers endroits sur le site et enregistrés selon leurs directions nord-sud et est-ouest.Une relation linéaire entre le drainage de l'eau (mesuré par log-transmissivité) et l'épaisseur d'une couche de sel a été proposée. ( J il donne, Déchets dangereux , est Ensemble de données 11.6 dans le fichier compressé
http://support.sas.com/publishing/bbu/59882/59882.zip .)
Un modèle de régression spatiale est ajusté en utilisant une structure de puissance spatiale anisotrope avec un effet de pépite. Cette structure permet (1) à la distance d'être une fonction puissance de la corrélation spatiale, (2) aux corrélations spatiales de différer dans différentes directions et (3) à la variation sur de petites distances.
Spatial anisotropic power with nugget Puissance anisotrope spatiale avec pépite
Results using spatial anisotropic power with nuggetRésultats utilisant la puissance anisotrope spatiale avec pépite
Estimation du paramètre de covariance rapport suggère une corrélation spatiale hautement significative et que deux coefficients de corrélation sont respectivement de 0,81 (Est-Ouest) et 0,91 (Nord-Sud). Cependant, il semble n'y avoir aucune pépite basée sur les limites de confiance.Estimations des paramètres à effets fixes montrent un effet négatif significatif (-0,025) sur le drainage de l'eau de l'épaisseur du sel.
Je remonte le modèle en supprimant l'effet pépite.
Results using spatial anisotropic power without nugget Résultats utilisant la puissance anisotrope spatiale sans pépite
Nous remarquons quelques changements mineurs : les corrélations spatiales estimées sont respectivement de 0,86 et 0,82, et l'effet de l'épaisseur du sel est de -0,021. En comparant la qualité de l'ajustement à l'aide de l'AICc, le deuxième modèle est légèrement meilleur car son AIC est plus petit (84,7 contre 86,4)
Pour tester formellement l'existence d'une corrélation spatiale, nous ajustons un modèle d'erreurs indépendant en sélectionnant Résiduel comme structure (c'est-à-dire en supposant qu'il n'y a pas de corrélation spatiale). La différence de valeur de log de vraisemblance résiduelle -2 entre les deux modèles forme un test de rapport de vraisemblance χ2. La probabilité -2 du log résiduel du modèle d'erreurs indépendantes est de 94,07, donc la différence est de 13,72 (=94,07-80,35). Cela donne une valeur de p de 0,001 pour DF=2. Par conséquent, une corrélation spatiale significative est trouvée sur ce site.
Sommaire
Espérons que ces exemples ont illustré la polyvalence des modèles mixtes linéaires et la facilité d'ajustement d'un modèle mixte avec JMP. Avant de terminer, j'aimerais partager quelques conseils généraux.
- Afin d'exécuter un modèle mixte, les données doivent être organisées dans un format "grand et maigre" où plusieurs mesures d'une réponse sont empilées dans une seule colonne. Si vos données sont au format "short & wide", utilisez la fonction JMP Tables Empiler à transposer.
- Suivre la Exigences relatives à la structure de covariance répétée de JMP lors de la saisie des colonnes Répété et Objet.http://www.jmp.com/support/help/Launch_the_Mixed_Model_Personality.shtml#1013652
- Essayez différentes structures de covariance et évaluez différents modèles en comparant AICc ou BIC. Plus l'AICc (ou BIC) est petit, meilleur est l'ajustement d'un modèle.Ceteris paribus , un modèle parcimonieux est préférable.
- Un modèle à erreurs indépendantes (c'est-à-dire un modèle à effets fixes uniquement) peut servir de modèle de référence pour effectuer un test de rapport de vraisemblance χ2 sur l'existence d'une structure de covariance e.
- Gardez à l'esprit que lorsque des effets aléatoires et des effets répétés sont inclus dans un modèle, les données sont souvent insuffisantes pour estimer les deux effets.
