Modèles mixtes linéaires avec JMP® Pro : une face, de nombreuses saveurs*
Jian Cao, Ph.D.
Institut SAS, Inc.
24 mars 2015
Bruxelles, Belgique
Abstrait
L'une des nouvelles fonctionnalités introduites dans JMP Pro 11 concerne les modèles mixtes. Cette nouvelle personnalité de modélisation dans la plateforme Fit Model permet d'ajuster une variété de modèles de régression avec des effets fixes et aléatoires ainsi qu'une structure de covariance appropriée. Qu'est-ce qu'un modèle mixte ? Quand et pourquoi monter un modèle mixte ? Et comment JMP s’adapte-t-il à un tel modèle ? Dans cet article, je tenterai de dissiper les mythes sur les modèles mixtes en 1) passant brièvement en revue le contexte statistique, 2) en discutant des raisons pour lesquelles les modèles mixtes fournissent de meilleures estimations et des conséquences de l'ajustement des modèles de régression traditionnels aux données où les mesures d'une variable de réponse sont corrélées ou un une variable explicative clé est manquante, et 3) illustrer les modèles mixtes de JMP® Pro en ajustant différentes versions de modèles mixtes qui sont largement utilisés dans les applications réelles.
Remerciements : Je tiens à remercier Christopher Gotwalt et Laura Lancaster pour leur aide.
* Le contenu présenté dans ce document s'applique également à JMP Pro 12.La principale amélioration du nouveau JMP Pro 12 est un algorithme d'optimisation amélioré qui permet à JMP de s'exécuter plus rapidement que dans JMP Pro 11 pour les données volumineuses. .
JMP Pro 11 a ajouté une nouvelle personnalité de modélisation, Mixed Model, à sa plateforme Fit Model.Qu'est-ce qu'un modèle mixte ? Comment JMP s’adapte-t-il à un tel modèle ? Quelles sont les principales applications dans lesquelles les modèles mixtes peuvent être appliqués ? Dans cet article, je vais essayer de dissiper les mythes sur les modèles mixtes et de démontrer les capacités de JMP avec des exemples concrets.
Qu'est-ce qu'un modèle mixte linéaire
Les modèles mixtes linéaires sont une généralisation des modèles de régression linéaire , y = Xβ +ε . Extension du modèle pour permettre des effets aléatoires, Z , le nouveau modèle devient y=Xβ+Z y + ε . Il s'agit du modèle mixte linéaire car il existe à la fois des effets fixes, X, et des effets aléatoires, Z.
Les hypothèses suivantes sont faites pour le paramètres d'effet aléatoire, y et erreur aléatoire ε :
(1) y et ε sont normalement distribués, et (2) il n’y a pas de corrélations entre et ε .JMP propose plusieurs structures couramment utilisées pour ε . Les coefficients à effet fixe , , et matrices de covariance pour et sont estimés conjointement par la méthode du maximum de vraisemblance restreinte. Le montage de modèles mixtes nécessite un des données supplémentaires sur chaque unité de section ou, en cas de modélisation de données spatiales, les dimensions des mesures. Il existe des modèles mixtes pour les réponses distribuées non normales ou des modèles mixtes non linéaires ; cependant, Je limite la portée de ma discussion aux modèles mixtes linéaires pris en charge dans JMP Pro.
Pourquoi des modèles mixtes
Lorsqu'il existe une corrélation entre les réponses ou une variable explicative importante est manquant, le fait de ne pas en tenir compte conduit à des estimations biaisées des effets du traitement et d’autres facteurs.
Voici quelques cas d’utilisation courants pour les modèles mixtes :
- En permettant coefficients
- Analyse de plans en blocs aléatoires et de plans en parcelles divisées où des facteurs difficiles à modifier et faciles à modifier entraînent de multiples termes d'erreur ;
- Contrôler l'hétérogénéité individuelle non observée sous la forme d'effets aléatoires (c.-à-d. modèles de données de panel) ;
- Analyse de mesures répétées où les erreurs intra-sujets sont corrélées ;
- Des réponses multiples corrélées car les mesures sont prises sur les mêmes sujets ;
- Les matières sont hiérarchiques (c'est-à-dire les étudiants au sein des écoles) . C'est ce qu'on appelle le modèle linéaire hiérarchique ou les modèles multi-niveaux ;
- Variabilité spatiale (c.-à-d. régression géospatiale);
Avec JMP Pro, vous pouvez facilement spécifier et ajuster tous ces modèles à l'aide de l'interface pointer-cliquer et examiner les résultats de manière conviviale.
Étapes pour spécifier un modèle mixte dans JMP Pro
- 1. Sélectionner Analyser => Ajuster le modèle , et choisissez Personnalité de modèle mixte ;
- 2. Sélectionnez une variable de réponse continue dans votre tableau de données comme Oui et construisez des effets fixes comme vous le feriez normalement avec un ajustement standard des moindres carrés ;
3A. Utiliser Effets aléatoires onglet pour spécifier des coefficients aléatoires ou des effets aléatoires ;
3B. Utiliser Structure répétée onglet pour sélectionner une structure de covariance pour les erreurs de modèle ;
- 4. Cliquez sur Courir .
Je vais maintenant me tourner vers un exemple pour montrer quatre types différents de modèles mixtes : modèle à coefficients aléatoires, analyse de mesures répétées, modèle de données de panel et régression géospatiale.
Exemple 1 : Modèles à coefficients aléatoires : permettant l'interception et les pentes varier de manière aléatoire selon les sujets
Dans cet exemple, nous souhaitons estimer l'effet sur le rendement du blé de l'humidité du sol avant la plantation tout en permettant à chaque variété de blé de présenter un écart aléatoire par rapport aux effets de population. Un modèle à coefficients aléatoires est donc nécessaire. L'expérience sélectionne au hasard 10 variétés de la population de blé et attribue chacune à six parcelles de terrain .Au total, 60 observations avec 6 mesures de rendement pour chaque variété sont collectées. (Les données « Blé » sont disponibles dans le répertoire Sample Data de JMP.)
J'ai suivi les étapes décrites ci-dessus pour spécifier le modèle. Depuis Effets fixes , spécifiez l'humidité ainsi qu'une interception par défaut comme effets fixes.
Fit Model: Fixed EffectsFit Model: Fixed EffectsModèle adapté: effets fixes
Ensuite, à partir du Effets aléatoires onglet,utilisation Coefficients aléatoires imbriqués bouton pour demander une interception aléatoire et un effet d'humidité pour chaque variété. 
Fit Model: Random EffectsFit Model: Random EffectsModèle ajusté: effets aléatoires
Enfin, de Structure répétée onglet, sélectionnez Résiduel pour le terme d’erreur du modèle.
Fit Model: Repeated StructuresFit Model: Repeated Structures Ajuster le modèle : structures répétées
La capture d'écran suivante montre Estimations des paramètres de covariance des effets aléatoires, estimations des paramètres des effets fixes et Coefficients aléatoires .Discutons-en tour à tour.
L'estimation de la variance pour Intercept est de 18,89 avec une estimation de l'erreur standard de 9,11, donc le score z est de 2,07 (=18,89/9,11). En utilisant la fonction de distribution normale de JMP Formula Editor, nous pouvons trouver que la valeur p est de 0,0192, ce qui indique que la variation du rendement de base entre les variétés est statistiquement significative.De même, le p -la valeur pour Cov (humidité, interception) , 0,3777 et valeur p pour Var(Humidité) est 0,0380.
Le Coefficients aléatoires rapport donne le BLUP (B est le prédicteur linéaire sans biais) valeurs indiquant en quoi chaque variété est différente de l'interception de la population et de l'effet de l'humidité de la population rapporté dans Estimations des paramètres des effets fixes. Pour la variété 1, l'effet estimé de l'humidité sur son rendement est de 0,61 (=0,66-0,05), et le rendement de référence est de 34,39 (=33,43+0,96) et l'équation de rendement prévue est
En combinant à la fois les effets fixes et les estimations de coefficients aléatoires, nous constatons un effet global significatif sur le rendement en humidité du blé et découvrons une variation significative de l'effet humidité entre différentes variétés.
Autres applications des modèles à coefficients aléatoires
Le modèle de croissance individuelle est un type de modèle à coefficients aléatoires dans lequel aléatoire temps l'effet est estimé pour chaque individu.Cela se fait en spécifiant un continu variable de temps telle que jour ou mois comme effet aléatoire, et toi chanter Coefficients aléatoires imbriqués pour demander une pente distincte (c'est-à-dire une croissance) et une interception pour chaque individu.
Dans la recherche pédagogique, les sujets sont souvent imbriqués dans un ordre hiérarchique.En ajoutant plusieurs groupes d'énoncés d'effets aléatoires, vous pouvez adapter Modèles linéaires hiérarchiques/Modèles multiniveaux .
Exemple 2 : Analyse de mesures répétées – prise en compte des erreurs corrélées
Les mesures répétées sont les mesures multiples d'une réponse collectées auprès des mêmes sujets au fil du temps.Dans cet essai clinique, les sujets (c'est-à-dire les patients) ont été répartis au hasard dans différents groupes de traitement. Le taux de cholestérol total de chaque sujet a été mesuré plusieurs fois au cours de l'essai. L'objectif de l'étude est de tester si de nouveaux médicaments sont efficaces pour réduire le cholestérol. Quoi Ce qui rend l'analyse de mesures répétées distincte, c'est la corrélation des mesures au sein d'un sujet. Ne pas en tenir compte conduit souvent à des conclusions erronées sur l’effet du traitement. (Les données, Cholestérol empilé , est disponible dans le répertoire Sample Data de JMP.
JMP Pro propose trois structures de covariance couramment utilisées :
- Non structuré
- RA(1) (autorégressif de premier ordre) estime la corrélation entre deux mesures distantes d'une unité de temps.La corrélation diminue à mesure que le décalage horaire augmente.
- CS
La capture d'écran suivante montre le Effets fixes partie de l'analyse des mesures répétées, qui comprend Traitement , Mois , MATIN APRÈS-MIDI , et leurs interactions.
Fixed effects part of the modelFixed effects part of the model Partie à effets fixes du modèle
Je considérerai trois structures de covariance différentes pour les erreurs intra-sujets.Tout d'abord, utilisons Non structuré. Appliquer Temps colonne comme Répété, et Patient colonne comme Sujet --cela définit les mesures répétées au sein d'un sujet. Il est important de noter que JMP exige que Sujet la colonne ait une valeur unique et que Répété la colonne soit catégorique pour le Non structuré option.
Unstructured Covariance StructureUnstructured Covariance Structure Structure de covariance non structurée
Les rapports clés incluent Estimations des paramètres de covariance des effets répétés, Estimations des paramètres à effets fixes, et Tests Tests à effets fixes .
Results using UnstructuredResults using Unstructured Résultats utilisant Non structuré
Une façon de tester la signification statistique des estimations de covariance consiste à calculer les scores z et à trouver leurs valeurs p, comme je l'ai fait dans l'exemple précédent de modèle à coefficients aléatoires. Cependant, nous pouvons vérifier les limites de confiance : si l'intervalle de confiance à 95 % pour une estimation de covariance inclut zéro, alors nous pouvons dire que l'estimation n'est pas statistiquement significative de zéro à α = 5%.Comme nous pouvons le constater, les six estimations de la variance sont significativement différentes de zéro, mais la plupart des les estimations de covariance ne le sont pas. Cela suggère qu’il convient d’envisager des structures parcimonieuses, telles que AR (1).
Tests à effets fixes Le rapport montre un effet thérapeutique très significatif. C niveau de cholestérol on constate également qu'elle varie considérablement d'un mois à l'autre et du matin à l'après-midi.
Ensuite, nous considérons RA(1) comme structure de covariance pour les erreurs intra-sujets. Veuillez noter que Répété La colonne utilisée dans AR(1) par JMP doit être une variable continue.Alors, D. oui— nombre de jours à compter de la date de début de l'essai pour chaque mesure - est utilisé à la place d'une variable catégorielle utilisée pour l'option UN.
AR(1) Covariance StructureAR(1) Covariance Structure AR(1) Structure de covariance
Le Effets répétés Estimation des paramètres de covariance Le rapport montre une corrélation intra-sujet très significative de 0,95. Les résultats des effets fixes sont similaires à ceux de l'option ONU (non présentée) : l'effet du traitement et les effets temporels sont statistiquement significatifs.
Results using AR(1)Results using AR(1) Résultats utilisant AR(1)
Pour compléter notre exemple, équipons enfin le modèle avec un CS structure. Pour ce faire, sélectionnez Résiduel comme le Structure de covariance répétée -mais pas besoin de préciser Répété et Sujet colonnes avec cette option ; à la place, nous ajoutons l'ID du sujet, Patient, comme un effet aléatoire sur Effets aléatoires languette. C'est
w La covariance intra-sujet est modélisée à travers le sujet ef parfait.
CS Covariance Structure with random subject effect and residual errorCS Covariance Structure with random subject effect and residual error Structure de covariance CS avec effet de sujet aléatoire et erreur résiduelle
Results using CSResults using CSRésultats utilisant CS
À en juger par les limites de confiance de 95 %, la covariance entre deux mesures quelconques sur le même sujet n'est pas statistiquement significative à α =0,05 (en fait, valeur p= 0,0621 ). Les résultats des tests à effet fixe sont similaires à ceux des modèles précédents et ne sont donc pas présentés ici.
Alors, quelle structure répétée adopter ? L’un des critères de comparaison des modèles est l’AICc. Du Statistiques d'ajustement signalés par JMP (non illustré), les AICc sont : Non structuré —703.84, RA(1) —652,63 et CS —832.55. Donc, RA(1) est le gagnant.
Exemple 3 : Modèles de données de panel : contrôle de l'hétérogénéité non observée
Cet exemple est tiré de Vella et Verbeek (1998), dont il est question dans Économétrie introductive de Jeffrey Woodridge comme Exemple 14.4 . Voir les références ci-dessous pour plus d'informations.
Les données originales provenaient du Enquête longitudinale nationale sur les jeunes, cohorte de 1979 (NLSY79). Dans les données, chacun des 545 travailleurs masculins a travaillé chaque année de 1980 à 1987. Nous souhaitons estimer l'effet sur les revenus salariaux de l'adhésion syndicale en tenant compte de l'éducation, de l'expérience professionnelle, de l'appartenance ethnique, etc.
Bien que NLSY79 collecte des informations générales détaillées sur les travailleurs à utiliser comme variables de contrôle, il existe toujours des différences individuelles qui ne peuvent être observées ou mesurées. Les données de panel permettent de rendre compte de l’hétérogénéité individuelle : si l’on peut supposer que l’hétérogénéité non observée n’est pas corrélée à toutes les variables explicatives incluses dans le modèle, nous pouvons en rendre compte en la traitant comme un effet aléatoire.
Suite à la discussion de Woodridge, une équation Log (Salaire) est ajustée dans laquelle l'identification du travailleur est saisie comme un effet aléatoire pour capturer les différences non observées.
Fixed effects part of the Log(Wage) EquationFixed effects part of the Log(Wage) Equation Effets fixes faisant partie de l'équation Log (Salaire)
Random effects part of the Log(Wage) EquationRandom effects part of the Log(Wage) EquationEffets aléatoires faisant partie de l'équation Log (Salaire)
je sélectionne Résiduel pour le terme d’erreur de mode. Le modèle s'appelle modèle à effet aléatoire unidirectionnel en économétrie .
Les résultats sont montrés plus bas.
Panel Model ResultsPanel Model Results Résultats du modèle de panel
Du Estimations des paramètres de covariance des effets aléatoires rapport, nous trouvons cet individu hétérogénéité représente 47,8 % (=0,11/(0,11+0,12)) de la variation totale, ce qui indique un effet d'hétérogénéité non observé important. En d’autres termes, une analyse OLS donnerait probablement des résultats trompeurs.
Le Estimations des paramètres des effets fixes Le rapport montre un taux de rendement estimé de l'éducation à 9,2 % et une prime syndicale de 10,5 %, tous deux hautement significatifs d'un point de vue statistique. À titre de comparaison, un OLS poolé estimerait la prime syndicale à 18,2 %. Voir Woodridge (2013, page 495).
Les références
Francis Vella et Marno Verbeek (1998), " Quels salaires les syndicats augmentent-ils ? Un modèle dynamique de syndicalisme et de détermination des taux de salaire pour les jeunes hommes ", Journal of Applied Econometrics, Vol. 13, No. 2, pp. 163-183. Les données peuvent être téléchargées à partir du site Web du Journal. http://qed.econ.queensu.ca/jae/1998-v13.2/vella-verbeek/
Jeffrey M. Woodridge (2013), Économétrie introductive : une approche moderne (5 ème ndlr), Apprentissage CENGAGE.
Exemple 4 : Modélisation de données géospatiales – prise en compte de la corrélation spatiale
Tout comme les mesures répétées sont corrélées dans le temps, les données spatiales sont probablement corrélées dans l’espace.C'est-à-dire des mesures qui sont relativement proches les uns des autres se ressemblent davantage que ceux qui sont plus éloignés les uns des autres. Nous devons donc prendre en compte la dépendance spatiale dans l’analyse.
Les données spatiales sont enregistrées avec des coordonnées telles que latitude et longitude, positions des lignes et des colonnes, directions nord-sud et est-ouest. La distance entre deux mesures est calculée à l'aide d'un Distance euclidienne fonction, qui est utilisée pour former une structure de covariance. je fa la fonction de distance ne dépend pas des directions de mesures, alors la covariance est dite isotrope; sinon c'est anisotrope .En outre, un pépite Cet effet peut être ajouté pour tenir compte des changements brusques sur de petites distances dans une zone locale.
JMP Pro propose quatre Distance euclidienne fonctions pour les structures isotropes : puissance, exponentielle, gaussienne et sphérique.Différentes formes de structures anisotropes sont disponibles.Un effet de pépite peut également être ajouté aux structures de covariance.
L'exemple suivant est tiré de SAS pour modèles mixtes, 2e édition , 2006, p. 457-460. ( http://www.sas.com/store/prodBK_59882_en.htm ). Afin d'étudier le drainage des eaux d'un site d'élimination de déchets dangereux, 30 échantillons ont été prélevés à différents endroits du site et enregistrés dans leurs directions nord-sud et est-ouest.Une relation linéaire entre le drainage de l'eau (mesuré par log-transmissivité) et l'épaisseur d'une couche de sel a été proposée. ( T il données, Déchets dangereux , est Ensemble de données 11.6 dans le fichier zippé
http://support.sas.com/publishing/bbu/59882/59882.zip .)
Un modèle de régression spatiale est ajusté à l'aide d'une structure de puissance spatiale anisotrope avec un effet de pépite. Cette structure permet (1) à la distance d'être une fonction puissance de la corrélation spatiale, (2) aux corrélations spatiales de différer dans différentes directions et (3) à la variation sur de petites distances.
Spatial anisotropic power with nuggetSpatial anisotropic power with nugget Puissance anisotrope spatiale avec pépite
Results using spatial anisotropic power with nuggetResults using spatial anisotropic power with nuggetRésultats utilisant la puissance anisotrope spatiale avec une pépite
Estimation des paramètres de covariance Le rapport suggère une corrélation spatiale très significative et que deux coefficients de corrélation sont respectivement 0,81 (Est-Ouest) et 0,91 (Nord-Sud). Cependant, il ne semble pas y avoir de pépite si l’on se base sur les limites de confiance.Estimations des paramètres des effets fixes montrent un effet négatif significatif (-0,025) sur le drainage de l'eau de l'épaisseur du sel.
Je remonte le modèle en supprimant l'effet pépite.
Results using spatial anisotropic power without nuggetResults using spatial anisotropic power without nugget Résultats utilisant la puissance anisotrope spatiale sans pépite
Nous remarquons quelques changements mineurs : les corrélations spatiales estimées sont respectivement de 0,86 et 0,82, et l'effet de l'épaisseur du sel est de -0,021. En comparant la qualité de l'ajustement à l'aide de l'AICc, le deuxième modèle est légèrement meilleur car ses AIC sont plus petits (84,7 contre 86,4).
Pour tester formellement l'existence d'une corrélation spatiale, nous ajustons un modèle d'erreurs indépendant en sélectionnant Résiduel que la structure (c'est-à-dire en supposant qu'il n'y a pas de corrélation spatiale). La différence de valeur de log de vraisemblance résiduelle de -2 entre les deux modèles forme un test de rapport de vraisemblance χ2. La vraisemblance résiduelle de -2 du modèle d'erreurs indépendantes est de 94,07, la différence est donc de 13,72 (= 94,07-80,35). Cela donne une valeur p de 0,001 pour DF=2. Par conséquent, une corrélation spatiale significative est trouvée sur ce site.
Résumé
Espérons que ces exemples ont illustré la polyvalence des modèles mixtes linéaires et la facilité d'installation d'un modèle mixte avec JMP. Avant de terminer, j'aimerais partager quelques conseils généraux.
- Afin d'exécuter un modèle mixte, les données doivent être organisées dans un format « grand et mince » dans lequel plusieurs mesures d'une réponse sont empilées dans une seule colonne. Si vos données sont au format « court et large », utilisez la fonction JMP Tables Empiler à transposer.
- Suivre la Exigences de structure de covariance répétée JMP lors de la saisie des colonnes Répété et Objet.http://www.jmp.com/support/help/Launch_the_Mixed_Model_Personality.shtml#1013652
- Essayez différentes structures de covariance et évaluez différents modèles en comparant AICc ou BIC. Plus l’AICc (ou BIC) est petit, meilleur est l’ajustement d’un modèle.Toutes choses égales par ailleurs , un modèle parcimonieux est préférable.
- Un modèle d'erreurs indépendant (c'est-à-dire un modèle avec uniquement des effets fixes) peut servir de modèle de base pour effectuer un test du rapport de vraisemblance χ2 sur l'existence d'une structure de covariance e.
- Gardez à l’esprit que lorsque des effets aléatoires et des effets répétés sont inclus dans un modèle, les données sont souvent insuffisantes pour estimer les deux effets.
