849792_fr-FR

liliconcom

Modèles mixtes linéaires avec JMP® Pro : une face, plusieurs saveurs

Modèles mixtes linéaires avec JMP® Pro : une face, plusieurs saveurs*

Jian Cao, Ph.D.

Institut SAS, Inc.

24 mars 2015

Bruxelles, Belgique

Abstrait

L'une des nouvelles fonctionnalités de JMP Pro 11 concerne les modèles mixtes. Cette nouvelle modélisation de la plateforme Fit Model permet d'ajuster divers modèles de régression à effets fixes et aléatoires, avec une structure de covariance appropriée. Qu'est-ce qu'un modèle mixte ? Quand et pourquoi ajuster un modèle mixte ? Et comment JMP ajuste-t-il un tel modèle ? Dans cet article, je tenterai de dissiper les idées reçues sur les modèles mixtes en 1) passant brièvement en revue le contexte statistique, 2) expliquant pourquoi les modèles mixtes fournissent de meilleures estimations et conséquences que l'ajustement des modèles de régression traditionnels aux données où les mesures d'une variable de réponse sont corrélées ou où une variable explicative clé est manquante, et 3) illustrant les modèles mixtes de JMP® Pro en ajustant différentes variantes de modèles mixtes largement utilisés dans des applications concrètes.

Remerciements : Je tiens à remercier Christopher Gotwalt et Laura Lancaster pour leur aide.

* Le matériel présenté dans ce document s’applique également à JMP Pro 12. L'amélioration clé du nouveau JMP Pro 12 est l'algorithme d'optimisation amélioré qui permet à JMP de s'exécuter plus rapidement que dans JMP Pro 11 pour les données volumineuses .

JMP Pro 11 a ajouté une nouvelle fonctionnalité de modélisation, le modèle mixte, à sa plateforme d'ajustement de modèles. Qu'est-ce qu'un modèle mixte ? Comment JMP ajuste-t-il un tel modèle ? Quelles sont les principales applications des modèles mixtes ? Dans cet article, je tenterai de dissiper les idées reçues sur les modèles mixtes et de démontrer les capacités de JMP à l'aide d'exemples concrets.

Qu'est-ce qu'un modèle mixte linéaire

Les modèles mixtes linéaires sont une généralisation des modèles de régression linéaire , y=Xβ +e. En étendant le modèle pour tenir compte des effets aléatoires, Z , le nouveau modèle devient y=Xβ+Z γ + ε. Il s'agit du modèle mixte linéaire car il y a à la fois des effets fixes, X, et des effets aléatoires, AVEC.

Les hypothèses suivantes sont faites pour laparamètres à effets aléatoires, γet erreur aléatoire ε:

(1) c et ε sont normalement distribuées, et (2) il n'y a pas de corrélations entre et ε. JMP fournit plusieurs structures couramment utilisées pourε. Les coefficients d'effet fixe , , et matrices de covariance pour et sont estimés conjointement par la méthode du maximum de vraisemblance restreint. L'ajustement des modèles mixtes nécessiteadonnées supplémentaires sur chaque unité de section transversale ou, en cas de modélisation de données spatiales, dimensions des mesures.Il existe des modèles mixtes pour les réponses distribuées non normales ou des modèles mixtes non linéaires; cependant, Je limite la portée de ma discussion aux modèles mixtes linéaires pris en charge dans JMP Pro.

Pourquoi les modèles mixtes

Lorsqu'il existe une corrélation entre les réponses ou une variable explicative importanteest manquant, le fait de ne pas en tenir compte conduit à des estimations biaisées des effets du traitement et d’autres facteurs.

Voici quelques cas d’utilisation courants pour les modèles mixtes :

• Permettrecoefficients
• Analyse des plans en blocs randomisés et des plans en parcelles divisées où les facteurs difficiles à modifier et faciles à modifier entraînent de multiples termes d'erreur ;
• Contrôle de l’hétérogénéité individuelle non observée sous forme d’effets aléatoires (c’est-à-dire des modèles de données de panel) ;
• Analyse des mesures répétéesoù les erreurs intra-sujet sont corrélées ;
• Réponses multiples corrélées car les mesures sont prises auprès des mêmes sujets ;
• Les sujets sont hiérarchisés (c'est-à-dire les élèves au sein des écoles). Ceci est connu sous le nom de modèle linéaire hiérarchique ou de modèles multi-niveaux ;
• Variabilité spatiale (c'est-à-dire régression géospatiale) ;

Avec JMP Pro, vous pouvez facilement spécifier et ajuster tous ces modèles à l'aide de l'interface pointer-cliquer et examiner les résultats de manière conviviale.

Étapes pour spécifier un modèle mixte dans JMP Pro

1. 1.Sélectionnez Analyser => Ajuster le modèle , puis choisissez Personnalité du modèle mixte ;
2. 2.Sélectionnez une variable de réponse continue dans votre tableau de données comme Y et construisez des effets fixes comme vous le feriez normalement avec un ajustement standard des moindres carrés ;

3A. Utilisez l’onglet Effets aléatoires pour spécifier des coefficients aléatoires ou des effets aléatoires ;

3B. Utilisez l’onglet Structure répétée pour sélectionner une structure de covariance pour les erreurs du modèle ;

1. 4. Cliquez sur Exécuter .

Je vais maintenant me tourner vers un exemple pour montrer quatre types différents de modèles mixtes : modèle à coefficients aléatoires, analyse de mesures répétées, modèle de données de panel etrégression géospatiale.

Exemple 1 : Modèles à coefficients aléatoires —permettant l'interception et les pentesvarier de manière aléatoire selon les sujets

Dans cet exemple, nous cherchons à estimer l'effet de l'humidité du sol avant semis sur le rendement du blé, tout en permettant à chaque variété de blé de présenter un écart aléatoire par rapport aux effets de population. Un modèle à coefficients aléatoires est donc nécessaire.L'expérience sélectionne au hasard 10 variétés de la population de blé et attribue à chacune d'ellessix parcelles de terrainAu total, 60 observations, avec 6 mesures de rendement pour chaque variété, sont collectées. (Les données « Blé » sont disponibles dans le répertoire des données d'échantillons de JMP.)

J'ai suivi les étapes décrites ci-dessus pour spécifier le modèle.Dans l'onglet Effets fixes , spécifiez l'humidité ainsi qu'une interception par défaut comme effets fixes.

Fit Model: Fixed EffectsModèle d'ajustement : effets fixesModèle d'ajustement : effets fixes

Ensuite, à partir de l'onglet Effets aléatoires , utilisez le bouton Coefficients aléatoires imbriqués pour demander une interception aléatoire et un effet d'humidité pour chaque variété. Fit Model: Random EffectsModèle d'ajustement : effets aléatoiresModèle d'ajustement : effets aléatoires

Enfin, dans l’onglet Structure répétée , sélectionnez Résiduel pour le terme d’erreur du modèle. Fit Model: Repeated Structures Modèle d'ajustement : structures répétées Modèle d'ajustement : structures répétées

La capture d'écran suivante présente les estimations des paramètres de covariance à effets aléatoires, les estimations des paramètres à effets fixes et les coefficients aléatoires . Examinons-les tour à tour.

L'estimation de la variance pour l'interception est de 18,89 avec une erreur type estimée à 9,11, donc le score z est de 2,07 (= 18,89/9,11). En utilisant la fonction de distribution normale de l'éditeur de formules JMP, nous pouvons trouver une valeur de p de 0,0192, indiquant que la variation du rendement de base entre les variétés est statistiquement significative. De même, la valeur de p pour Cov(Humidité, Interception) est de 0,3777, et la valeur de p pour Var(Humidité) est de 0,0380.

Le rapport des coefficients aléatoires donne le BLUP (Best un prédicteur linéaire non biaisé)Valeurs de la différence entre chaque variété et l'interception de la population et l'effet de l'humidité de la population, rapportés dans les estimations des paramètres à effets fixes. Pour la variété 1, l'effet de l'humidité estimé sur son rendement est de 0,61 (= 0,66-0,05), le rendement de base est de 34,39 (= 33,43+0,96) et l'équation de rendement prédite est

En combinant les effets fixes et les estimations de coefficients aléatoires, nous constatons un effet global significatif sur le rendement du blé en termes d'humidité et découvrons une variation significative de l'effet de l'humidité selon les différentes variétés.

Autres applications des modèles à coefficients aléatoires

Le modèle de croissance individuelle est un type de modèle à coefficients aléatoires dans lequell'effet du temps aléatoire estestimée pour chaque individu. Ceci est réalisé en spécifiant une variable continuevariable temporelle telle quejour ou mois comme effet aléatoire, etuCliquez sur le bouton Coefficients aléatoires imbriqués pour demander une pente séparée (c'est-à-dire une croissance) et une interception pour chaque individu.

Dans la recherche en éducation, les sujets sont souvent hiérarchisés. En ajoutant plusieurs groupes d'énoncés à effets aléatoires, vous pouvez adapter les modèles linéaires hiérarchiques/modèles multiniveaux .

Exemple 2 : Analyse des mesures répétées — prise en compte des erreurs corrélées

Les mesures répétées sont des mesures multiples d'une réponse, recueillies auprès des mêmes sujets au fil du temps. Dans cet essai clinique, les sujets (c'est-à-dire les patients) ont été répartis aléatoirement dans différents groupes de traitement. Le taux de cholestérol total de chaque sujet a été mesuré plusieurs fois au cours de l'essai.L’objectif de l’étude est de tester siDe nouveaux médicaments sont efficaces pour réduire le cholestérol.Ce qui distingue l'analyse des mesures répétées, c'est la corrélation des mesures au sein d'un même sujet. Ne pas en tenir compte conduit souvent à des conclusions erronées quant à l'effet du traitement. (Les données, Cholestérol empilé , sont disponibles dans le répertoire des données d'échantillons de JMP.)

JMP Pro propose trois structures de covariance couramment utilisées :

• Non structuré
• AR(1)(autorégressif du premier ordre) estime la corrélation entre deux mesures séparées d'une unité de temps. La corrélation diminue à mesure que l'écart de temps augmente.
• CS

La capture d'écran suivante montre la partie Effets fixes de l'analyse des mesures répétées, qui inclut Traitement , Mois , AM/PM et leurs interactions. Fixed effects part of the model Effets fixes faisant partie du modèle Effets fixes faisant partie du modèle

Je vais considérer trois structures de covariance différentes pour les erreurs intra-sujets. Commençons par la structure non structurée. AppliquerLa colonne Heure est définie comme « Répété » et la colonne Patient comme « Sujet » : cela définit les mesures répétées pour un sujet. Il est important de noter que JMP exige que la colonne Sujet ait une valeur unique et que la colonne « Répété » soit catégorique pour l'option « Non structuré » . Unstructured Covariance Structure Structure de covariance non structurée Structure de covariance non structurée

Les principaux rapports comprennent les estimations des paramètres de covariance des effets répétés,Estimations des paramètres à effets fixes,et Tests Tests à effets fixes . Results using Unstructured Résultats utilisant des résultats non structurés Résultats utilisant des résultats non structurés

Une façon de tester la significativité statistique des estimations de covariance consiste à calculer les scores z et à déterminer leurs valeurs de p, comme je l'ai fait dans l'exemple précédent du modèle à coefficients aléatoires. Cependant, nous pouvons vérifier les limites de confiance : si l'intervalle de confiance à 95 % d'une estimation de covariance inclut zéro, alors nous pouvons dire que l'estimation n'est pas statistiquement significative à partir de zéro.α=5 %. Comme nous pouvons le constater, les six estimations de variance sont significativement différentes de zéro, mais la plupartLes estimations de covariance ne le sont pas. Cela suggère qu'une structure parcimonieuse, telle que AR (1), devrait être envisagée.

Tests à effets fixesLe rapport montre un effet thérapeutique très significatif. Ctaux de cholestérolOn constate également que les températures varient considérablement d’un mois à l’autre et d’un matin à l’autre.

Ensuite, nous considérons AR(1) comme la structure de covariance des erreurs intra-sujets. Veuillez noter que la colonne « Répétition » utilisée dans AR(1) par JMP doit être une variable continue. Ainsi, « J ays » (nombre de jours depuis la date de début de l'essai à chaque mesure) est utilisé à la place de la variable catégorielle utilisée pour l'option UN. AR(1) Covariance Structure Structure de covariance AR(1) Structure de covariance AR(1)

Le rapport d'estimation du paramètre de covariance des effets répétés montre une corrélation intra-sujet hautement significative de 0,95. Les résultats des effets fixes sont similaires à ceux de l'option ONU (non illustrée) : l'effet du traitement et les effets temporels sont statistiquement significatifs. Results using AR(1) Résultats utilisant AR(1) Résultats utilisant AR(1)

Pour compléter notre exemple, ajustons le modèle avec une structure CS . Pour ce faire, sélectionnez « Résiduel » comme structure de covariance répétée . Inutile de spécifier les colonnes « Répété » et « Sujet » avec cette option ; nous ajoutons plutôt l'identifiant du sujet, Patient, comme effet aléatoire dans l'onglet « Effets aléatoires » .

wLa covariance intra-sujet est modélisée par l'ef du sujetparfait. CS Covariance Structure with random subject effect and residual error Structure de covariance CS avec effet aléatoire du sujet et erreur résiduelle Structure de covariance CS avec effet aléatoire du sujet et erreur résiduelle

Results using CSRésultats utilisant CSRésultats utilisant CS

À en juger par les limites de confiance de 95 %, la covariance entre deux mesures quelconques sur le même sujet n’est pas statistiquement significative àα=0,05 (en fait, valeur p= 0,0621). Les résultats des tests à effets fixes sont similaires à ceux des modèles précédents et ne sont donc pas présentés ici.

Alors, quelle structure répétée adopter ? Un critère de comparaison des modèles est l'AICc. D'après les statistiques d'ajustement rapportées par JMP (non présentées), les AICc sont : Non structurée — 703,84, AR(1) — 652,63 et CS — 832,55. AR(1) est donc le gagnant.

Exemple 3 : Modèles de données de panel – contrôle de l'hétérogénéité non observée

Cet exemple est tiré deVella et Verbeek (1998), qui est discuté dans Introduction à l'économétrie par Jeffrey Woodridge commeExemple 14.4. Voir les références ci-dessous pour plus d'informations.

Les données originales proviennent de l' Enquête longitudinale nationale sur les jeunes (NLSY79), cohorte de 1979. Dans ces données, chacun des 545 travailleurs masculins a travaillé chaque année de 1980 à 1987. Nous cherchons à estimer l'effet de l'affiliation syndicale sur les revenus salariaux, en tenant compte du niveau d'études, de l'expérience professionnelle, de l'origine ethnique, etc.

Bien que le modèle NLSY79 recueille des informations contextuelles détaillées sur les travailleurs, utilisées comme variables de contrôle, il existe néanmoins des différences individuelles qui ne peuvent être ni observées ni mesurées. Les données de panel permettent de prendre en compte l'hétérogénéité individuelle : si l'on peut supposer que l'hétérogénéité non observée n'est pas corrélée à l'ensemble des variables explicatives incluses dans le modèle, on peut la prendre en compte en la traitant comme un effet aléatoire.

Suite à la discussion de Woodridge, une équation Log(Wage) est ajustée dans laquelle l'ID du travailleur est saisi comme un effet aléatoire pour capturer les différences non observées. Fixed effects part of the Log(Wage) Equation Effets fixes faisant partie de l'équation Log(Salaire) Effets fixes faisant partie de l'équation Log(Salaire)

Random effects part of the Log(Wage) EquationEffets aléatoires faisant partie de l'équation Log(salaire)Effets aléatoires faisant partie de l'équation Log(salaire)

Je choisis Résiduel comme terme d'erreur de mode. Ce modèle est appelé modèle à effets aléatoires unidirectionnels en économétrie .

Les résultats sont présentés ci-dessous. Panel Model Results Résultats du modèle de panel Résultats du modèle de panel

À partir du rapport sur les estimations des paramètres de covariance des effets aléatoires, nous constatons que les individusL'hétérogénéité représente 47,8 % (= 0,11/(0,11+0,12)) de la variation totale, ce qui indique un important effet d'hétérogénéité non observé. En d'autres termes, une analyse par la méthode des moindres carrés ordinaires (MCO) produirait probablement des résultats trompeurs.

Le rapport sur les estimations des paramètres à effets fixes indique un taux de rendement de l'éducation estimé à 9,2 % et une prime syndicale de 10,5 %, deux valeurs statistiquement très significatives. À titre de comparaison, une méthode des MCO groupée estimerait la prime syndicale à 18,2 %. Voir Woodridge (2013, page 495).

Références

Francis Vella et Marno Verbeek (1998), « À qui les syndicats augmentent-ils les salaires ? Un modèle dynamique du syndicalisme et de la détermination des salaires des jeunes hommes », Journal of Applied Econometrics, vol. 13, n° 2, p. 163-183. Les données peuvent être téléchargées sur le site web de la revue.http://qed.econ.queensu.ca/jae/1998-v13.2/vella-verbeek/

Jeffrey M. Woodridge (2013),Économétrie introductive : une approche moderne (5e ^éd .),Apprentissage CENGAGE.

Exemple 4 : Modélisation des données géospatiales – prise en compte de la corrélation spatiale

Tout comme les mesures répétées sont corrélées dans le temps, les données spatiales sont probablement corrélées dans l'espace. Autrement dit, les mesures qui sontLes éléments relativement proches se ressemblent davantage que ceux qui sont plus éloignés. Il est donc nécessaire de prendre en compte la dépendance spatiale dans l'analyse.

Les données spatiales sont enregistrées avec des coordonnées telles queLatitude et longitude, positions des lignes et des colonnes, directions nord-sud et est-ouest. La distance entre deux mesures est calculée à l'aide d'une distance euclidienne. fonction, qui est utilisée pour former une structure de covariance. JeSi la fonction de distance ne dépend pas des directions des mesures, alors la covariance est diteisotrope;sinon c'est anisotrope .En outre,un effet pépite peut être ajouté pour tenir compte des changements brusques sur de petites distances dans une zone locale.

JMP Pro fournit quatredistance euclidienne Fonctions pour structures isotropes : puissance, exponentielle, gaussienne et sphérique. Différentes formes de structures anisotropes sont disponibles. Un effet pépite peut également être ajouté aux structures de covariance.

L'exemple suivant est tiré de SAS for Mixed Models, 2e édition , 2006, pp. 457-460.http://www.sas.com/store/prodBK_59882_en.htm). Afin d'étudier le drainage de l'eau sur un site d'élimination de déchets dangereux, 30 échantillons ont été prélevés à différents endroits du site et enregistrés selon leurs directions nord-sud et est-ouest. Une relation linéaire entre le drainage de l'eau (mesuré par la logarithme de la transmissivité) et l'épaisseur d'une couche de sel a été proposée.(TLes données, Déchets dangereux , sont l'ensemble de données 11.6 dans le fichier zippé

http://support.sas.com/publishing/bbu/59882/59882.zip.)

Un modèle de régression spatiale est ajusté à l'aide d'une structure de puissance anisotrope spatiale avec effet pépite. Cette structure permet (1) que la distance soit une fonction puissance de la corrélation spatiale, (2) que les corrélations spatiales diffèrent selon les directions et (3) que les variations se produisent sur de faibles distances. Spatial anisotropic power with nugget Puissance anisotrope spatiale avec pépite Puissance anisotrope spatiale avec pépite

Results using spatial anisotropic power with nuggetRésultats utilisant la puissance anisotrope spatiale avec pépiteRésultats utilisant la puissance anisotrope spatiale avec pépite

Estimation des paramètres de covarianceLe rapport suggère une corrélation spatiale hautement significative et que les deux coefficients de corrélation sont respectivement de 0,81 (Est-Ouest) et 0,91 (Nord-Sud). Cependant, il ne semble pas y avoir de pépite basée sur les limites de confiance. Les estimations des paramètres à effets fixes montrent un effet négatif significatif (-0,025) sur le drainage de l'eau de l'épaisseur du sel.

Je réaménage le modèle en supprimant l'effet pépite. Results using spatial anisotropic power without nugget Résultats utilisant la puissance anisotrope spatiale sans pépite Résultats utilisant la puissance anisotrope spatiale sans pépite

Nous constatons quelques changements mineurs : les corrélations spatiales estimées sont respectivement de 0,86 et 0,82, et l'effet de l'épaisseur du sel est de -0,021. En comparant la qualité de l'ajustement avec l'AICc, le second modèle est légèrement meilleur, car son AIC est plus petit (84,7 contre 86,4).

Pour tester formellement l'existence d'une corrélation spatiale, nous ajustons un modèle d'erreurs indépendantes en sélectionnant Résiduel comme structure (c'est-à-dire en supposant l'absence de corrélation spatiale). La différence de valeur de -2 Log de vraisemblance résiduelle entre les deux modèles forme un test de rapport de vraisemblance χ2. La -2 Log de vraisemblance résiduelle du modèle d'erreurs indépendantes est de 94,07, donc la différence est de 13,72 (= 94,07-80,35). Cela donne une valeur p de 0,001 pour DF=2. Par conséquent, une corrélation spatiale significative est trouvée à ce site.

Résumé

J'espère que ces exemples ont illustré la polyvalence des modèles mixtes linéaires et la facilité d'ajustement d'un modèle mixte avec JMP. Avant de conclure, j'aimerais partager quelques conseils généraux.

• Pour exécuter un modèle mixte, les données doivent être organisées selon un format « grand et fin », où plusieurs mesures d'une réponse sont empilées dans une seule colonne. Si vos données sont au format « court et large », utilisez la fonction Empiler de JMP Tables pour les transposer.
• Suivez les exigences de structure de covariance répétée JMP lors de la saisie des colonnes Répété et Sujet.http://www.jmp.com/support/help/Launch_the_Mixed_Model_Personality.shtml#1013652
• Essayez différentes structures de covariance et évaluez différents modèles en comparant l'AICc ou le BIC. Plus l'AICc (ou le BIC) est petit, meilleur est l'ajustement du modèle. Toutes choses égales par ailleurs , un modèle parcimonieux est préférable.
• Un modèle d'erreurs indépendant (c'est-à-dire un modèle avec uniquement des effets fixes) peut servir de modèle de base pour effectuer un test de rapport de vraisemblance χ2 sur l'existence d'une structure de covariance e.
• Gardez à l’esprit que lorsque des effets aléatoires et des effets répétés sont inclus dans un modèle, les données sont souvent insuffisantes pour estimer les deux effets.