Apprenez-en plus dans notre cours en ligne gratuit :
Pensée statistique pour la résolution de problèmes industriels
Dans cette vidéo, nous montrons comment ajuster un modèle de régression pénalisé à l'aide de la régression généralisée dans JMP Pro. Nous utilisons le fichier Bodyfat 07.jmp et ajustons un modèle pour % Fat en utilisant le Lasso avec validation.
Tout d'abord, nous ajustons un modèle de régression linéaire pour % Fat.
Pour ce faire, nous sélectionnons Ajuster le modèle dans le menu Analyser. Nous sélectionnons % Fat pour le rôle Y, sélectionnons tous les prédicteurs comme effets de modèle et utilisons la colonne de validation dans le rôle Validation.
Ensuite, nous sélectionnons Régression généralisée dans le menu Personnalité.
La distribution de réponse par défaut est Normale.Nous allons exécuter ce modèle avec la distribution normale.
Vous pouvez voir que nous avons ajusté un modèle de régression standard des moindres carrés. Lorsque nous examinons le tableau Estimations des paramètres, vous pouvez voir que trois des prédicteurs sont significatifs.
Cependant, examinons les VIF, ou facteurs d'inflation de la variance, pour voir s'il y a un problème de multicolinéarité.
Pour ce faire, cliquez avec le bouton droit de la souris sur le tableau Parameter Estimates et sélectionnez Columns, puis VIF. Vous pouvez voir que bon nombre de ces valeurs sont supérieures à 10 et que deux des valeurs sont supérieures à 100. Cela nous indique que la multicolinéarité est en effet un problème avec ces données.
Lorsque vous avez des prédicteurs corrélés, vous pouvez utiliser une méthode d'estimation pénalisée au lieu de la régression des moindres carrés.
La méthode par défaut est le Lasso, qui est l'abréviation de Least Absolute Shrinkage and Selection Operator. Le Lasso applique une pénalité pour réduire les estimations des paramètres. Parce qu'il peut réduire les estimations à zéro, le Lasso peut également être utilisé pour la sélection de variables.
Il existe de nombreuses options disponibles pour le Lasso, mais nous exécuterons le modèle avec les valeurs par défaut.
Nous avons utilisé une colonne de validation lorsque nous avons spécifié le modèle, donc la colonne de validation est la méthode de validation par défaut.
Nous allons cliquer sur Go pour exécuter ce modèle.
Le meilleur modèle, sélectionné par le Lasso, est affiché. Il s'agit du modèle avec la valeur optimale du paramètre de pénalité, Lambda.
Commençons par tous les termes du modèle. C'est la même chose que notre modèle des moindres carrés. Pour ce faire, nous faisons glisser la ligne rouge dans le chemin de la solution des estimations de paramètres tout le chemin vers la droite.
Le chemin de la solution montre l'ampleur des estimations des paramètres centrés et mis à l'échelle. Pour afficher ces estimations, nous sélectionnons Rapports de régression dans le triangle rouge du modèle, puis Estimations des paramètres pour les prédicteurs centrés et mis à l'échelle.
La ligne du haut correspond à l'estimation du paramètre pour l'abdomen, qui est de 117,87.
La deuxième ligne à partir du haut est l'IMC. Cette estimation est de 88,9.
Lorsque nous faisons glisser la ligne rouge de droite à gauche, nous augmentons la valeur du paramètre de pénalité, Lambda. Vous pouvez voir qu'au fur et à mesure que nous faisons cela, de nombreuses estimations de paramètres deviennent plus petites. C'est-à-dire qu'ils rétrécissent.
Par exemple, l'estimation de l'IMC est passée de 88,9 à 51,25. L'estimation du paramètre pour le poids est tombée à zéro. Ce terme est retiré du modèle.
Ici, une grosse pénalité a été appliquée. Tout a été retiré du modèle sauf la taille et l'abdomen.
Comment déterminez-vous quand arrêter de supprimer des termes du modèle ? Autrement dit, comment déterminons-nous la valeur optimale du paramètre de pénalité ?
Ce modèle a été créé à l'aide d'une colonne de validation. JMP utilise donc une statistique appelée log-vraisemblance négative mise à l'échelle.
Le modèle est construit à partir des données de l'ensemble d'apprentissage. Le meilleur modèle est celui qui a la valeur minimale du log-vraisemblance négatif mis à l'échelle pour l'ensemble de validation.
Ce modèle comprend plusieurs paramètres. Les estimations pour le poids, l'IMC, la cuisse et le genou ont été supprimées du modèle.
Regardons ce modèle réduit. Pour ce faire, nous sélectionnons Afficher l'expression de prédiction dans le triangle rouge du modèle.
Les estimations des paramètres sont simplement des coefficients dans un modèle linéaire, tout comme vous obtiendriez si vous aviez ajusté un modèle de régression linéaire multiple.
Cela rend les modèles pénalisés faciles à interpréter et à expliquer.
