Mike Clayton a écrit:
Merci. Je pense que le blog JMP pourrait utiliser une bonne discussion sur les histoires de "processus" qui génèrent généralement chacun des principaux types de distribution. Par exemple, la mesure de particules sur des plaquettes de verre ou de silicium a tendance à être très asymétrique, sans valeurs négatives. Cependant, les particules de mesure ajoutées ou supprimées avec les données avant et après ont des valeurs positives et négatives. Et simplement, les distributions de Poisson ou les distributions log-normales peuvent ne pas s'appliquer dans certains cas pour les données particulaires. Un chercheur a suggéré la distribution de Reynolds, par exemple. Chaque récit de processus peut générer une liste de distributions probables. Les données d'usine peuvent être généralement continues, alors que les données de service ont tendance à mélanger des données souvent catégoriques ou de comptage, parfois des pourcentages.
Une pénalité peut sérieusement gâcher votre journée. Oubliez de payer une facture à temps, et une pénalité de retard vous coûtera quelques dollars de plus. Lorsqu'un drapeau jaune frappe le terrain de football, une pénalité peut coûter cher à votre position de terrain d'équipe préférée, à de la vitesse et peut-être même à quelques points. Mais une pénalité n'est pas toujours une si mauvaise chose. En fait, lors de la construction d'un modèle de régression, une pénalité est une très bonne chose. Cet article présente la plate-forme de régression généralisée (nouvelle version de JMP Pro 11 ), ce qui nous permet d’adapter des modèles de régression pénalisés. Nous avons vu comment adapter des modèles similaires en utilisant un complément , mais la plate-forme de régression généralisée fournit beaucoup plus de fonctionnalités intégrées à JMP Pro.
Plausibilité maximum est l’un des chevaux de travail de la statistique et est un moyen populaire d’estimer les paramètres dans un modèle de régression. La fonction de vraisemblance nous indique la probabilité des réponses observées pour un ensemble de paramètres donné. Ainsi, l'estimateur de vraisemblance maximale nous donne les paramètres de régression qui maximisent la probabilité des données observées. La théorie de la vraisemblance nous fournit également une théorie permettant de tirer des conclusions sur nos paramètres de régression. Assez attrayant, non? Le maximum de vraisemblance est extrêmement puissant, mais il est plus approprié de savoir à l'avance quels prédicteurs appartiennent à notre modèle.
Éviter le surapprentissage
Lorsque nous avons des dizaines de prédicteurs ou plus et que nous ne savons pas lesquels inclure dans notre modèle, le maximum de vraisemblance a tendance à sur-adapter et n'est plus un choix aussi judicieux. Une suralimentation signifie que nous ajusterons bien les données observées, mais nous ferons un mauvais travail de prédiction de nouvelles observations. Les techniques de régression pénalisées peuvent nous aider à éviter la suralimentation lorsque nous sommes submergés par un grand nombre de facteurs prédictifs. Par régression pénalisée, nous entendons qu'au lieu d'optimiser notre fonction de vraisemblance habituelle, nous optimisons une fonction de la vraisemblance plus une pénalité sur l'ampleur des paramètres. L’optimisation de la probabilité pénalisée a un sens intuitif: nous voulons bien ajuster les données, mais nous ne voulons pas que le modèle devienne trop volumineux. La plate-forme de régression généralisée de JMP Pro nous permet d’adapter trois modèles de régression pénalisés populaires: Ridge Regression, le Lasso , et le Filet élastique . Ces trois techniques d'estimation nous permettent de construire des modèles de prévision qui prédiront bien pour de nouvelles observations. Lasso et Elastic Net effectuent également une sélection variable, ce qui nous permet de disposer d’un modèle plus facile à interpréter.
Plutôt que d'essayer de couvrir toutes les techniques d'estimation disponibles dans la plate-forme de régression généralisée, concentrons-nous simplement sur Elastic Net. Elastic Net effectue une sélection de variables et une estimation de paramètres simultanément. Et en prime, il gère les prédicteurs corrélés ( multicolinéarité ) bien. Les grands ensembles de données d'observation souffrent souvent de multicolinéarité. Elastic Net est donc un bon choix lorsque vous travaillez avec des données d'observation. Elastic Net pénalise la probabilité en utilisant un mélange de L1 et L2 normes :
où les bêtas sont nos coefficients de régression. La partie L1 de la pénalité entraîne une sélection variable tandis que la partie L2 de la pénalité aide à traiter la colinéarité. Ici, alpha et lambda sont appelés paramètres de réglage, et chaque combinaison des deux conduit à un ensemble différent d'estimations de paramètres de régression. JMP propose plusieurs options pour choisir la meilleure combinaison de paramètres de réglage en fonction de la qualité de l'ajustement, telles que validation croisée ou la BIC .
Exemple de films hollywoodiens
Essayons la plate-forme de régression généralisée avec un exemple tiré du dossier de données exemple de JMP. L'ensemble de données Hollywood Movies nous donne des informations sur la rentabilité d'un échantillon de films de 2011. Notre objectif est de prédire la rentabilité d'un film en fonction de plusieurs facteurs: Tomates pourries Score, score du public, studio principal (33 studios différents au total) et genre (romance, horreur, comédie, etc.). Il semble très improbable que tous ces facteurs aient réellement un impact sur la rentabilité. Nous souhaitons donc effectuer une sélection variable. Et nous devrions être préoccupés par le score d'audience et le score de tomates pourries étant fortement corrélés, car les auditoires ont tendance à être en accord avec les critiques. Elastic Net est donc un choix parfait pour ajuster ces données car il gère les prédicteurs corrélés et effectue une sélection variable. Ma femme et moi aimons aller au cinéma et vérifions souvent les partitions de Rotten Tomatoes avant de choisir un film. C’est donc l’un de mes ensembles de données préférés pour montrer JMP.
Pour accéder à la plate-forme de régression généralisée, nous lançons Fit Model et choisissons la régression généralisée dans le menu Personnalité (voir Figure 1). Après avoir spécifié nos colonnes et complété la boîte de dialogue de lancement, nous choisissons les méthodes d’estimation et de validation comme dans la Figure 2. Nous nous en tiendrons aux valeurs par défaut: Elastic Net avec validation BIC.
Figure 1: Lancement de la plateforme généralisée
Figure 2: Boîte de dialogue de lancement du modèle
La figure 3 montre une partie du rapport de régression généralisée, avec le tableau d'estimation des paramètres trié de sorte qu'il soit plus facile de repérer les coefficients non nuls. Le tracé du chemin de la solution nous fournit des informations sur la manière dont différentes variables sont entrées dans le modèle de régression. Chaque ligne du chemin représente une variable dans notre modèle et, à mesure que la pénalité diminue (de gauche à droite dans le graphique), de plus en plus de variables entrent dans le modèle.
Le rapport Estimation des paramètres nous indique que seuls trois prédicteurs ont des coefficients non nuls dans notre modèle final. Apparemment, ce fut une mauvaise année pour les dramatiques et une bonne année pour les films sortis par Sony. Et les films populaires auprès des critiques avaient tendance à être plus rentables, ce à quoi nous nous attendions probablement. Nous avons commencé avec environ 40 termes dans notre modèle et l'avons réduit à trois. Cela nous laisse avec un modèle facile à interpréter et qui prédira bien pour de nouvelles observations.
Figure 3: Rapport partiel pour l'exemple des films hollywoodiens
Je suis très enthousiasmé par la plate-forme de régression généralisée de JMP 11. La sélection de variables est l’un des problèmes les plus importants en matière de statistiques et JMP Pro dispose désormais d’outils plus puissants pour lutter contre ce problème. Et avez-vous remarqué à la figure 1 que nous avons choisi la distribution Gamma? Comme le nom de la plate-forme le suggère, la plate-forme de régression généralisée nous permet d'adapter des modèles linéaires généralisés. Cela signifie que nous pouvons faire une sélection de variable même lorsque la variable de réponse n'est pas normalement distribuée. Pour l'exemple de données de film, la distribution gamma est un bon choix car nous nous attendions à ce que la rentabilité ait une distribution asymétrique. La plate-forme de régression généralisée prend en charge diverses distributions sur la réponse: normale, binomiale (régression logistique), Poisson, binôme négatif, etc. Ainsi, la prochaine fois que vous devrez sélectionner des variables, essayez le réseau Elastic Net ou le lasso dans la plate-forme de régression généralisée.
