Bonjour,
nous avons une société pharmaceutique qui a besoin d'une documentation de notre part (wite paper, publication scientifique, ...) pour justifier la technique de modélisation qu'elle utilise (en fonction des sorties utilisées Lasso, sélection avant, sélection avant en deux étapes). Pour le moment, j'ai suggéré que la sélection basée sur l'AICc était la bonne justification, mais je me demandais si nous avons une documentation qui pourrait les aider.
Emmanuel
@clay_barker
Pour utiliser l'AICc, il y a l'excellent livre de Burnham et Anderson "Model Selection and Multimodel Inference".Dans le livre, ils expliquent comment l'AICc est un guide très polyvalent pour les décisions sur les variables / effets à inclure et également pour guider les décisions sur la distribution des réponses à utiliser.Ils ont le livre, que vous pouvez commander, mais les auteurs ont également des monographies disponibles gratuitement qui transmettent les mêmes informations.
Une chose qui est très sous-estimée est la façon dont les procédures classiques, en particulier les valeurs p, en particulier, sont un très mauvais guide pour la sélection de modèles. Les raisons pour cela sont nombreuses. La première est que les valeurs p font l'hypothèse critique que le modèle testé est le seul qui était censé être utilisé lors de la planification de l'étude. Toute procédure de sélection, du Lasso, à la sélection avant, à la sélection manuelle arrière en éliminant les termes avec des valeurs p «grandes», enfreint cette hypothèse dès que le premier changement est apporté au modèle.Une fois qu'une seule modification a été apportée au modèle à l'aide d'un algorithme de sélection, le comportement des p-values n'est plus défini.
Un autre problème majeur est que les valeurs p ne peuvent pas être utilisées pour comparer des modèles qui ne sont pas ordonnés, en ce qu'un modèle est une simplification ou un cas particulier de l'autre (comme un modèle étant le même que l'autre, mais avec certains coefficients mis à zéro ).Ainsi, un modèle avec deux effets principaux et une interaction entre eux ne peut pas être comparé en utilisant des méthodes basées sur la valeur p à un modèle avec trois effets principaux et aucune interaction, car un modèle ne contient pas l'autre.
Une lacune très importante et sous-estimée est que vous ne pouvez pas utiliser les valeurs p pour comparer différentes distributions. Par exemple, si les données sont strictement positives, vous devez considérer les distributions gamma et log-normales, en plus de l'ajustement des moindres carrés. Le `` caractère positif '' de la réponse signifie qu'il doit y avoir mathématiquement des termes de courbure qui sont actifs là où la moyenne est petite, dans un ajustement des moindres carrés, mais ces distributions non normales peuvent gérer la frontière à zéro sans nécessairement avoir besoin de courbure. Ainsi, vous pouvez souvent obtenir un meilleur ajustement avec moins de termes en ajustant des modèles avec différentes distributions de réponse. L'utilisation de l'AICc (et / ou du BIC) pour guider la décision concernant la distribution de la réponse et les effets importants est statistiquement valable et facile à exploiter pour le praticien avec un minimum de formation.
Cette dernière question du choix des distributions est importante et nécessite quelques commentaires secondaires. La première est que la distribution des réponses * doit * être décidée en parallèle avec la structure des effets. C'est une erreur * majeure * d'utiliser la plate-forme de distribution pour décider d'abord de la distribution, en ignorant les effets, puis d'aller à GenReg pour décider de la structure des effets en fonction de la recommandation de Distribution. Clay Barker a des présentations Discovery à ce sujet. Par exemple, supposons que vous ayez un facteur à deux niveaux et qu'il y ait vraiment une différence de moyenne entre les niveaux. La plate-forme de distribution vous dira que la distribution de réponse est un mélange gaussien 2. Mais, une fois le facteur incorporé dans le modèle, il est probable qu'une distribution gaussienne (sans mélange) soit la bonne réponse.
Le deuxième aspect de ceci est l'utilisation des distributions comme une manière plus raisonnée de résoudre le problème qui était résolu par la transformation de la réponse.Autrefois, vous essayiez de modéliser à l'échelle naturelle, puis de modéliser à l'échelle log-transformée, puis de prendre une sorte de décision basée sur des graphiques diagnostiques et autres. Vous ne pouviez pas comparer les SSE des modèles sur les deux échelles parce qu'ils étaient dans des unités différentes, ce qui signifiait que les RSquares étaient également non comparables. D'un autre côté, il est parfaitement fondé et juste d'utiliser la sélection avant et l'AICc sur la distribution normale (ce qui est une autre façon de dire les moindres carrés), puis de faire la même chose en utilisant la distribution logNormal, et de faire la comparaison finale en utilisant l'AICc.
Quoi qu'il en soit, beaucoup de ces concepts sont clarifiés par Burnham et Anderson, ainsi que leur raisonnement pour les règles empiriques pour comparer les AICc.Le livre est destiné aux personnes titulaires d'un diplôme en sciences ou en génie. Les auteurs sont des écologistes. Donc, il devrait être compréhensible pour une grande partie des utilisateurs de JMP, et n'est pas un tome abstrait de statistiques théoriques obscures.
Peut-être pour ajouter sur le sujet, ils analysent leurs DOE avec GenReg et pour leurs clients et autorités, ils doivent justifier pourquoi ils ont utilisé quelle méthode pour cette analyse DOE, comme l'a dit Emmanuel, par exemple en utilisant Lasso pour un RSM DOE. Pourquoi ont-ils utilisé Lasso sur Forward ou Elastic Net.
Y a-t-il une publication à laquelle on pourrait se référer pour qu'ils puissent soumettre ce document de référence avec leur analyse?
@clay_barker @ chris_gotwalt1
