Combinaison de modèlesSi j'ai appris une chose de Discovery Summit Americas cette année, c'est à quel point il est courant de faire la moyenne et/ou de créer des modèles d'ensemble, quelque chose dont j'avais entendu parler mais que je n'avais jamais envisagé (étant un novice en modélisation). J'ai donc décidé de le faire. Faire un modèle d'ensemble est facile; J'ai enregistré le modèle en tant que formule de prédiction et je l'ai simplement inclus en tant que prédicteur dans le prochain cycle de sélection de modèle (à l'aide de l'écran de modèle de JMP Pro 16). Ce qui semblerait plus simple, la moyenne des modèles, me déroute. Si je trouve deux modèles que j'aime, enregistrez les deux en tant que formules de prédiction dans ma table de données, puis créez une nouvelle colonne dans laquelle ils sont combinés, il semble que la probabilité soit combinée, mais la formule n'est pas dans une syntaxe dans laquelle je pourrait l'appliquer à de nouvelles données (il ne montre que la moyenne des probabilités). Si je publie les deux modèles sur Formula Depot, je peux les moyenner de cette façon assez facilement, c'est donc ma solution de contournement actuelle, mais ne devrais-je pas AUSSI pouvoir les moyenner dans le tableau lui-même ? Je pense que le problème pourrait être que, parce que la formule de prédiction a une formule ET une probabilité, lorsque je vais les combiner, seule la probabilité est moyennée, lorsque je veux réellement faire la moyenne des formules elles-mêmes. Puis-je faire la moyenne des deux d'une manière qui me permettrait de copier cette formule moyenne dans une nouvelle table de données et de la tester avec de nouvelles données ? Sinon, Formula Depot a été conçu pour faire exactement cela, donc ce n'est pas grave. Je veux juste avoir quelques options ! Peut-être que je supprime simplement la partie probabilité à l'endroit où SEULE la formule est laissée dans la cellule d'information de la colonne ?
AnalytiqueRe: Combiner des modèlesD'après votre description, il semble que vous souhaitiez faire la moyenne des prédictions (discrètes) plutôt que des probabilités (continues).Je ne l'ai pas vu faire de cette façon.Il existe une technique, la prédiction conforme, qui est conçue pour voir à quel point les prédictions sont robustes à partir d'un modèle.Mais ce que vous décrivez ressemblerait à ceci : supposons qu'il y ait 2 classes à prédire et que vous les codez comme continues, 0 et 1. Supposons que vous ayez 3 modèles : 2 d'entre eux prédisent un 0 pour un cas particulier et 1 prédit un 1 Ensuite, votre "moyenne" produirait un résultat de 1/3 que je suppose que vous considéreriez comme la probabilité d'obtenir un 1. Idée intéressante mais je ne suis pas sûr de la base statistique d'une telle approche.De plus, il semble que cela se limiterait aux classifications binaires (bien que ce ne soit qu'une limite).Je serai curieux de voir quelles autres réponses vous obtiendrez.
Re: Combiner des modèlessalut @abmayfield ,
J'ai aimé votre discours, j'ai dû le regarder à la demande, je n'ai pas pu assister au visionnage en direct et aux questions-réponses.
Normalement, vous seriez en mesure de faire la moyenne des colonnes de prédiction si vous faites une formule de régression typique - quelque chose qui est numérique. Vous prendriez simplement la moyenne des deux. Mais, puisque vous travaillez avec une valeur catégorique oui ou non (ou même peut-être), cela devient plus compliqué car il doit transformer les entrées numériques X en une fonction logistique qu'il trouve ensuite la probabilité et compare les résultats avec un IfMax( ) fonction.
Prenons par exemple le fichier Big Class. Si vous essayez de prédire :sexe avec :height et :weight, vous obtenez une fonction de sortie logistique, dans mon exemple, j'essaie de prédire sexe = M. Il existe cependant des fonctions intermédiaires qui sont utilisées pour déterminer le Prob[M] et le Prob[F]. La fonction linéaire est juste cela, quelque chose comme Lin[M] = a + b*:hauteur + c*:poids, où a, b et c ne sont que des coefficients d'ajustement. Pour obtenir les probabilités JMP utilise ensuite la transformation 1/(1_exp(-Lin[M])) pour Prob[M] et 1/(1+exp(Lin[M]) pour Prob[F], qui est juste 1- Prob[M]. Le résultat le plus probable est alors MaxIf(Prob[M]=>M, Prob[F]=>F) et quel que soit le Prob[y] le plus grand est le résultat le plus probable, M ou F.
Dans votre cas, si vous travaillez avec des résultats catégoriques, je pense que vous devrez faire la moyenne des fonctions Lin[Y] afin de les transformer ensuite en probabilité. C'est la fonction linéaire qui correspond aux données, pas la fonction de probabilité, c'est pourquoi vous devez faire la moyenne avant de transformer la fonction linéaire.
Si vous pouvez changer votre résultat en une réponse continue, alors une simple moyenne des formules de prédiction est simple. Tant que le type de modélisation est nominal ou ordinal, JMP le traitera comme des niveaux discrets et effectuera une modélisation logistique à chaque fois.
Une idée que j'avais juste à utiliser une échelle continue est de représenter le pourcentage de blanchiment dans une zone donnée. Disons que vous évaluez 100 cm^2 (un patch de 10cmx10cm) de corail et déterminez qu'environ 2cmX3cm (ou 6cm^2) sont blanchis, alors le pourcentage de blanchiment serait de 60%. En procédant de cette façon, vous pourriez obtenir une représentation plus précise de la quantité de blanchissement d'un spécimen de corail et vous disposez maintenant d'une réponse continue qui peut être modélisée par régression vs classification.
J'espère que cela t'aides!,
DS
PS Le sommet de la découverte était super. J'ai aimé beaucoup de discussions. De plus, je mets à jour mon interface graphique pour générer automatiquement les tables de réglage en fonction des entrées de l'utilisateur. Je vous ferai savoir quand la nouvelle version sera prête. Cela devrait aider à automatiser encore plus le processus en générant une conception de remplissage d'espace avec le nombre d'exécutions que vous souhaitez effectuer.
Re : Combiner des modèlesOui! Je crois, comme d'habitude, que vous avez raison concernant la nature étrange d'essayer de prédire une variable catégorique, dans laquelle vous avez effectivement besoin de deux équations, ce qui rend les choses plus délicates. Ce que j'espère faire, c'est éventuellement avoir une taille d'échantillon suffisamment grande pour que j'aie un vrai gradient, soit 1-10, 1-5 ou 1-100, l'idée étant la même : 1 = terrible, le plus grand nombre = grand . Même dans ce cas, j'ai soit deux catégories (résistant au blanchiment vs sensible au blanchiment) soit parfois trois (les deux premières + "intermédiaire"). Je pourrais jouer avec les recoder en 1, 50 et 100 pour sensible, intermédiaire et résistant, respectivement, et voir quels types de résultats j'obtiens. Je pense que plus j'obtiens et analyse d'échantillons, plus il est logique que mon Y soit une variable continue. Avec 20 échantillons avec lesquels je joue actuellement, je n'ai pas assez de données pour aller au-delà de 2-3 bacs essentiellement. Mais ce sera intéressant de voir si mes modèles sont très différents lorsque je recoderai mes classifications catégorielles en une variable continue. Cela rendrait sûrement toute la construction de modèles plus transparente. Et en réalité, dans la nature, ce ne sera PAS aussi simple que "en bonne santé" contre "malade" ; Je m'attends à trouver un gradient qui couvre un spectre de santé comme vous le verriez chez les humains (par exemple, ce que vous voyez dans l'ensemble de données sur le diabète du JMP). La chose amusante à propos de cet exercice, cependant, en ce qui concerne le score de probabilité, c'est que je n'ai jamais vraiment regardé ces choses-là; Je suis allé directement à la "conjecture" de JMP. Mais maintenant, regarder les probabilités réelles est super intéressant parce que c'est finalement ce que je veux signaler : le corail A a 95 % de chances de blanchir. Ainsi, grâce à cet exercice de calcul de la moyenne de modèles, j'ai accidentellement découvert des nuances intéressantes que j'avais totalement manquées auparavant ! Et comme je l'ai déjà dit, même si je suis "coincé" avec des réponses catégorielles pour le moment, la fonction de moyenne du modèle de Formula Depot fonctionne bien pour cela.
Vous serez heureux de savoir que, grâce à votre interface graphique, il existe plus de 20 000 modèles de réseaux de neurones (21 450, mais qui compte ?!) dans mon article récemment soumis (qui décrit essentiellement la phase 1 = l'expérience de laboratoire). De toute évidence, seule une poignée a réussi tous les contrôles de qualité, avec encore moins de discussions approfondies dans le texte, mais il était extrêmement utile de voir quels paramètres NN sont essentiellement les plus importants à régler pour moi. De plus, je veux construire le modèle le plus simple et (potentiellement) le plus parcimonieux, donc si un NN a deux couches cachées, chacune avec trois nœuds d'activation, alors qu'un deuxième modèle a une couche avec NTANH(3), toutes choses étant égales par ailleurs, je Je choisirais ce dernier, même si je suppose que ce n'est pas vraiment critique puisque même le plus simple est assez complexe. Une chose que j'ai cherché à apprendre cette année à Discovery, ce que j'ai fait grâce à Chris Gotwalt, est de savoir si les mesures d'importance variable sous le NN Profiler peuvent être utilisées pour vous dire essentiellement quels analytes ont été les plus influents dans le modèle. L'ancienne règle était que les NN sont une boîte noire, et il est beaucoup trop compliqué de déterminer quelles variables de réponse étaient les plus importantes, mais je suis heureux de voir que ce n'est pas tout à fait vrai. Sont-ils difficiles à interpréter ? Oui. Pouvez-vous dire que le comportement d'une protéine évolue d'une manière particulière et facilement définie avec le pouvoir prédictif du modèle ? Peut être pas. Mais si un biologiste moléculaire me demandait : "Quelles protéines de corail étaient les plus importantes dans votre meilleur modèle NN", je pourrais au moins en énumérer quelques-unes parmi la fonction d'importance variable du profileur NN. C'est en fait pourquoi j'ai choisi de discuter du modèle gen-reg dans mon exposé ; Je n'étais pas sûr de pouvoir "faire confiance" au profileur pour un NN (!), mais maintenant je vois que je peux. Quoi qu'il en soit, c'est pourquoi, en tant que novice en modélisation, je profite autant de ce genre de symposiums. Merci encore pour votre réponse bien pensée et toute votre aide en général.
