Beaucoup de gens ont le sentiment d'avoir participé à tant de formations et d'avoir accumulé beaucoup d'expérience dans le travail réel, mais pourquoi mes résultats de modélisation ne sont-ils pas idéaux ? Aujourd'hui, nous parlerons des méthodes et des idées de modélisation prédictive dans l'analyse des données et utiliserons de petits cas pour vous aider à comprendre les éventuels malentendus et biais méthodologiques, afin que vous puissiez effectuer la modélisation et l'analyse plus facilement.
Qu’est-ce que la modélisation prédictive ?
Lorsqu’il s’agit de modélisation prédictive, les amis qui n’y connaissent pas grand-chose peuvent la trouver impénétrable. En fait, la modélisation de prédiction est omniprésente dans la vie. Par exemple, lorsque nous nous réveillons le matin et constatons que le temps est nuageux, nous prédisons qu'il pourrait pleuvoir aujourd'hui. Il s'agit d'une prédiction simple. En d'autres termes, lorsqu'un médecin voit un patient présentant divers symptômes, il prédit quel pourcentage du patient est susceptible d'avoir un rhume et quel pourcentage de la maladie représente le patient. Il s'agit également d'une prédiction.
Quels sont le cœur et les méthodes de la modélisation prédictive ?
Il existe de nombreuses méthodes de modélisation prédictive. Les méthodes traditionnelles incluent l'analyse de régression, telle que la régression linéaire, la régression polynomiale, la régression logistique, etc. ; les modèles de pénalité, tels que la régression de crête, la régression Lasso, etc. Les méthodes de modélisation basées sur l'apprentissage automatique, telles que les réseaux de neurones, les machines à vecteurs de support (SVM), les arbres de décision, les forêts aléatoires, les arbres boostés et d'autres méthodes, sans exception, offrent de nombreux choix aux analystes de données.
Mais quel que soit le type de modélisation prédictive utilisée, il s’agit essentiellement de trouver le meilleur modèle capable de véritablement restaurer la situation réelle et de découvrir un modèle réel. Mais dans la plupart des cas, le problème le plus important auquel nous sommes confrontés est peut-être le suivant : comment juger si le modèle est bon ou non ? Y a-t-il un surapprentissage ? Autrement dit, la question centrale la plus critique du modèle de prédiction est de savoir s’il peut atteindre l’équilibre optimal entre variation et déviation.
Quel est l’équilibre de variation et de déviation ? En termes simples, le modèle doit non seulement fonctionner correctement dans les données de l'ensemble d'entraînement utilisées pour la modélisation, mais également mieux fonctionner si les données collectées par un groupe différent de personnes sont utilisées. Par exemple, si le même médicament est pris par le premier groupe de personnes, l'efficacité peut atteindre 80 %, ce qui semble être très bon, mais si un autre groupe de personnes prend le médicament, l'efficacité du médicament peut n'être que de 30 %. . Cela montre que l'effet n'est pas si bon. L'effet réel devrait être le suivant : si (théoriquement) nous effectuons d'innombrables échantillonnages et échantillonnons une centaine de personnes à chaque fois, l'effet devrait être très stable dans ces innombrables échantillonnages, et l'effet de chaque échantillonnage sera très bon. Le soi-disant bon effet signifie que l'effet de prédiction du modèle est bon, le soi-disant stable signifie que le nombre de variations est faible et le soi-disant instabilité signifie que le nombre de variations est grand.
Cela semble facile à comprendre, mais en pratique, nous ne pouvons pas réaliser d'innombrables échantillonnages. Dans la plupart des cas, il n'y a qu'un seul échantillonnage. Alors, comment utiliser un seul échantillonnage pour évaluer la stabilité du modèle ? Cela nécessite l’utilisation de méthodes de validation croisée.
Qu’est-ce que la validation croisée ? Par exemple, disons que nous divisons la foule en plusieurs parties, en conservons certaines comme données d'entraînement, puis en conservons une partie comme données de vérification, puis extrayons certaines des autres pour les utiliser comme données d'entraînement. En bref, chaque donnée est extraite pour vérification, ce qu'on appelle la validation croisée. Toutes les données à vérifier ne sont pas des données utilisées pour la modélisation, les résultats sont donc plus convaincants.
Par exemple, s'il y a deux points, il est très simple de construire un modèle optimal : cette droite est un modèle optimal (l'écart est petit, en fait, son écart ici est de 0).
Comme le montre la figure, dans ces données, la ligne verte fonctionne évidemment moins bien que la ligne rouge (écart important). Cependant, lors de l'ajout de données de vérification, si la bleue est la donnée de vérification, vous constaterez que la rouge n'est pas nécessairement aussi bonne que la verte. Donc dans ce cas, la ligne rouge présente un petit écart mais une grande variation. Parce que vous semblez avoir uniquement le meilleur effet d'ajustement dans les données d'entraînement, mais si vous passez à un autre lot de données (données de validation), vous constaterez que l'effet d'ajustement devient immédiatement pire. Il semble que l'écart soit très faible, mais la variation est trop grande, ce n'est donc pas ce que nous recherchons. Ce que nous recherchons en réalité, c'est une variation qui doit être petite et l'écart doit être petit, ou du moins le trouver entre Il s’agit d’un compromis, ce qui constitue l’essence même de la modélisation prédictive. Comment trouver un tel compromis, utilisez généralement la validation croisée. Par conséquent, pour construire un bon modèle de prédiction, qu'il s'agisse d'un réseau de neurones, d'un arbre de décision, d'un SVM, etc., nous recherchons en fait un tel point de compromis.
D’un point de vue pratique, la modélisation prédictive consiste principalement à déterminer deux points.
- Déterminer quelles variables influencent les résultats . Parce que la prédiction doit trouver des variables à prédire. Par exemple, s'il y a une centaine de variables, toutes ces centaines de variables contribuent-elles à la prédiction ? Il faut donc d’abord déterminer quels indicateurs y contribuent.
- Quelle est la relation entre ces indicateurs contributifs et les résultats ? ?
En fait, dans la plupart des cas, beaucoup d'entre nous se concentrent sur la première variable qui affecte le résultat, mais en fait, peu de gens prêtent attention à la relation réelle entre ces variables et le résultat, en particulier dans les modèles de prédiction traditionnels. n'y prêtez pas attention, vous constaterez que de nombreux modèles construits sont en réalité invalides. À cet égard, les méthodes d'apprentissage automatique seront meilleures, car l'apprentissage automatique peut vous aider à trouver un point de division optimal, que les variables soient linéaires ou non linéaires.
Cependant, les modèles traditionnels sont légèrement inférieurs à cet égard, car la plupart des modèles traditionnels sont des modèles linéaires et ne peuvent pas gérer directement la non-linéarité. Les modèles traditionnels, tels que la régression linéaire, la régression logistique, etc., ne recherchent généralement que de petits écarts, mais les méthodes telles que la régression Lasso et le réseau élastique recherchent non seulement de petits écarts, mais également de petites variations, qui peuvent se situer entre les deux. l'équilibre, ces méthodes sont donc souvent très populaires maintenant car elles prennent en compte l'équilibre de l'écart et de la variation.
Alors, les méthodes traditionnelles de modélisation prédictive sont-elles obsolètes ? la réponse est négative.
Les réseaux de neurones, les machines à vecteurs de support, les arbres de décision, les forêts aléatoires, les arbres boostés et d'autres méthodes sont en effet des méthodes de pointe que beaucoup de gens aiment utiliser, mais la modélisation traditionnelle ne sera pas éliminée pour autant. En fait, cela a encore ses propres avantages.
Tout d’abord, tant que les variables sont transformées de manière appropriée, les modèles linéaires traditionnels peuvent également faire des prédictions non linéaires. Les méthodes de modélisation traditionnelles utilisent principalement certains modèles linéaires, dont la plupart peuvent être attribués à des modèles linéaires généralisés, faisant principalement certaines distinctions linéaires. Les méthodes d’apprentissage automatique peuvent présenter davantage d’avantages en matière de distinction non linéaire. Mais cela ne signifie pas que les modèles traditionnels ne doivent pas être capables de faire ces distinctions non linéaires. Bien sûr, pour construire des modèles de prédiction traditionnels, si vous mettez simplement les variables directement dans le logiciel, vous ne pourrez jamais faire de distinction non linéaire, car le modèle lui-même est linéaire et a été défini. Cependant, avec une certaine exploration et transformation de ces variables, une distinction non linéaire peut encore être obtenue.
Deuxièmement, le modèle de régression traditionnel est très intuitif. Dans le modèle de régression traditionnel, nous pouvons voir des estimations très claires des paramètres, des valeurs P et d'autres indicateurs qui préoccupent tout le monde. Si vous souhaitez lister le modèle, c'est très simple. Vous pouvez directement lister tous les modèles.
En revanche, pour le machine learning, notamment le deep learning, etc., il est quasiment impossible de lister un modèle (bien sûr, cela ne veut pas dire que ces modèles n'ont pas de formules, c'est juste qu'ils sont trop compliqués à lister). Il s’agit donc plutôt d’un processus de boîte noire. La boîte noire peut être imaginée comme une machine : vous mettez de la viande ici et des saucisses sortent par là. Mais vous ne savez pas comment le traiter au milieu. Peut-être que parfois vous voulez comprendre le processus de traitement intermédiaire, et vous constaterez que seule la machine peut comprendre les choses à l'intérieur. La machine sait très bien comment mettre en œuvre les étapes intermédiaires étape par étape, mais nous ne pouvons pas le comprendre car c'est trop compliqué. Par conséquent, nous ne voyons souvent qu’un processus de boîte noire, nous ne pouvons donc pas donner de formule claire.
Parfois, nous ne nous soucions pas de la formule et ne nous soucions que de l'effet de prédiction, mais parfois lorsque vous devez lister le modèle (par exemple, vous devez demander un brevet), si vous ne pouvez pas le décrire clairement, cela le fera être difficile de déposer une demande de brevet. À ce stade, vous aurez souvent besoin d’une formule claire pour vous aider.
En résumé, on ne peut pas dire si une méthode est dépassée, une méthode n'est pas dépassée ou dépassée, seulement si elle est adaptée ou non. C'est juste que certaines méthodes ont certaines conditions applicables lorsqu'elles sont appliquées. Quant à savoir quand utiliser quelle méthode, cela dépend principalement de la situation réelle. Par exemple, l'apprentissage automatique présente souvent de plus grands avantages lorsqu'il existe de nombreuses variables.
Ensuite, nous utilisons deux petits cas pour examiner l’application comparative des méthodes traditionnelles et de l’apprentissage automatique.
La logistique retour CONTRE réseau neuronal
Cas : Une étude a analysé les facteurs d'influence de l'hypertension (variable binaire, oui ou non) et a étudié le sexe, l'âge et 4 indicateurs sérologiques, représentés respectivement par A, B, C et D. Le chercheur prévoit de construire un modèle de prédiction utilisant les trois variables âge, B et C. Pour le même ensemble de données, nous utilisons respectivement la régression logistique et le réseau neuronal pour modéliser, puis examinons les résultats finaux.
Tout d'abord, nous utilisons la régression logistique pour construire un modèle de prédiction et intégrer directement ces trois variables continues dans le modèle. Les résultats montrent que l'aire sous la courbe ROC est de 0,6023, ce qui est en fait un résultat relativement faible, ce qui indique que le modèle qui peut être construit n’a pas beaucoup de signification pratique.
Ensuite, nous avons utilisé la technologie de réseau neuronal à deux couches pour incorporer directement ces trois variables (sur la base des résultats de l'ensemble d'entraînement), puis avons également obtenu une courbe ROC, qui s'est finalement avérée être d'environ 0,86.
À en juger par les résultats, vous pourriez penser que les réseaux de neurones sont meilleurs que les prédictions de régression logistique. En fait, cette conclusion n’est pas très fiable. pourquoi ? Cela a beaucoup à voir avec l'analyste. Si vous mettez les données directement dans le logiciel, comme la méthode de régression traditionnelle mentionnée ci-dessus est un modèle linéaire, le logiciel fonctionnera bien entendu de manière linéaire. Mais l’apprentissage automatique peut finalement trouver le meilleur effet d’ajustement et le meilleur effet de prédiction. En fait, la majeure partie de l’apprentissage automatique est un processus d’essais et d’erreurs continus, comparant constamment les résultats et s’ajustant constamment. Tout comme nous continuons d’essayer de commettre des erreurs, nous pouvons lentement obtenir un meilleur résultat grâce au processus d’essais et d’erreurs.
En prenant les données de tout à l'heure, si nous les analysons à nouveau en tant que statisticien, il semble que ces trois indicateurs n'ont effectivement aucun sens, donc lorsque nous incluons directement ces trois données continues dans l'analyse, il semble qu'il n'y ait vraiment pas de statistiques. signification scientifique, la courbe ROC est donc relativement faible.
Mais que trouve-t-on si on y regarde de plus près ? Étant donné que les trois variables ne sont pas liées de manière linéaire, les résultats n’auront naturellement aucune signification statistique. Si vous utilisez la classification, vous pouvez le voir très clairement.
Par conséquent, si vous mettez ces variables qui ne sont pas liées linéairement directement dans la régression logistique pour construire un modèle linéaire, vous pouvez imaginer que les résultats de prédiction obtenus ne sont certainement pas idéaux.
Si nous n'insérons pas les variables d'origine, mais ressaisissons les résultats de la classification en tant que variables dans le modèle, tout en utilisant la régression logistique pour réopérer, vous verrez que la courbe ROC devient immédiatement 0,86, ce qui est beaucoup plus élevé que la courbe ROC. 0,6 à l'instant.
pourquoi ? Parce que nous avons trouvé sa loi, les variables ne sont pas une relation linéaire, mais non linéaire. Après une telle classification non linéaire, vous constaterez qu'il s'agit en fait de sa véritable relation. Et une fois que vous aurez trouvé la relation, vous constaterez que les résultats du modèle deviendront beaucoup plus idéaux et que l'effet de prédiction sera bien meilleur.
Par conséquent, lorsque nous utilisons des modèles de régression traditionnels pour construire des modèles prédictifs, nous devons avoir plus d'expérience analytique, sinon nous pourrions conclure que « les modèles traditionnels ne sont vraiment pas aussi bons que l'apprentissage automatique et d'autres nouvelles technologies, et ne sont pas aussi bons que les machines ». Bien étudier" est une telle illusion. En fait, dans de nombreux cas, la chose la plus importante dans la construction d'un modèle n'est pas la méthode, mais l'analyste lui-même. Souvent, les problèmes que nous rencontrons ne sont pas des problèmes avec le modèle lui-même, mais plutôt parce que nous n'avons pas découvert leurs véritables lois.
La logistique retour CONTRE arbre de décision
De même, comparons la régression logistique et les arbres de décision.
Toujours le même cas ci-dessus. Prenons l'exemple de la variable âge. Si un arbre de décision est utilisé, l'âge est directement inclus dans le modèle en tant que variable continue, et l'arbre de décision le divisera automatiquement en trois catégories.
Après exploration, nous avons constaté qu’il est plus raisonnable de le diviser en trois catégories. Enfin, nous avons constaté que les résultats de notre propre exploration étaient similaires à ceux de l’arbre de décision.
Bien entendu, ce type d'analyse nécessite une certaine expérience de la part de l'analyste. Lorsque vous aurez effectué suffisamment de travail d'analyse de données, vous aurez naturellement de l'expérience dans une telle modélisation et analyse. Par conséquent, les analystes de données doivent être capables de distinguer clairement les modèles et de déterminer s'ils sont bons ou mauvais, sinon s'ils poursuivent aveuglément des méthodes dites avancées et s'éloignent de la réalité, juste pour rechercher l'effet approprié sur les données, cela être dénué de sens. de. Tous les modèles doivent s'appuyer sur la situation réelle de la recherche, et enfin doivent revenir au travail d'analyse réel et servir le travail réel.
basé sur JMP modélisation prédictive interactive
Qu’est-ce que l’interaction ? En général, l'interaction dans l'analyse des données signifie que l'ordinateur peut répondre à tout moment au contenu que l'opérateur ajuste à tout moment. Les logiciels traditionnels écrivent généralement une commande puis génèrent le résultat. Si vous souhaitez obtenir d'autres résultats, vous devez écrire une autre commande. Il s'agit d'un modèle commande-résultat.
Mais JMP peut non seulement passer de commandes en résultats, mais aussi de résultats en commandes : ces deux éléments sont de véritables interactions. Toute opération sur les données sera directement reflétée dans les résultats interactifs, et inversement, tout ajustement des résultats sera également directement reflété dans le tableau de données. En outre, JMP fournit non seulement diverses plates-formes d'analyse de régression traditionnelle, telles que la régression logistique, mais inclut également des plates-formes d'apprentissage automatique couramment utilisées telles que les réseaux de neurones, les forêts aléatoires, les arbres de décision, les arbres boostés, etc., et peut fournir une visualisation interactive. Cette méthode, sans programmation, peut répondre aux différents besoins du monde universitaire et de l’industrie en matière d’analyse de base, d’analyse exploratoire des données et de modélisation prédictive.
JMP Starter options for Predictive Modeling.. From JMP Pro VIEW>JMP STARTER.JMP Starter options for Predictive Modeling.. From JMP Pro VIEW>JMP STARTER.JMP Starter options for Predictive Modeling.. From JMP Pro VIEW>JMP STARTER.JMP Starter options for Predictive Modeling.. From JMP Pro VIEW>JMP STARTER.Options JMP Starter pour la modélisation prédictive. Depuis JMP Pro VIEW>JMP STARTER.
Si vous souhaitez en savoir plus sur la manière dont la modélisation prédictive interactive JMP peut mieux servir votre travail réel et sur la manière de mieux asseoir la réflexion sur l'analyse des données scientifiques, Bienvenue à télécharger Faites-en l'expérience par vous-même avec un essai gratuit d'une journée de JMP.
