Bienvenue dans Analytics en toute confiance. Dans cette série, j'explore la clé du succès avec l'analyse de données moderne : la validation. Dans le premier message, J'ai parlé avec Ron Kenett et Chris Gotwalt du besoin de généralisation. Dans ce post verrons les problèmes avec les modèles qui ne généralisent pas. Pour ce faire, nous devons contourner les protections de JMP qui vous empêchent de "suradapter" les modèles.
Recettes de réaction - Une étude de cas de la science et de l'ingénierie
Rendons cela réel avec une étude de cas sur l'étude de milliers de variantes d'une recette pour fabriquer un produit chimique de grande valeur [1]. La réaction nécessite cinq ingrédients essentiels :
Reaction schematic hand-drawn by me . Don't worry if you are not a chemist - the important thing is there are lots of different possible recipes.Schéma de réaction dessiné à la main par moi. Ne vous inquiétez pas si vous n'êtes pas chimiste, l'important est qu'il existe de nombreuses recettes différentes.
Pour chacun d'entre eux, vous avez le choix entre plusieurs variantes : quatre électrophiles, trois nucléophiles, 12 ligands, huit bases et quatre solvants :
Cela signifie qu'il y a 4608 recettes possibles (4 x 3 x 12 x 8 x 4). Quelle combinaison de choix d'ingrédients nous donnera le rendement le plus élevé (la conversion la plus complète vers le produit final) ? Pourquoi? Les « meilleurs » ingrédients peuvent être trop chers ou indésirables pour des raisons de sécurité ou environnementales, et il peut y avoir d'autres options qui pourraient nous donner des rendements tout aussi élevés.
Nous avons des données pour nous aider à répondre à ces questions. Nous avons 150 des recettes possibles qui ont été testées et le pourcentage de rendement déterminé. Les visualiser est un bon début :
Les recettes qui ont donné un mauvais rendement sont en rose vif et les réactions à haut rendement sont en vert. L'espace blanc environnant représente toutes les recettes qui n'ont pas été essayées. Ce n'est pas facile à voir avec autant de variables, mais le nucléophile trifluoroborate semble entraîner des rendements inférieurs (tiers droit). Les recettes utilisant les autres nucléophiles et le 6-IQ comme électrophile (en haut à gauche) sont généralement meilleures.
Les diagrammes de distribution interactifs dans JMP montrent ce qui est commun aux recettes les plus performantes :
Mais il est encore difficile de voir tous les modèles entre les entrées ou « prédicteurs » (en bleu ici) et le résultat ou la « réponse » (en orange) %Yield dans un système complexe comme celui-ci.
Un arbre de décision ou une analyse de « partition » est à la base de certaines des méthodes d'apprentissage automatique les plus populaires pour les situations de mégadonnées. L'algorithme recherche la meilleure façon de diviser toutes les observations (recettes ici) en deux en utilisant l'une des variables prédictives. La « meilleure » répartition a la plus grande différence dans la réponse moyenne entre les deux branches.
You can launch the Partition platform from Analyze > Predictive Modeling. Vous pouvez lancer la plateforme de partition depuis Analyze > Predictive Modeling.
Ici, nous constatons que la meilleure répartition est sur le nucléophile, avec un rendement moyen de 49,3 % pour l'ester boronique ou l'acide boronique, et de 23,4 % pour le trifluoroborate. Cela nous indique que le choix du nucléophile est important mais ne nous donne pas de prédictions précises. Si nous utilisons l'ester boronique ou l'acide boronique, le modèle prédit un rendement de 49,3 %. À partir des valeurs réelles du visuel ci-dessus, nous pouvons voir que nous pouvons nous attendre à des rendements allant de 0 à presque 100 % ! Et cela ne nous dit rien sur l'effet des autres facteurs sur le rendement :
On peut améliorer le modèle en répétant l'algorithme de partitionnement sur chaque nouvelle branche. Le R Carré est une mesure utile pour suivre l'amélioration de l'« ajustement » du modèle. Il nous indique dans quelle mesure la variation de notre réponse est expliquée par les effets des facteurs du modèle. Plus il est proche de 1, plus la variation est expliquée par le modèle.
Le RSquare passe de 0,204 à 0,442 avec un second split. Après 24 divisions, il est de 0,825 :
À ce stade, JMP nous empêche de fractionner davantage car nous avons atteint la limite de la taille minimale de fractionnement de 5. C'est l'un des garde-fous de JMP pour vous empêcher de créer des modèles idiots. Pour cet exemple, nous allons définir la taille minimale sur 1 et continuer à diviser.
You can change the minimum size split from the red triangle menu.Vous pouvez modifier la répartition de la taille minimale dans le menu du triangle rouge.
Après 97 fractionnements, nous ne pouvons plus fractionner et le RSquare est de 0,985, ce qui signifie que notre modèle capture 98,5 % de la variation de rendement. Nous pouvons voir comment RSquare a augmenté avec l'augmentation de la complexité du modèle avec l'historique de fractionnement :
Le modèle est maintenant beaucoup plus complexe, comme nous pouvons le voir sur le profileur de prédiction :
Nous pourrions utiliser le modèle pour prédire le rendement de recettes que nous n'avons pas testées afin d'optimiser la recette et de comprendre comment le changement de recette affecte le rendement. Nous pouvons déduire quels prédicteurs sont les plus importants et nous pouvons voir comment les facteurs interagissent les uns avec les autres.
Quelle est la qualité de ce modèle?
Nous pouvons voir à partir du RSquare et du graphique Réel versus Prédit que le modèle s'adapte très bien aux données. Autrement dit, le modèle fait principalement des prédictions précises des rendements des recettes qui ont été utilisées pour former le modèle.
Mais généralise-t-il ? Doit-on se fier aux prédictions des recettes que nous n'avons pas testées ?
Dans ce cas, nous pouvons répondre directement à cette question car les 4 608 recettes possibles ont été exécutées à l'aide d'une expérience de criblage automatisé à haut débit. Les 150 recettes que nous avons utilisées ont été échantillonnées au hasard par moi à partir des données complètes à titre d'illustration. La carte thermique des prévisions du modèle montre une certaine similitude avec les rendements réels, mais également des différences évidentes.
Le graphique du pourcentage de rendement réel de toutes les 4 608 recettes par rapport aux prédictions du modèle de partition ne semble pas très bon :
Oh non! Le modèle de partition a prédit des rendements proches de 100 % pour plusieurs recettes qui avaient en fait des rendements plus proches de 0 (en bas à droite du graphique). Le RScarré est de 0,5. Il est clair que ce modèle de « surajustement » ne se généralise pas bien du tout.
Dans le prochain article, nous verrons comment la validation et certains des autres outils de JMP Pro peuvent nous aider à créer des modèles de prédiction qui se généralisent afin que vous puissiez appliquer des analyses en toute confiance.
[1] Données de Perera D, Tucker JW, Brahmbhatt S, Helal CJ, Chong A, Farrell W, Richardson P, Sach NW. Une plateforme pour le criblage automatisé de réactions à l'échelle nanomoléculaire et la synthèse à l'échelle micromoléculaire en flux. Science. 26 janvier 2018;359(6374):429-434. doi : 10.1126/science.aap9112. PMID : 29371464. Les ensembles de données échantillonnés et complets sont joints en tant que tableaux de données JMP.
