Bienvenue dans Analytics With Confidence. Dans cette série, j'explore la clé du succès avec l'analyse de données moderne : la validation. Dans le premier article, j'ai parlé avec Ron Kenett et Chris Gotwalt de la nécessité de généraliser. Dans cet article, nous verrons les problèmes liés aux modèles qui ne se généralisent pas. Pour ce faire, nous devons contourner les protections de JMP qui vous empêchent de « surajuster » les modèles.
Recettes de réaction – Une étude de cas issue de la science et de l'ingénierie
Rendons cela réel avec une étude de cas sur l'étude de milliers de variantes d'une recette pour fabriquer un produit chimique de grande valeur [1]. La réaction nécessite cinq ingrédients essentiels :
Reaction schematic hand-drawn by me . Don't worry if you are not a chemist - the important thing is there are lots of different possible recipes.Schéma de réaction dessiné à la main par moi. Ne vous inquiétez pas si vous n'êtes pas chimiste, l'important est qu'il existe de nombreuses recettes possibles.
Pour chacun d'entre eux, vous avez le choix entre plusieurs variantes : quatre électrophiles, trois nucléophiles, 12 ligands, huit bases et quatre solvants :
Cela signifie qu'il y a 4608 recettes possibles (4 x 3 x 12 x 8 x 4). Quelle combinaison de choix d'ingrédients nous donnera le rendement le plus élevé (la conversion la plus complète en produit final) ? Pourquoi? Les « meilleurs » ingrédients peuvent être trop chers ou indésirables pour des raisons de sécurité ou d’environnement, et il peut exister d’autres options qui pourraient nous donner des rendements tout aussi élevés.
Nous disposons de données pour nous aider à répondre à ces questions. Nous disposons de 150 recettes possibles qui ont été testées et le pourcentage de rendement déterminé. Les visualiser est un bon début :
Les recettes qui ont donné un faible rendement sont en rose vif et les réactions à rendement plus élevé sont en vert. L'espace blanc environnant représente toutes les recettes qui n'ont pas été essayées. Ce n'est pas facile à voir avec autant de variables, mais le nucléophile Trifluoroborate semble entraîner des rendements inférieurs (tiers de droite). Les recettes utilisant les autres nucléophiles et le 6-IQ comme électrophile (en haut à gauche) sont généralement meilleures.
Les diagrammes de distribution interactifs dans JMP montrent ce qui est commun aux recettes les plus performantes :
Mais il est encore difficile de voir tous les modèles entre les entrées ou « prédicteurs » (en bleu ici) et le résultat ou « réponse » en % de rendement (en orange) dans un système complexe comme celui-ci.
Un arbre de décision ou une analyse de « partition » constitue la base de certaines des méthodes d'apprentissage automatique les plus populaires pour les situations de Big Data. L'algorithme recherche la meilleure façon de diviser toutes les observations (recettes ici) en deux en utilisant l'une des variables prédictives. La « meilleure » répartition présente la plus grande différence dans la réponse moyenne entre les deux branches.
You can launch the Partition platform from Analyze > Predictive Modeling.Vous pouvez lancer la plateforme de partition depuis Analyse > Modélisation prédictive.
On constate ici que la meilleure répartition se situe sur le Nucléophile, avec un rendement moyen de 49,3% pour l'Ester Boronique ou Acide Boronique, et de 23,4% pour le Trifluoroborate. Cela nous indique que le choix du nucléophile est important mais ne nous donne pas de prédictions précises. Si l'on utilise de l'Ester Boronique ou de l'Acide Boronique, le modèle prédit un rendement de 49,3 %. À partir des valeurs réelles du visuel ci-dessus, nous pouvons voir que nous pouvons nous attendre à des rendements compris entre 0 et presque 100 % ! Et cela ne nous dit rien sur l’effet des autres facteurs sur le rendement :
Nous pouvons améliorer le modèle en répétant l’algorithme de partitionnement sur chaque nouvelle branche. Le RSquare est une mesure utile pour suivre l’amélioration de « l’ajustement » du modèle. Cela nous indique dans quelle mesure la variation de notre réponse s’explique par les effets des facteurs du modèle. Plus il est proche de 1, plus le modèle explique la variation.
Le RSquare passe de 0,204 à 0,442 avec une seconde division. Après 24 fractionnements, il est de 0,825 :
À ce stade, JMP nous empêche de diviser davantage car nous avons atteint la limite de la taille minimale de division de 5. C'est l'un des garde-fous de JMP pour vous empêcher de créer des modèles idiots. Pour cet exemple, nous définirons la taille minimale sur 1 et continuerons à diviser.
You can change the minimum size split from the red triangle menu.Vous pouvez modifier la taille minimale à partir du menu du triangle rouge.
Après 97 fractionnements, nous ne pouvons plus fractionner, et le RSquare est de 0,985, ce qui signifie que notre modèle capture 98,5 % de la variation du rendement. Nous pouvons voir comment RSquare a augmenté avec la complexité croissante du modèle avec l'historique fractionné :
Le modèle est désormais beaucoup plus complexe, comme le montre le profileur de prédiction :
Nous pourrions utiliser le modèle pour prédire le rendement des recettes que nous n'avons pas testées afin d'optimiser la recette et de comprendre comment le changement de recette affecte le rendement. Nous pouvons déduire quels prédicteurs sont les plus importants et voir comment les facteurs interagissent les uns avec les autres.
Quelle est la qualité de ce modèle ?
Nous pouvons voir sur le graphique RSquare et le graphique Réel versus Prédit que le modèle s'adapte très bien aux données. Autrement dit, le modèle fait principalement des prédictions précises sur les rendements des recettes utilisées pour entraîner le modèle.
Mais est-ce que cela se généralise ? Devons-nous avoir confiance dans les prédictions concernant les recettes que nous n’avons pas testées ?
Dans ce cas, nous pouvons répondre directement à cette question car les 4 608 recettes possibles ont été exécutées à l’aide d’une expérience de criblage automatisé à haut débit. Les 150 recettes que nous avons utilisées ont été échantillonnées au hasard par moi à partir des données complètes à titre d'illustration. La carte thermique des prédictions du modèle montre une certaine similitude avec les rendements réels, mais également des différences évidentes.
Le graphique du % de rendement réel des 4 608 recettes par rapport aux prédictions du modèle de partition ne semble pas très bon :
Oh non! Le modèle de partition prévoyait des rendements proches de 100 % pour plusieurs recettes dont les rendements étaient en réalité plus proches de 0 (en bas à droite de la parcelle). Le RSquare est de 0,5. Il est clair que ce modèle de « surajustement » ne se généralise pas du tout.
Dans le prochain article, nous verrons comment la validation et certains autres outils de JMP Pro peuvent nous aider à créer des modèles de prédiction qui se généralisent afin que vous puissiez appliquer des analyses en toute confiance.
Apprendre encore plus:
[1] Données de Perera D, Tucker JW, Brahmbhatt S, Helal CJ, Chong A, Farrell W, Richardson P, Sach NW. Une plate-forme pour le criblage automatisé de réactions à l’échelle nanomolaire et la synthèse en flux à l’échelle micromolaire. Science. 26 janvier 2018;359(6374):429-434. est ce que je : 10.1126/science.aap9112. PMID : 29371464. Les ensembles de données échantillonnés et complets sont joints sous forme de tableaux de données JMP.
