Willkommen zurück bei Analytics With Confidence. In dieser Serie untersuche ich den Schlüssel zum Erfolg moderner Datenanalyse: Validierung. In der erste Beitrag, Ich habe mit Ron Kenett und Chris Gotwalt über die Notwendigkeit der Generalisierbarkeit gesprochen. In diesem Beitrag sehen Sie die Probleme mit Modellen, die nicht verallgemeinern. Dazu müssen wir uns den Schutz in JMP hacken, der verhindert, dass Sie Modelle „überanpassen“.
Reaktionsrezepte – Eine Fallstudie aus Wissenschaft und Technik
Lassen Sie uns dies mit einer Fallstudie über die Untersuchung Tausender Variationen eines Rezepts zur Herstellung eines hochwertigen chemischen Produkts verwirklichen [1]. Die Reaktion erfordert fünf kritische Zutaten:
Reaction schematic hand-drawn by me . Don't worry if you are not a chemist - the important thing is there are lots of different possible recipes.Reaktionsschema von mir handgezeichnet. Machen Sie sich keine Sorgen, wenn Sie kein Chemiker sind – das Wichtigste ist, dass es viele verschiedene mögliche Rezepte gibt.
Für jede davon stehen mehrere Varianten zur Auswahl: vier Elektrophile, drei Nucleophile, 12 Liganden, acht Basen und vier Lösungsmittel:
Das bedeutet, dass es 4608 mögliche Rezepte gibt (4 x 3 x 12 x 8 x 4). Welche Kombination der Zutatenauswahl bringt uns den höchsten Ertrag (die vollständigste Umwandlung in das Endprodukt)? Warum? Die „besten“ Zutaten könnten aus Sicherheits- oder Umweltgründen zu teuer oder unerwünscht sein, und es könnte andere Optionen geben, die uns ähnlich hohe Erträge bringen könnten.
Wir haben Daten, die uns helfen, diese Fragen zu beantworten. Wir haben 150 der möglichen Rezepturen getestet und die prozentuale Ausbeute ermittelt. Diese zu visualisieren ist ein guter Anfang:
Die Rezepte, die eine schlechte Ausbeute ergaben, sind in kräftigem Rosa, und die Reaktionen mit höherer Ausbeute sind grün. Der umgebende weiße Raum stellt alle Rezepte dar, die noch nicht ausprobiert wurden. Es ist bei so vielen Variablen nicht leicht zu erkennen, aber das Trifluoroborat-Nucleophil scheint zu geringeren Ausbeuten zu führen (rechtes Drittel). Die Rezepte mit den anderen Nukleophilen und 6-IQ als Elektrophil (oben links) sind im Allgemeinen besser.
Interaktive Verteilungsdiagramme in JMP zeigen, was die Rezepte mit der höchsten Ausbeute gemeinsam haben:
Aber es ist immer noch schwierig, alle Muster zwischen den Eingaben oder „Prädiktoren“ (hier in Blau) und dem %Yield-Ergebnis oder der „Antwort“ (in Orange) in einem komplexen System wie diesem zu erkennen.
Eine Entscheidungsbaum- oder „Partitions“-Analyse ist die Grundlage für einige der beliebtesten Methoden des maschinellen Lernens für Big-Data-Situationen. Der Algorithmus sucht nach der besten Möglichkeit, alle Beobachtungen (hier Rezepte) mit einer der Prädiktorvariablen in zwei Teile aufzuteilen. Die „beste“ Aufteilung weist den größten Unterschied in der durchschnittlichen Antwort zwischen den beiden Zweigen auf.
You can launch the Partition platform from Analyze > Predictive Modeling. Sie können die Partitionsplattform über Analysieren > Vorhersagemodellierung starten.
Hier stellen wir fest, dass Nucleophile die beste Aufteilung mit einer durchschnittlichen Ausbeute von 49,3 % für Boronsäureester oder Boronsäure und 23,4 % für Trifluoroborat aufweist. Dies sagt uns, dass die Wahl des Nukleophils wichtig ist, gibt uns aber keine genauen Vorhersagen. Wenn wir Boronic Ester oder Boronic Acid verwenden, sagt das Modell eine Ausbeute von 49,3 % voraus. Aus den tatsächlichen Werten im obigen Bild können wir ersehen, dass wir Renditen irgendwo im Bereich von 0 bis fast 100 % erwarten könnten! Und es sagt nichts über die Auswirkung der anderen Faktoren auf den Ertrag aus:
Wir können das Modell verbessern, indem wir den Partitionierungsalgorithmus für jeden neuen Zweig wiederholen. Der R Quadrat ist ein nützliches Maß, um zu verfolgen, wie sich die „Anpassung“ des Modells verbessert. Es sagt uns, wie viel Variation in unserer Reaktion durch die Auswirkungen der Faktoren im Modell erklärt wird. Je näher er an 1 liegt, desto mehr Variation wird durch das Modell erklärt.
Der RSquare steigt von 0,204 auf 0,442 mit einem zweiten Split. Nach 24 Splits beträgt er 0,825:
An diesem Punkt hindert uns JMP daran, weiter aufzuteilen, da wir die Grenze der minimalen Aufteilungsgröße von 5 erreicht haben. Dies ist eine der Leitplanken in JMP, um zu verhindern, dass Sie dumme Modelle erstellen. Für dieses Beispiel setzen wir die Mindestgröße auf 1 und teilen weiter.
You can change the minimum size split from the red triangle menu.Sie können die Mindestgrößenaufteilung im roten Dreiecksmenü ändern.
Nach 97 Splits können wir nicht mehr splitten und der RSquare beträgt 0,985, was bedeutet, dass unser Modell 98,5 % der Ertragsvariation erfasst. Wir können sehen, wie RSquare mit zunehmender Modellkomplexität mit der Split History zugenommen hat:
Das Modell ist jetzt viel komplexer, wie wir am Vorhersageprofiler sehen können:
Wir könnten das Modell verwenden, um den Ertrag für Rezepte vorherzusagen, die wir nicht getestet haben, um das Rezept zu optimieren und um zu verstehen, wie sich das Ändern von Rezepten auf den Ertrag auswirkt. Wir können ableiten, welche Prädiktoren am wichtigsten sind, und wir können sehen, wie die Faktoren miteinander interagieren.
Wie gut ist dieses Modell?
Wir können aus dem RSquare- und dem Actual versus Predicted-Plot sehen, dass das Modell sehr gut zu den Daten passt. Das heißt, das Modell macht meistens genaue Vorhersagen der Ausbeuten der Rezepte, die zum Trainieren des Modells verwendet wurden.
Aber verallgemeinert es? Sollten wir bei den Rezepten, die wir nicht getestet haben, auf Vorhersagen vertrauen?
In diesem Fall können wir diese Frage direkt beantworten, da alle 4.608 möglichen Rezepturen mit einem automatisierten Hochdurchsatz-Screening-Experiment durchgeführt wurden. Die 150 Rezepte, die wir verwendet haben, wurden von mir nur zufällig aus den vollständigen Daten zur Veranschaulichung ausgewählt. Die Heatmap für die Modellvorhersagen zeigt einige Ähnlichkeiten mit den tatsächlichen Erträgen, aber auch deutliche Unterschiede.
Das Diagramm der tatsächlichen % Ausbeute aller 4.608 Rezepte im Vergleich zu den Vorhersagen des Partitionsmodells sieht nicht sehr gut aus:
Ach nein! Das Verteilungsmodell prognostizierte Ausbeuten nahe 100 % für mehrere Rezepte, die tatsächlich Ausbeuten nahe 0 hatten (unten rechts im Diagramm). Der RQuadrat ist 0,5. Offensichtlich lässt sich dieses „Overfit“-Modell überhaupt nicht gut verallgemeinern.
Im nächsten Beitrag werden wir sehen, wie die Validierung und einige der anderen Tools in JMP Pro uns dabei helfen können, verallgemeinernde Vorhersagemodelle zu erstellen, sodass Sie Analysen vertrauensvoll anwenden können.
[1] Daten von Perera D, Tucker JW, Brahmbhatt S, Helal CJ, Chong A, Farrell W, Richardson P, Sach NW. Eine Plattform für automatisiertes Reaktions-Screening im Nanomol-Maßstab und Synthese im Mikromol-Maßstab im Durchfluss. Wissenschaft. 26. Januar 2018;359(6374):429-434. doi: 10.1126/science.aap9112. PMID: 29371464. Die abgetasteten und vollständigen Datensätze sind als JMP-Datentabellen beigefügt.
