Willkommen zurück bei Analytics With Confidence. In dieser Serie erkunde ich den Schlüssel zum Erfolg moderner Datenanalysen: Validierung. Im ersten Beitrag habe ich mit Ron Kenett und Chris Gotwalt über die Notwendigkeit der Generalisierbarkeit gesprochen. In diesem Beitrag werden wir auf die Probleme mit Modellen eingehen, die sich nicht verallgemeinern lassen. Dazu müssen wir die Schutzmaßnahmen in JMP umgehen, die eine „Überanpassung“ von Modellen verhindern.
Reaktionsrezepte – Eine Fallstudie aus Wissenschaft und Technik
Lassen Sie uns dies mit einer Fallstudie über die Untersuchung tausender Variationen eines Rezepts zur Herstellung eines hochwertigen chemischen Produkts Wirklichkeit werden lassen [1]. Die Reaktion erfordert fünf entscheidende Zutaten:
Reaction schematic hand-drawn by me . Don't worry if you are not a chemist - the important thing is there are lots of different possible recipes.Von mir handgezeichnetes Reaktionsschema. Machen Sie sich keine Sorgen, wenn Sie kein Chemiker sind – wichtig ist, dass es viele verschiedene mögliche Rezepte gibt.
Für jede davon stehen mehrere Varianten zur Auswahl: vier Elektrophile, drei Nukleophile, 12 Liganden, acht Basen und vier Lösungsmittel:
Das bedeutet, dass es 4608 mögliche Rezepte gibt (4 x 3 x 12 x 8 x 4). Welche Kombination der Zutatenauswahl führt zu der höchsten Ausbeute (der vollständigsten Umwandlung in das Endprodukt)? Warum? Die „besten“ Zutaten sind möglicherweise zu teuer oder aus Sicherheits- oder Umweltgründen unerwünscht, und es gibt möglicherweise andere Optionen, die uns ähnlich hohe Erträge liefern könnten.
Wir verfügen über Daten, die uns bei der Beantwortung dieser Fragen helfen. Wir haben 150 der möglichen Rezepte getestet und die prozentuale Ausbeute ermittelt. Dies zu visualisieren ist ein guter Anfang:
Die Rezepte, die eine schlechte Ausbeute ergaben, sind in kräftigem Rosa dargestellt, und die Reaktionen mit höherer Ausbeute sind in Grün dargestellt. Der umgebende weiße Raum stellt alle Rezepte dar, die noch nicht ausprobiert wurden. Bei so vielen Variablen ist das nicht leicht zu erkennen, aber das Trifluorborat-Nukleophil scheint zu geringeren Ausbeuten zu führen (rechtes Drittel). Die Rezepte mit den anderen Nukleophilen und 6-IQ als Elektrophil (oben links) sind im Allgemeinen besser.
Interaktive Verteilungsdiagramme in JMP zeigen, was die ertragsstärksten Rezepte gemeinsam haben:
Aber es ist immer noch schwierig, in einem komplexen System wie diesem alle Muster zwischen den Eingaben oder „Prädiktoren“ (hier in Blau) und dem %Yield-Ergebnis oder der „Antwort“ (in Orange) zu erkennen.
Eine Entscheidungsbaum- oder „Partitions“-Analyse ist die Grundlage für einige der beliebtesten Methoden des maschinellen Lernens für Big-Data-Situationen. Der Algorithmus sucht nach der besten Möglichkeit, alle Beobachtungen (Rezepte hier) mithilfe einer der Prädiktorvariablen in zwei Teile aufzuteilen. Die „beste“ Aufteilung weist den größten Unterschied in der durchschnittlichen Antwort zwischen den beiden Zweigen auf.
You can launch the Partition platform from Analyze > Predictive Modeling.Sie können die Partitionsplattform über Analysieren > Vorhersagemodellierung starten.
Hier stellen wir fest, dass die beste Aufteilung bei Nukleophilen erfolgt, mit einer durchschnittlichen Ausbeute von 49,3 % für Boronsäureester oder Boronsäure und 23,4 % für Trifluorborat. Dies zeigt uns, dass die Wahl des Nukleophils wichtig ist, liefert uns aber keine genauen Vorhersagen. Wenn wir Boronsäureester oder Boronsäure verwenden, sagt das Modell eine Ausbeute von 49,3 % voraus. Anhand der tatsächlichen Werte in der Abbildung oben können wir erkennen, dass wir mit Erträgen im Bereich von 0 bis fast 100 % rechnen können! Und es sagt uns nichts über die Auswirkung der anderen Faktoren auf den Ertrag:
Wir können das Modell verbessern, indem wir den Partitionierungsalgorithmus für jeden neuen Zweig wiederholen. Der RSquare ist ein nützliches Maß, um zu verfolgen, wie sich die „Passung“ des Modells verbessert. Es sagt uns, wie viel Variation in unserer Reaktion durch die Auswirkungen der Faktoren im Modell erklärt wird. Je näher es bei 1 liegt, desto mehr Variation wird durch das Modell erklärt.
Der RSquare erhöht sich mit einer zweiten Teilung von 0,204 auf 0,442. Nach 24 Splits beträgt er 0,825:
An diesem Punkt verhindert JMP eine weitere Aufteilung, da wir die Grenze der minimalen Teilungsgröße von 5 erreicht haben. Dies ist eine der Leitplanken in JMP, die verhindern soll, dass Sie alberne Modelle erstellen. Für dieses Beispiel setzen wir die Mindestgröße auf 1 und teilen weiterhin auf.
You can change the minimum size split from the red triangle menu.Sie können die Mindestgrößenaufteilung über das Menü mit dem roten Dreieck ändern.
Nach 97 Aufteilungen können wir nicht mehr aufteilen und der RSQuadrat beträgt 0,985, was bedeutet, dass unser Modell 98,5 % der Ertragsschwankung erfasst. Mit der Split History können wir sehen, wie RSquare mit zunehmender Modellkomplexität zugenommen hat:
Das Modell ist jetzt viel komplexer, wie wir am Vorhersageprofiler sehen können:
Wir könnten das Modell verwenden, um den Ertrag für Rezepte vorherzusagen, die wir nicht getestet haben, um das Rezept zu optimieren und zu verstehen, wie sich veränderte Rezepte auf den Ertrag auswirken. Wir können ableiten, welche Prädiktoren am wichtigsten sind, und wir können sehen, wie die Faktoren miteinander interagieren.
Wie gut ist dieses Modell?
Anhand des RSquare-Diagramms und des tatsächlichen versus vorhergesagten Diagramms können wir erkennen, dass das Modell sehr gut zu den Daten passt. Das heißt, das Modell macht größtenteils genaue Vorhersagen über die Erträge der Rezepte, die zum Trainieren des Modells verwendet wurden.
Aber lässt es sich verallgemeinern? Sollten wir uns auf Vorhersagen für die Rezepte verlassen können, die wir nicht getestet haben?
In diesem Fall können wir diese Frage direkt beantworten, da alle 4.608 möglichen Rezepte mithilfe eines automatisierten Hochdurchsatz-Screening-Experiments ausgeführt wurden. Die 150 Rezepte, die wir verwendet haben, wurden von mir zur Veranschaulichung zufällig aus den vollständigen Daten ausgewählt. Die Heatmap für die Modellvorhersagen zeigt einige Ähnlichkeiten zu den tatsächlichen Erträgen, aber auch offensichtliche Unterschiede.
Die Darstellung des tatsächlichen %-Ertrags aller 4.608 Rezepte im Vergleich zu den Vorhersagen des Partitionsmodells sieht nicht sehr gut aus:
Ach nein! Das Partitionsmodell prognostizierte Ausbeuten nahe 100 % für mehrere Rezepte, deren Ausbeuten tatsächlich näher bei 0 lagen (unten rechts im Diagramm). Der RSQuadrat beträgt 0,5. Offensichtlich lässt sich dieses „Overfit“-Modell überhaupt nicht gut verallgemeinern.
Im nächsten Beitrag werden wir sehen, wie die Validierung und einige der anderen Tools in JMP Pro uns dabei helfen können, Vorhersagemodelle zu erstellen, die verallgemeinern, sodass Sie Analysen mit Zuversicht anwenden können.
Erfahren Sie mehr:
[1] Daten von Perera D, Tucker JW, Brahmbhatt S, Helal CJ, Chong A, Farrell W, Richardson P, Sach NW. Eine Plattform für automatisiertes Reaktionsscreening im Nanomolmaßstab und Synthese im Mikromolmaßstab im Fluss. Wissenschaft. 26. Januar 2018;359(6374):429-434. doi: 10.1126/science.aap9112. PMID: 29371464. Die erfassten und vollständigen Datensätze sind als JMP-Datentabellen angehängt.
