Die Verarbeitung großer Datensätze stellt weiterhin besondere Herausforderungen dar, selbst im Zeitalter fortschrittlicher Algorithmen für maschinelles Lernen, die riesige Datenmengen verarbeiten können. Die Analyse massiver Datensätze mittels Brute-Force-Verfahren kann zu Ineffizienzen, Überanpassung des Modells, Rauschakkumulation und abnehmenden Erträgen durch das Hinzufügen weiterer Daten führen.
Intelligentes Subsampling, bei dem ein repräsentativer Teil der Daten ausgewählt wird, ermöglicht oft einen gezielteren und aufschlussreicheren Ansatz. Subsampling fördert besser interpretierbare Modelle, da die reduzierte Datenmenge die Beziehungen zwischen den Variablen vereinfacht. Aus diesen Gründen sollte intelligentes Subsampling für eine Vielzahl von Anwendungen, darunter Materialwissenschaften, biomedizinische Forschung, Umweltmodellierung, Marktanalyse und Sozialwissenschaften, bevorzugt werden.
Aber warum mit roher Gewalt vorgehen, wenn es auch intelligenter geht? Anhand einer interaktiven Demonstration der neuesten Funktionen von JMP Pro im Bereich der komplexen Materialformulierung zeigt diese Präsentation, dass ein gut konzipierter Subsampling-Ansatz in Kombination mit klassischen und fortgeschrittenen Modellierungstechniken (multilineare Regression, neuronale Netze, SVM, generalisierte Regression) zu robusten Vorhersagen führen kann.
Hallo. Vielen Dank, dass Sie sich diese Präsentation für die Europe Discovery Summit Konferenz 2025 ansehen. Mein Name ist Damien Perret. Ich bin Wissenschaftler in der Forschung und Entwicklung bei CEA in Frankreich und präsentiere heute gemeinsam mit Carole Soual, Statistikerin bei Ippon Innovation. Wir freuen uns sehr, heute hier zu sein, und möchten uns beim Lenkungsausschuss bedanken, der uns die Möglichkeit gegeben hat, über diese Arbeit zu sprechen. Es geht um einen intelligenten Subsampling-Ansatz für prädiktive Modellierung.
Beginnen wir mit ein paar Worten zum CEA. Das CEA ist eine französische Regierungsorganisation für Forschung, Entwicklung und Innovation in vier Bereichen: kohlenstoffarme Energien, digitale Technologien, Medizintechnologien der Zukunft sowie Verteidigung und Sicherheit.
Das CEA zählt rund 21.000 Mitarbeiter an neun Standorten. Wir pflegen enge Beziehungen zu Universitäten durch verschiedene gemeinsame Forschungseinheiten, verfügen über eine hohe Anzahl an Patenten und fördern die Gründung von Start-ups mit einem Budget von rund sechs Milliarden Euro.
Ippon Innovation ist ein Unternehmen von Datenwissenschaftlern, das sich darauf spezialisiert hat, der Industrie fortschrittliche Algorithmen bereitzustellen. Ziel ist es, Fertigungskosten und Testzeiten zu optimieren, die Qualität komplexer Produkte zu verbessern und selbst kleinste Signale in großen Datenmengen zu erkennen. Wir bieten Beratungsleistungen, Schulungen und bedarfsgerechte, fortgeschrittene Studien an. Zu unseren Projekten zählen unter anderem kundenspezifische statistische Lösungen und fortschrittliche Tools, von denen einige patentiert sind.
Die Motivation für diese Arbeit liegt darin, dass die Verarbeitung großer Datensätze trotz der Fähigkeit moderner Algorithmen des maschinellen Lernens, große Datenmengen zu verarbeiten, weiterhin Herausforderungen darstellt. Anstatt Brute-Force-Verfahren auf massive Datensätze anzuwenden, was aus verschiedenen Gründen zu einer Verschlechterung der Vorhersage führen kann, halten wir intelligentes Subsampling für einen aufschlussreicheren Ansatz, der zudem zu besser interpretierbaren Modellen führt. Wir zeigen hier eine Anwendung in der Materialwissenschaft, doch wir können uns vorstellen, dass dieser Ansatz auch auf neue Anwendungsgebiete, selbst außerhalb der Physik und Chemie, übertragbar ist.
Für alle, die 2021 an der Präsentation dieser Studie teilgenommen haben, wurde eine Vorschau vorgestellt, um den Ansatz zu erläutern. Der Ansatz wurde in den letzten vier Jahren deutlich verbessert, und die Vorhersagekraft der Methode hat sich signifikant erhöht. Deshalb möchten wir Ihnen unsere neuesten Ergebnisse präsentieren.
Unser Hauptziel in dieser Arbeit ist die Entwicklung eines durchdachten Subsampling-Verfahrens, das – wie Sie sehen werden – mit klassischen und fortgeschrittenen Modellierungstechniken kombiniert wird, um robuste Vorhersagen zu ermöglichen. Dazu wollten wir die Algorithmen in JSL codieren und in JMP Pro 18 implementieren.
Im heutigen Beispiel zeigen wir, wie diese Methodik zur Vorhersage der Glasschmelzviskosität angewendet wurde. Die Zielgröße des Modells ist somit die Glasviskosität. Die Einflussfaktoren sind die Gewichtsprozente der Glasoxide, und unsere Datenbank enthält sowohl kommerzielle als auch proprietäre Datensätze.
Vereinfacht gesagt ist Glas ein nichtkristallines Material, das durch schnelles Abschrecken entsteht und aus verschiedenen Oxiden besteht. Die Anzahl der Oxide variiert von 2 oder 3 in sehr einfachen Gläsern bis zu etwa 30 und sogar noch mehr in komplexeren Zusammensetzungen.
Ein wichtiger Aspekt der Glasviskosität ist die sehr große Schwankungsbreite, die ihre Vorhersage erschwert. Die Glasviskosität reagiert zudem sehr empfindlich auf die Zusammensetzung, und Mechanismen wie die Kristallisation beeinflussen die Rheologie der Schmelze maßgeblich.
Eine gute Analogie zum Verhalten von Lava in der Geologie veranschaulicht den komplexen Zusammenhang zwischen Kristallisation und Viskosität. Bei hohen Temperaturen ist Lava eine viskose und homogene Flüssigkeit, ähnlich einer Schmelze aus Oxidglas. Sinkt die Lavatemperatur, kommt es in der Regel zu einer schnellen und massiven Kristallisation, die die Viskosität der Schmelze erheblich beeinflusst.
Wie Sie diesem Diagramm entnehmen können, kann der durch diese Kristallisation verursachte Viskositätsanstieg bis zu acht Größenordnungen erreichen und verändert zudem das tatsächliche logische Verhalten der Schmelze, was die Viskositätsvorhersage sehr schwierig macht.
Wir wollten hier zeigen, dass die Viskositätsvorhersage selbst für sehr einfache Glaszusammensetzungen nicht einfach ist. Wir haben drei Zusammensetzungen von SBN-Glas ausgewählt, einem sehr einfachen Glas mit nur drei Oxiden. Zur Berechnung der Viskosität verwendeten wir die bekanntesten Modelle aus der Literatur. Anschließend verglichen wir die vorhergesagten Werte mit den experimentellen Werten, die wir mit unserem eigenen Gerät gemessen haben (rot in den Diagrammen). Man sieht, dass es selbst für ein sehr einfaches Glas nicht leicht ist, einen zuverlässigen Wert für die vorhergesagte Viskosität zu erhalten.
Maschinelle Lernverfahren finden zunehmend Anwendung in der Glasmaterialwissenschaft, insbesondere zur Vorhersage der Glasviskosität, allerdings mit begrenzter Genauigkeit. Wir haben in der Vergangenheit versucht, neuronale Netze zur Vorhersage der Glasviskosität einzusetzen, waren mit den erzielten Ergebnissen jedoch nicht zufrieden.
Wir beobachten beispielsweise einige unerwartete Muster sowie Abweichungen um mehrere Größenordnungen. Dies war auch in neueren Veröffentlichungen der Fall, in denen ebenfalls neuronale Netze verwendet wurden und in denen diese Differenz von sechs Größenordnungen zwischen Vorhersage und Messung festgestellt wurde.
Am Ende kamen wir zu dem Schluss, dass die globalen Datensätze so viele Unterschiede aufweisen und so viele physikalische und chemische nichtlineare Mechanismen in der Glasschmelze auftreten, die sich auf deren Viskosität auswirken, dass die Anwendung traditioneller maschineller Lernverfahren auf die globale Datenbank nicht der beste Ansatz ist.
Hier ist eine gute Abbildung, die unsere Datenbank veranschaulicht. Jeder Punkt repräsentiert ein Glas in einer mehrdimensionalen Darstellung der Zusammensetzung. Die Daten können aus verschiedenen Einzelstudien stammen, aus experimentellen Designs oder aus parametrischen Studien mit Variationen jeweils einer Komponente. Dadurch entsteht letztendlich eine sehr heterogene und gleichmäßig gefüllte Datenbank.
Die Strategie basiert auf der Annahme, dass es sinnvoller ist, die Vorhersagemodelle nur mit ähnlichen Daten zu trainieren, anstatt alle Daten zu verwenden. Wenn wir beispielsweise eine Vorhersage für diesen Bereich treffen möchten, werden Modelle anhand der vorhandenen Daten erstellt. Für eine Vorhersage für einen anderen Bereich werden hingegen andere Modelle erstellt.
Wir haben gesagt, dass der Ansatz dynamisch ist, da die Vorhersagemodelle von der Zusammensetzung abhängen und dort angepasst werden, wo wir Vorhersagen treffen möchten. Er ist automatisch, da wir dies nicht manuell durchführen müssen. Jeder Schritt wird von in unserem Tool implementierten Algorithmen ausgeführt.
Die Strategie zur Erstellung der Trainingsdatensätze basiert auf der Versuchsplanung. Für jede Vorhersage wird ein optimales Versuchsdesign (DOE) um die relevante Zusammensetzung herum generiert. Anschließend wird jeder Durchlauf des Designs durch die ähnlichsten experimentellen Daten aus der Datenbank ersetzt, wodurch der finale Trainingsdatensatz entsteht.
Für den Vorhersageteil des Tools wurden vier Algorithmen implementiert: ein klassisches Polynommodell aus der multilinearen Regression, ein GENREG-Modell, ein neuronales Netzmodell und ein Support-Vektor-Regressionsmodell (SVR), das neu hinzugefügt wurde. Am Ende erhalten wir nicht nur einen, sondern vier Vorhersagewerte. Durch die Berechnung des Medians dieser vier Vorhersagen erhalten wir eine sehr robuste Schätzung der Zielgröße. Wie wir in der Demo sehen werden, werden außerdem verschiedene statistische Kriterien berechnet und analysiert, um die Leistungsfähigkeit der verschiedenen Vorhersagealgorithmen zu vergleichen.
Hier sind einige der wichtigsten Parameter. Es war sehr wichtig, möglichst viele Beiträge von Glasexperten zu berücksichtigen. Ein zentraler Punkt betraf die Herkunft und Zuverlässigkeit der Daten. Daher wurde in diesem Projekt viel Zeit in den Aufbau einer verlässlichen Datenbank investiert.
Wir mussten außerdem spezielle Algorithmen entwickeln, um die Eigenschaften und die Rolle von Oxiden und Viskosität zu berücksichtigen. Wir mussten Verfahren implementieren und verschiedene Methoden zur Berechnung der Abstände zwischen ähnlichen Zusammensetzungen untersuchen. All dies wurde in die Algorithmen des Tools integriert.
Bevor wir zur Demo kommen, hier eine schematische Darstellung des Tools mit den kürzlich hinzugefügten Weiterentwicklungen. Viele Algorithmen wurden sowohl für die Stichprobenentnahme als auch für das Vorhersagemodell aktualisiert. Wie bereits erwähnt, wurde SVR implementiert. Außerdem können nun entweder eine einzelne Glaszusammensetzung oder eine Liste von Zusammensetzungen eingegeben werden, wodurch die Leistungsfähigkeit des Tools anhand einer großen Anzahl von Zusammensetzungen evaluiert werden kann.
Die Berechnungszeit für eine Produktion beträgt weniger als eine Minute. Das ist zufriedenstellend, wir arbeiten jedoch aktuell an einer weiteren Optimierung der Code-Effizienz. Wie bereits erwähnt, ist der gesamte Code in JSL geschrieben und beinhaltet ein Add-in.
Vielen Dank für die Demo, Damien. Ich teile meinen Bildschirm. Das JMP-Add-in wird seit JMP Pro Version 16 für das MS-Tool [unverständlich 00:13:28] am CEA entwickelt. Es ist jetzt in JMP Pro Version 18 enthalten. Es bietet zwei Möglichkeiten, Vorhersagen für ein Glas zu erstellen. Die erste Schaltfläche im JMP-Menü führt zu einer Benutzeroberfläche, mit der die Viskosität oder die thermogravimetrische Kurve (TG) für ein einzelnes Glas bei einer oder mehreren Temperaturen vorhergesagt werden kann. Die zweite Schaltfläche ist eine automatisierte Version, die die Vorhersage für eine Liste von Gläsern bei einer bestimmten Temperatur liefert.
Im Add-In-Ordner finden Sie die beiden Hauptskripte, die über die beiden Schaltflächen ausgeführt werden, sowie die verschiedenen Funktionen und Ausdrücke, die von ihnen verwendet werden. Der Ordner enthält Skripte für die Datenvorverarbeitung zur Erstellung der Trainingsdaten, die Vorhersagemodelle und schließlich die Ausgabe der Analyse.
Klicken wir auf die erste Schaltfläche, die interaktive Version. Zuerst wählt der Benutzer den Ordner mit der globalen Datenbank aller Glasviskositäten im JMP-Format aus. Anschließend wählt er die Bestandteile, also die Oxide des Glases, dessen Viskosität er vorhersagen möchte. Dann klickt er auf „OK“.
Hier muss ich den prozentualen Anteil jedes Elements in der Gesamtzusammensetzung unseres Glases eintragen. Mein Glas, dessen Viskosität ich vorhersagen möchte, enthält beispielsweise 6,5 % CaO. Im letzten Schritt werden die Temperaturen angegeben. Ich möchte die Viskosität bei zwei Temperaturen berechnen: 1100 °C und 1200 °C. Alle vier von Damien erklärten Modelle beziehen sich auf diese beiden Temperaturen. Ziel ist es, die Viskosität meines Glases vorherzusagen. Die Berechnung der Ergebnisse für zwei Temperaturen dauert etwa eine Minute.
Abschließend wird mir dieses Ausgabefenster angezeigt. Wir können die für die weitere Analyse der Vorhersagen interessanteste Temperatur auswählen. Hier sind es 1200 Grad. Durch Klicken auf „Los“ öffnet sich das endgültige Ausgabefenster, das die Viskosität bei 1200 Grad vergrößert darstellt.
Zunächst enthalten die Übersichten die Zusammensetzung des Glases, das wir vorhersagen möchten, und die Elemente, die in den Modellen tatsächlich berücksichtigt werden. Anschließend folgt eine Übersicht zur Modellqualität, beispielsweise mit dem mittleren absoluten Fehler oder dem Bestimmtheitsmaß (R²). Weitere Details zur Methode des adaptiven Versuchsdesigns (DOE) sind verfügbar, beispielsweise der Korrelationsgrad zwischen dem optimalen und dem adaptiven DOE (hier: 80 % korrelierte Elemente). Es handelt sich um ein sehr gelungenes Projekt.
Vorhersageformeln und Effekte werden ebenfalls angegeben. Hier sehen wir beispielsweise beim BIC, dass SiO₂ das Oxid mit dem größten Einfluss auf das Modell ist. Die wichtigste Ausgabe ist hier dargestellt: die Zusammenfassung der Vorhersagen in der Grafik, die die vorhergesagten Viskositätswerte in Abhängigkeit von den Modellen zeigt. Wir sehen die vorhergesagten Viskositätswerte für jeden Punkt: 61 Dezipascalsekunden für BIC F, 67 für GLM, 49 für neuronale Netze und 64 für SVR.
Wir haben auch das nächstliegende Glas, dargestellt durch die grün gestrichelte horizontale Linie, mit einer gemessenen wahren Viskosität von 68 Dezipascalsekunden. Dieses Glas befindet sich hier. Es liegt sehr nahe an dem Glas, dessen Viskosität wir vorhersagen möchten. Zur Erinnerung: Wir hatten beispielsweise 6,5 % CaO, das nächstliegende Glas hat 6,4 % CaO. Da wir die wahre Viskosität des zu vorhersagenden Glases nicht kennen, vergleichen wir die Vorhersage mit der wahren Viskosität des nächstliegenden Glases.
Abschließend lässt sich für dieses Glas ein Medianwert von 62,5 für die Vorhersage feststellen. Dies ist ein sehr gutes Ergebnis im Vergleich zur gemessenen Viskosität des nächstliegenden Glases. GLM und SVR sind hier und hier die besten Modelle zur Viskositätsvorhersage.
Damien wird nun die Analyse der automatisierten Version und die Ausgabe in einer Tabelle für dieses Tool vorstellen.
Die Leistungsfähigkeit des Tools wurde anhand eines Testdatensatzes mit 7.500 Datensätzen evaluiert. Die relevante Kennzahl ist der absolute Fehler des Logarithmus der Viskosität, der angibt, wie stark die vorhergesagte Viskosität vom gemessenen Wert abweicht (in Größenordnungen). Üblicherweise gilt es als sehr effektiv, die Viskosität innerhalb des gesamten Bereichs möglicher Viskositätswerte mit einer Genauigkeit von einer Größenordnung vorherzusagen.
Hier sind die erzielten Ergebnisse, wobei die vorhergesagte Viskosität den Median der Vorhersagen der vier Algorithmen darstellt. Wir waren von der Genauigkeit der Vorhersage sehr beeindruckt, da der Fehler der vorhergesagten Viskosität weniger als eine Größenordnung beträgt, was für den Großteil der Daten unser Ziel war. Zweitens gibt es nur sehr wenige Proben mit einem höheren Fehler. Der höchste Fehler liegt bei 3,3 Größenordnungen, was deutlich niedriger ist als bei Viskositätsmodellen aus der Literatur.
Ein weiterer wichtiger Punkt ist die gute Vorhersagegenauigkeit im gesamten Viskositätsbereich von 1–10 bis 6 Dezipascalsekunden. Schließlich ist die Genauigkeit für die Glaszusammensetzungen, auf die wir uns in unserer Anwendung hauptsächlich konzentrieren, sogar noch besser.
Wir untersuchen derzeit die Ursache der Daten mit dem größten Vorhersagefehler. Hinsichtlich der Zusammensetzung scheint der Vorhersagefehler stark mit dem Vorhandensein chemischer Elemente zu korrelieren, die bekanntermaßen einen sehr starken Einfluss auf die Glasviskosität haben, aber nur in sehr wenigen Zusammensetzungen der Datenbank vorkommen. Wir stellten außerdem fest, dass der Abstand zum nächsten Nachbarn bei diesen Ausreißern deutlich größer war.
Abschließend haben wir auch geprüft, ob das Jahr der Datenerhebung einen Einfluss hat, da die Messgeräte zur Bestimmung der Glasviskosität vor 60 oder 80 Jahren möglicherweise weniger genau waren. Tatsächlich deuten die Diagramme darauf hin, dass der Vorhersagefehler bei aktuelleren Daten geringer ist.
Abschließend stellten wir fest, dass die vier Modelltypen hinsichtlich der Quantile des absoluten Fehlers sehr ähnliche Vorhersagen liefern. Der maximale absolute Fehler ist bei neuronalen Netzen deutlich geringer und bei SVR sogar noch geringer, was letztendlich zu einem kleineren mittleren Fehler führt. Da sich alle vier Modelle als effizient erwiesen haben, haben wir uns entschieden, den Median der vier Vorhersagen zu verwenden, um eine hohe Robustheit der Prognosen zu gewährleisten.
Zusammenfassend haben wir einen prädiktiven Ansatz vorgestellt, der auf dynamischem Subsampling der Daten basiert. Wir haben vier verschiedene Modelle implementiert, die mit einer Teilmenge ähnlicher Daten trainiert wurden, welche aus einem optimalen Versuchsplan generiert wurden. Dieser Vorgang ist vollautomatisch; alle Schritte sind in JSL codiert und als Add-in in JMP Pro 18 implementiert.
Die Vorhersagefähigkeit des Tools wurde anhand eines Datensatzes mit rund 7.500 Glaszusammensetzungen evaluiert und lieferte sehr genaue Ergebnisse, insbesondere für die relevanten Glaszusammensetzungen.
Als Nächstes möchten wir weitere Vorhersageverfahren evaluieren und gegebenenfalls implementieren, die sich unserer Ansicht nach für diese Anwendung als vielversprechend erweisen könnten. Wir werden außerdem versuchen, eine Python-Schnittstelle zu entwickeln, um dieses Tool mit anderen Finite-Elemente-Simulationsprogrammen zu verknüpfen, die wir bereits für die Verarbeitung der Verglasung verwenden.
Vielen Dank für eure Aufmerksamkeit.
Danke schön.
