| Lautsprecher |
Transkript |
| Jordan Hiller |
Ausgehen. |
| Phil Kay |
Okay, vielen Dank, dass Sie dabei sind. Ich bin Phil Kay, Lernmanager bei JMP, und ich beginne diese Präsentation mit einem interaktiven Beispiel für SVEM, selbstvalidierte Ensemble-Modellierung. |
| |
Ich werde erklären, was SVEM ist und wie es funktioniert. Anschließend werden Pete und Trent Beispiele geben. |
| |
Fallstudien und Simulationen, die wirklich erklären, warum Sie dies tun möchten. Ich werde dies nur auf einer |
| |
sehr einfache Fallstudie, daher ist es vielleicht zunächst nicht klar, warum ... es ist vielleicht nicht klar, warum Sie dies tun möchten, aber hoffentlich verstehen Sie den Mechanismus, nachdem ich dies erklärt habe. |
| |
Okay, ich werde mein Video jetzt stoppen und mich nur auf die Softwaredemonstration konzentrieren. |
| |
Wir haben hier ein JMP-Journal, das wir mit Ihnen teilen, sodass Sie über den Beitrag in der JMP-Community unter Community.JMP.com darauf zugreifen können. |
| |
Und das Beispiel, das wir verwenden, ist ein klassisches DOE-Beispiel. Dies sind die Bounce-Daten, die Sie aus den Hilfedateien in JMP abrufen können. |
| |
Es handelt sich also um drei Faktoren und 15 Läufe. Es handelt sich um ein Box-Behnken-Design, und wir haben eine Antwort, die Dehnung ist, also ganz einfach, Standard. |
| |
Traditionelles, altmodisches DOE. |
| |
Und es ist keine wirkliche Herausforderung, diese Daten zu modellieren. Wenn wir ein Response-Surface-Modell anpassen, sehen wir, dass sich dieses krummlinige Verhalten, diese quadratischen Effekte und auch diese Wechselwirkungen zwischen Faktoren als wichtig erweisen. |
| |
Sehen wir uns also an, wie wir dies mit dem SVEM-Ansatz modellieren könnten. |
| |
Wenn wir dies mit SVEM modellieren, werden Sie als Erstes feststellen, dass wir 30 Datenzeilen haben. Wir haben also tatsächlich jede Datenzeile dupliziert, was etwas verrückt erscheinen mag. Es mag wie Betrug wirken. Dies ist ein wichtiger Trick der SVEM-Methodik. |
| |
Sie werden sehen, dass wir hier einige zusätzliche Spalten haben. Die wichtigste ist das Validierungsgewicht. Zeichnen wir das einfach auf, damit Sie sehen, was es bedeutet. |
| |
Sie können also sehen, dass wir für jede unserer Datenzeilen, für jeden unserer Läufe, tatsächlich Laufpaare haben. Lauf Nummer eins können Sie hier sehen. |
| |
Wir gewichten jeden dieser Läufe entweder in den Trainingsdatensatz (0) oder in den Validierungsdatensatz (1). Und Sie können sehen, dass für jedes Paar |
| |
Diese Gewichtungen sind umgekehrt proportional. So können Sie beispielsweise bei Lauf Nummer sieben sehen, dass dieser im Training stark gewichtet ist, keinen Validierungssatz hat und im Validierungssatz entsprechend niedrig gewichtet ist. |
| |
Jetzt wurden diese zufällig zugewiesen und wir können … |
| |
Wenn wir hier klicken, können wir diese neu zeichnen und die Gewichte neu zuweisen. Und wenn eine Zeile im Trainingssatz eine hohe Gewichtung hat, also beispielsweise Zeile Nummer sechs hier im Trainingssatz eine hohe Gewichtung hat, wird sie im Validierungssatz eine entsprechend niedrige Gewichtung haben. |
| |
Daher verdoppeln wir hier unsere Datenzeilen. |
| |
Und wir werden dies zur Selbstvalidierung verwenden. Was wir also tatsächlich tun können, ist, dass wir eine Variante der Hold-Back-Validierung verwenden können, bei der |
| |
Anstatt eine ganze Datenzeile im Validierungssatz zurückzuhalten, halten wir Teile jeder Datenzeile zurück, sodass jede Zeile tatsächlich im Trainingssatz und im Validierungssatz enthalten sein kann und, was wichtig ist, wir können diese Gewichte neu zuweisen |
| |
wiederholt, was ausreicht, wenn es um die Ensemble-Modellierung geht. |
| |
Okay, um es zusammenzufassen: Wir haben im Grunde jede Datenzeile dupliziert und weisen ihnen Gewichte zu, sodass einige Zeilen eher im Trainingssatz und andere eher im Validierungssatz vorkommen. |
| |
Jetzt können wir ein Modell mithilfe der Validierung anpassen. |
| |
Wir verwenden hier also GenReg, und Sie können sehen, dass wir einen Validierungssatz verwenden (und ignorieren Sie einfach die Fehlermeldung dort). |
| |
Wir verwenden Lasso und Validierung zur Modellauswahl. In diesem Fall wurden keine aktiven Effekte im Modell ausgewählt. Es wurde also ein Response-Surface-Modell angepasst und die Validierung als Auswahlmethode mit Lasso verwendet. |
| |
und wir haben festgestellt, dass tatsächlich keine Effekte aktiv sind, also haben wir ein Modell ohne tatsächliche aktive Auswirkungen. |
| |
Was wir dann tun können, ist, diese Gewichte erneut zu zeichnen, sodass wir unsere Spalten neu gewichten können. |
| |
Und wir sehen, dass wir diesmal ein anderes Modell haben. Tatsächlich werden jetzt einige der Effekte aktiv, beispielsweise ist Kieselsäure bei dieser Wechselwirkung zwischen Kieselsäure und Schwefel aktiv. |
| |
Speichern wir dieses Modell. |
| |
So, jetzt mit unserem |
| |
Datentabelle können Sie sehen, dass wir dort eine Spalte mit gespeicherter Modellformel haben. |
| |
Lassen Sie uns diese Gewichte noch einmal neu zeichnen. Wir zeichnen sie also erneut neu, sodass einige Zeilen stärker im Training und andere stärker in der Validierung enthalten sind. |
| |
Und wir haben wieder ein anderes Modell und das speichern wir jetzt. Wir haben jetzt |
| |
zwei Zeilen mit ... zwei Spalten mit gespeicherten Vorhersageformeln. |
| |
Und das können wir wiederholen. Ich zeichne die Gewichte neu und speichere die Vorhersageformel. Ich habe ein Skript, das das für uns erledigt. Anschließend wird der Modelldurchschnitt erstellt, sodass wir den Durchschnitt unserer drei gespeicherten Modelle berechnet haben. |
| |
Daher wurde für jedes einzelne Modell eine andere Validierungsgewichtung verwendet. |
| |
Jedes Modell war anders, manche waren besser als andere. Der entscheidende Punkt ist, dass wir, wenn wir den Durchschnitt dieser Modelle zusammenrechnen, |
| |
Der Durchschnitt dieser Modelle ist das bisher beste. Sie sehen also, dass dies dem Originalmodell, das wir mit Standardmethoden angepasst haben, recht nahe kommt. |
| |
der ursprüngliche Datensatz. |
| |
Und wir können das so weitermachen. Wir können das zehnmal wiederholen. Sie sehen, wie die Gewichte neu gezeichnet werden; jedes Mal erhalten wir ein leicht unterschiedliches Modell. |
| |
Und wir können jedes dieser unterschiedlichen Modelle speichern. |
| |
Und am Ende erhält man einen Durchschnitt, der wahrscheinlich das beste Modell darstellt. |
| |
Und wenn wir das tatsächlich mit dem ursprünglichen Modell vergleichen, das wir aus der Standardanalyse dieser Daten erhalten haben, |
| |
Sie können sehen, dass die beiden Modelle tatsächlich ziemlich weitgehend übereinstimmen. |
| |
In diesem Fall ist man mit dieser selbstvalidierten Ensemble-Modellierung tatsächlich zum gleichen Modell gekommen, wie mit der Standard- |
| |
lineare Regression. |
| |
Ich möchte die wichtigsten Punkte des Gesagten noch einmal durchgehen. Anschließend sprechen wir mit Pete und Trent, die die Motivation für den Einsatz dieser neuartigen Modellierungstechnik erläutern. |
| |
Wir haben die ursprünglichen Datenzeilen dupliziert. |
| |
Das bedeutet, dass wir eine zufällige Gewichtung anwenden können, um anzugeben, wie viel von jedem Zeilenpaar im Training bzw. in der Validierung steckt. |
| |
Dies ermöglicht uns die Validierung. Bei einem so kleinen Datensatz wäre dies nicht möglich. Es wäre nicht sinnvoll, eine ganze Datenzeile zurückzuhalten, aber was wir mit diesem duplizierten Datensatz tun können |
| |
ist eine gewichtete Validierung. Daher haben wir in diesem Fall ein Modell mithilfe der Lasso-Auswahl angepasst, und diese Lasso-Auswahl nutzte diese gewichtete Validierungsspalte. |
| |
Anschließend zeichnen wir diese Gewichte neu. Wir weisen diesen Zeilenpaaren erneut zufällig unterschiedliche Gewichte zu und passen das Modell neu an. In unserem Fall haben wir dies 10-15 Mal wiederholt. In der Praxis müssten wir diesen Prozess jedoch 100 Mal oder öfter wiederholen, um ein gutes, selbstvalidiertes Ensemblemodell zu erhalten. |
| |
Und jedes Modell ist sich selbst ... jedes einzelne Modell in jedem Schritt dieses iterativen Prozesses ist nicht besonders nützlich, aber der Modelldurchschnitt oder das Ensemble ist es, wie wir bei unserem endgültigen Modell gesehen haben, das wir als Durchschnitt aller dieser Iterationen erreicht haben. |
| |
Ich möchte jetzt an Pete übergeben. Er wird eine Fallstudie durchgehen, die veranschaulicht, warum Sie diese ungewöhnliche Methode zur Modellierung solcher Daten verwenden sollten. |
| Peter Hersh |
Vielen Dank, Phil. Ich werde jetzt meinen Bildschirm hier freigeben. |
| |
Und lassen Sie uns ein Beispiel durchgehen, wann wir |
| |
Verwenden Sie diese Methode. Also hier bin ich |
| |
Schauen wir uns zuerst die Ergebnisse an. Wir sehen uns also ein paar Designs an, bei denen es sich um sehr kleine DOEs handelt, also ein DOE mit sechs, acht und zehn Durchläufen und drei Faktoren. |
| |
Und das sind Response Surface Designs, die von Natur aus supergesättigt bis gesättigt sind und alle ein optimales Design haben, also sind das sehr kleine Durchläufe. |
| |
um unser Ziel zu erreichen. Hier ist also unser Ziel. Lassen Sie uns einen Schritt zurückgehen und über das Design und den Weg dorthin sprechen. |
| |
Also. |
| |
Dies ist eine Fallstudie, in der wir versuchen, die Wachstumsrate einer Mikrobe durch die Anpassung verschiedener Nährstoffkombinationen zu maximieren. Wie bereits erwähnt, verwenden wir ein optimales Design mit supergesättigten Nährstoffen und passen die Anzahl der Durchläufe an. |
| |
Und dies sind simulierte Daten, bei denen alle Haupteffekte sowie alle quadratischen Effekte aktiv sind. |
| |
Wie das Ganze aufgebaut wurde, haben wir mit unseren drei Faktoren begonnen. Ich habe mein Modell entworfen. Wenn Sie noch nie ein gesättigtes oder supergesättigtes Design in JMP entworfen haben, |
| |
Dies lässt sich erreichen, indem man die Effekte, die nicht die Haupteffekte sind, möglichst berücksichtigt. Dadurch kann man entweder weniger Durchläufe oder die gleiche Anzahl an Durchläufen wie bei Modelleffekten verwenden. Und so habe ich dann meine Designs dort erstellt. |
| |
Und ich habe den Prozess durchlaufen, den Phil dort so schön beschrieben hat: die Daten neu abzutasten und diese invertierten … umgekehrt proportionalen Gewichte zu erhalten, die für diesen Prozess entscheidend sind. |
| |
Wir haben ein paar Gespräche geführt und ich habe nur QR-Codes dazu. |
| |
Diese Technik wurde von Chris Gotwalt und Phil Ramsey entwickelt und sie haben sie bereits in einigen früheren Vorträgen vorgestellt. Und dieser letzte |
| |
QR-Code war ein Add-In, das diese Validierungsspalte in älteren JMP-Versionen einrichtete. Ab JMP 16 ist dies nativ in der Software möglich. Ab JMP 15 benötigen Sie jedoch dieses Add-In-Setup. |
| |
Und wie Phil sagte, also ein |
| |
Einzelne Modelle passen möglicherweise nicht sehr gut zu den Daten, manche passen ganz gut, manche haben keine Terme. |
| |
Aber dies ist nur ein Beispiel, in dem Sie die einzelnen Modelle sehen können. Einige sind nur ein Achsenabschnitt, andere passen ziemlich schlecht und einige Modelle schneiden ziemlich gut ab. |
| |
Und genau wie Phil es beschrieben hat, hat jedes dieser Elemente ein anderes neu berechnetes Gewicht. Dadurch erhalten wir ein leicht verändertes Modell und speichern diese Elemente. Das ist der erste Schritt. |
| |
Im nächsten Schritt haben wir diese Modelle gemittelt. Wie Sie sehen, wird die Modellanpassung mit zunehmender Anzahl gemittelter Modelle immer besser. Die einzelnen Modelle sind zwar nicht optimal, aber das durchschnittliche Gesamtmodell liefert eine gute Anpassung. |
| |
Und der letzte Schritt, über den ich sprechen wollte, war, dass diese Modelle von Natur aus verzerrt sind. Wie Sie beim ersten Modell, das Phil erstellt hat, gesehen haben, gab es dort keine aktiven Effekte. Also |
| |
Wenn Sie mit Ihrem Modell eine Modell- oder Variablenauswahltechnik anwenden, erhalten Sie gelegentlich ein Modell, in dem diese bestimmte Variable nicht enthalten ist. |
| |
Wenn wir uns diese Verteilungen hier ansehen, sehen Sie |
| |
all dies sind aktive Effekte und sie haben eine Verteilung um 5, was der Effektgröße entspricht, aber sie haben auch diesen Balken hier unten, der 0 ist. |
| |
Wir werden den Effekt also nicht überschätzen, da wir 0 erhalten, um das auszugleichen. Dies wird also zu einem niedrigeren Wert verzerrt, also werden wir eine |
| |
kleiner Trick, um diese Modelle zu entzerren, wo wir |
| |
Behandeln Sie dieses Modell als Prädiktor in einem Kleinstquadrate-Modell. Dadurch werden diese Verzerrungen beseitigt. Ich werde diesen Prozess durchgehen, um Ihnen zu zeigen, wie das geht. |
| |
Aber am Ende erhalten wir das sehr schöne Ergebnis, das ich Ihnen mit einer sehr geringen Anzahl von Durchläufen vorgestellt habe. Das ist also der Grund, warum Sie SVEM verwenden sollten: Die Möglichkeit, Vorhersagen zu treffen und ein gutes Modell mit weniger Durchläufen zu erstellen, als dies ohne diese Technik möglich wäre. |
| |
Okay, dann gehen wir hier zu JMP |
| |
Und |
| |
Gehen Sie diesen Prozess durch. |
| |
Okay, hier ist die sechsfache Versuchsplanung des Beispiels, das ich gezeigt habe. Hier haben wir unsere drei Faktoren und unsere Wachstumsrate. Und das ist, nachdem wir das Modell erstellt haben. |
| |
So sieht es aus. Wir haben es jetzt durchgesehen und ausgeführt. Wir haben also sechs Läufe mit sechs Ergebnissen. Als Nächstes erstellen wir die Validierungsspalte. Dazu gehen wir in JMP zur Analyse der prädiktiven Modellierung. |
| |
Erstellen Sie eine Validierungsspalte, und dann erstellen wir anstelle einer Validierungsspalte eine automatische Validierungstabelle. |
| |
Okay, so habe ich es gemacht. Ich habe das bereits durchgemacht, deshalb werde ich den Vorgang nicht wiederholen. |
| |
Aber hier sind die Daten mit ihren erneut abgetasteten Daten und dem umgekehrt korrelierten Gewicht, wie Phil es gezeigt hat. Sie haben ein hohes Gewicht gepaart mit einem niedrigen Gewicht des wiederholten Durchlaufs. Nachdem wir das erledigt haben, gehen wir alles durch und erstellen unser Modell. |
| |
In diesem Fall habe ich ein GenReg-Modell verwendet und Sie möchten eine der Variablenauswahltechniken auswählen. Wenn ich dies also ausführe, möchte ich so etwas wie eine Vorwärtsauswahl mit Lasso durchführen. |
| |
oder eine dieser Auswahltechniken. Und Trent wird näher auf diese Auswahltechniken eingehen und welche davon untersucht wurden. |
| |
Nachdem ich das Modell ausgeführt habe, sehen Sie, dass JMP einige aktive Effekte ausgewählt hat. Es hat einige davon erfasst, aber Sie können hier sehen |
| |
die Verzerrung, die wir sehen, wo beide Haupteffekte aktiv sein sollten, aber als 0 herausgekommen sind. Wenn ich das also in der Datentabelle speichere, |
| |
Ich erstelle eine neue Spalte, wie Phil es gezeigt hat, und berechne dann das Gewicht neu und wiederhole es immer wieder. Und hier ist ein einfaches Skript, um dies 100 Mal durchzuführen. |
| |
Wir geben das gerne weiter. Es ist ganz einfach: Kopieren Sie einfach Ihr Skript, Ihr Modellskript, und fügen Sie es hier ein. So können Sie reproduzieren, was wir hier gemacht haben. |
| |
Okay, hier ist das Endergebnis, das wir mit unserem DOE durchgegangen sind, unsere Ergebnisse, und dann haben wir |
| |
die 100 Modelle, die ich gespeichert habe |
| |
und hier versteckt. Und dann das endgültige Modell, das ist |
| |
einen Durchschnitt aller 100 Modelle. Und der letzte Schritt, den wir durchführen wollen, ist der Debiasing-Schritt. Wir werden also nur das behandeln |
| |
Durchschnittsmodell als Prädiktor für die Wachstumsrate. |
| |
Hier sehen Sie das Originalmodell, das wir haben |
| |
hat eine viel steilere Steigung, also ein ordentliches R-Quadrat, aber es ist nicht so gut, wie wir es uns erhofft hatten. Ich meine, selbst mit sechs Läufen ist das... sechs Läufe sind eine ziemlich gute Passform, aber |
| |
Wenn wir diese Verzerrung beseitigen können, können wir vielleicht etwas besser abschneiden. Ein ganz einfaches Setup. Wir nehmen einfach die Wachstumsrate. Unsere Antwort ist unser Y. Wir addieren die |
| |
Ensemble-Modell hier, gemittelt aus all diesen |
| |
Einzelne Modelle dienen als Prädiktor. Wir führen dies aus und erhalten ein Ergebnis. Sie sehen, dass das Verhältnis von Ist- zu Sollwert deutlich besser ist. Ein Vergleich zeigt, dass die Beseitigung dieser Verzerrung einen großen positiven Effekt hat. |
| |
Gut, und bevor ich es wieder an Trent übergebe, möchte ich noch eins zeigen |
| |
Folie hier, die im Grunde nur eine Zusammenfassung ist |
| |
dass wir... (verloren meine Taskleiste, da ist sie)... dass wir euch dringend empfehlen, |
| |
und probieren Sie diese Technik aus, aber es ist keine Zaubertechnik, die immer in jeder Situation funktioniert. Aber wenn Sie dies in Screening-Designs und dergleichen ausprobieren, könnte dies eine sehr gute Technik sein, die |
| |
Ihnen dabei helfen, Dinge zu erreichen, die mit herkömmlichen Modellierungstechniken nicht möglich gewesen wären. Und damit übergebe ich an Trent, der |
| |
ein bisschen mehr Details darüber, wie das gemacht wird und die |
| |
Informationen dort. Also, Trent, willst du sie wegnehmen? |
| Trent Lemkus |
Ja, danke, Peter. Das weiß ich zu schätzen. |
| |
Also |
| |
Ich teile meine |
| |
PDF. Ich möchte nur sicherstellen, dass es sich tatsächlich um eine Freigabe handelt und jeder es sehen kann. |
| Peter Hersh |
Ja. |
| Trent Lemkus |
Okay, fantastisch. Also |
| |
Während ihrer Präsentationen präsentierten Phil und Peter Fallstudien, die meiner Meinung nach phänomenale Anekdoten sind, die die Leistungsfähigkeit von SVEM zeigen und erklären, wann und warum SVEM eingesetzt werden sollte. |
| |
Für unsere Forschungsarbeit, die sich derzeit im Peer-Review-Prozess befindet, haben wir eine große Anzahl von Simulationsstudien durchgeführt, um empirisch zu zeigen, wie SVEM in einem prädiktiven Umfeld funktionieren würde. |
| |
Nächstes Mal... habe ich eine Reihe von Folien, die ich zeigen werde. Ich weiß, es mag etwas langweilig und trocken klingen, aber ich denke, es ist unerlässlich, die Details zu besprechen. |
| |
bevor ich auf etwas Unterhaltsameres eingehe, nämlich ein Beispiel dafür, wie wir … verwendet haben. |
| |
wie wir JMP und JSL verwendet haben und wie ich die Simulationen als Beispiel ausgeführt habe, und um Ihnen zu zeigen, wie einige der Ausgaben und Ergebnisse aussehen. |
| |
Der Entwurf und die Ziele unserer Simulationsstudien waren vor allem |
| |
Wir wollten eine Simulationsarchitektur für die reale Welt schaffen. Daher wollten wir, dass unsere Simulationen die reale industrielle Versuchsplanung so genau wie möglich nachbilden. |
| |
Und zweitens wollten wir sehen, wie moderne Modellbildungs- oder Modellauswahltechniken sowie SVEM funktionieren, wenn sie sich primär auf reine Vorhersagen konzentrieren, |
| |
Schlicht und ergreifend. Wir wollten also sehen, welche Vorhersagen ein Modell bei der Anpassung an ein Design auf der Grundlage eines Wahrheits- oder Holdout-Datensatzes (oder, entschuldigen Sie meinen Akzent, „Daten“) macht. |
| |
Und wenn wir diese einmaligen Läufe so oft simulieren können, wie es rechnerisch möglich ist, wollen wir möglichst realitätsnahe Schlussfolgerungen ziehen, damit wir |
| |
schreiben Sie Einstellungen vor und geben Sie an, wo und wie SVEM verwendet werden soll, da SVEM noch in den Kinderschuhen steckt. |
| |
Welche Designs haben wir also in unseren Simulationen verwendet? Wir verwendeten definitive Screening-Designs |
| |
Wir verwendeten Box-Behnken-Designs, wobei das zugrundeliegende echte generierende Modell in unseren Designs vollständig quadratische Modelle waren, umgangssprachlich auch als Modelle zweiter Ordnung bekannt. Der Grund für unsere Wahl dieser Designs liegt darin, dass A) für die definitiven Screening-Designs die |
| |
Je mehr Haupteffekte Sie haben, desto gesättigter und schließlich übersättigter werden die Modelle. Das bedeutet, dass Sie mit zunehmender Anzahl der Haupteffekte deutlich weniger Freiheitsgrade haben. Während bei Ihren Box-Behnken-Designs mit den von uns verwendeten Haupteffekten |
| |
Dieses Szenario gibt es nicht. Wir haben also eine Gegenüberstellung zweier Szenarien, in denen wir einerseits |
| |
ausreichende Freiheitsgrade mit unseren Box-Behnken-Designs, um unsere Koeffizienten bei der Anwendung einer Modellauswahltechnik zu schätzen, und im Fall des endgültigen Screening-Designs haben wir fast |
| |
In den meisten unserer Fälle hatten wir ein übersättigtes Design, sodass wir nur unzureichende Freiheitsgrade hatten. Anders ausgedrückt: |
| |
Wir konnten nicht alle Effekte abschätzen, wenn wir moderne Modellbautechniken verwenden, wie Ihre Vorwärtsauswahl, Ihre Lassos, Ihre Dantzig-Selektoren und so weiter. |
| |
Das führt uns zu den tatsächlichen Modellalgorithmen, die wir für unsere Simulationen verwendet haben. Bedenken Sie also für die SVEM-Modelle, dass Sie … |
| |
Wenn Sie nicht genau wissen, was SVEM ist, ist es sehr wichtig, dass Sie sich einige der vorherigen Präsentationen noch einmal ansehen, auf die Peter sich bezogen hat. |
| |
Aber wir müssen SVEM mit einer zugrunde liegenden Modellbildungstechnik verwenden, wie etwa Vorwärtsauswahl, Vorwärtsbeschneidung und Lasso, die wir für unsere Simulationsstudien verwenden. |
| |
In unseren Nicht-SVEM-Modellfällen verwenden wir dieselben Modellbildungsalgorithmen, haben aber auch den Dantzig-Selektor integriert, der im DOE recht beliebt ist. |
| |
sowie das Fit-Definitive-Screening-Design, das ausschließlich für das Definitive Screening relevant ist; es wird bei anderen Designs nicht verwendet. |
| |
Darüber hinaus verwenden wir ein Informationskriterium namens AICc oder korrigierter AIC, das im DOE sehr verbreitet ist und tatsächlich dafür berüchtigt ist, sehr sparsame Modelle auszuwählen. |
| |
Wie Sie sehen, versuchen wir, moderne Techniken zu integrieren, die im industriellen DOE-Bereich sehr aktuell sind. Dabei bleiben wir beim Kernpunkt, den ich auf der ersten Folie gezeigt habe, nämlich |
| |
Wir möchten mit unseren Simulationsstudien die reale Welt so genau wie möglich nachbilden, damit wir diese empirisch belegen können ... |
| |
So können wir die Vorhersageleistung dieser verschiedenen Modellbildungsalgorithmen empirisch beurteilen. Und hoffentlich können wir zeigen, dass SVEM empirisch besser oder sogar besser abschneidet als die Konkurrenz. |
| |
Für die eigentliche Simulationsstruktur führten wir 1.000 Simulationen für jeden Modellierungsalgorithmus durch. Wenn wir beispielsweise ein Vorwärtsmodell mit AICc anpassen würden, |
| |
Bei jedem einzelnen dieser 1.000 Durchläufe würden wir ein wahres Modell generieren, die Wahrheit, und dann würden wir Rauschen hinzufügen oder. |
| |
Gaußsches Rauschen (das in der Wissenschaft und bei der Forschung sehr häufig vorkommt), |
| |
Dadurch entsteht sozusagen ein Trainingssatz und ein Wahrheitssatz, sodass wir, sobald wir ein Modell angepasst haben, sehen können, wie dieses Modell im Vergleich zur Wahrheit vorhersagt. Und wir führen diese Datensätze 1.000 Mal nach dem Zufallsprinzip erneut aus und regenerieren sie neu. |
| |
Für den SVEM-Hyperparameter (auf den ich hier nicht näher eingehe) haben wir einen nBoot-Wert von 200 verwendet. Einfach ausgedrückt haben wir im Grunde 200 Modelle angepasst und den Durchschnitt dieser Modelle berechnet, um unser endgültiges SVEM-Modell zu erhalten. |
| |
Die Designs wurden auch über mehrere Features iteriert. Die Anzahl der Haupteffekte |
| |
Für definitive Screening-Designs hatten wir vier Haupteffekte und acht Haupteffekte. Für unsere Box-Behnken-Designs hatten wir |
| |
drei Haupteffekte und fünf Haupteffekte. Das bedeutet, um Ihnen ein Beispiel zu geben: Für unser DSD, wo K gleich acht ist, gibt es acht Haupteffekte. Bei einem vollständig quadratischen Modell, |
