Level: Mittelstufe
Philip J. Ramsey, Senior Data Scientist, Berater und Professor, North Haven Group und University of New Hampshire
Trent Lemkus, Doktorand in Statistik, Institut für Mathematik und Statistik, University of New Hampshire
Christopher Gotwalt, JMP-Direktor für statistische Forschung und Entwicklung, SAS
Das Hauptziel des entworfenen Experimentierens (DOE) ist häufig die Vorhersage des zukünftigen Systemverhaltens. Bisher gab es jedoch keine direkte Methode zur Bewertung der Modellvorhersageleistung. Die mit Big Data verwendeten Strategien zur Vorhersagevalidierung sind mit DOE nicht umsetzbar. Gotwalt und Ramsey (2018) führten für DOE eine neue Vorhersagemodellierungsstrategie ein, die als fraktioniertes Bootstrapping mit Autovalidierung (FWB + AV) bezeichnet wird. Die Methode erweitert Modellauswahlstrategien für maschinelles Lernen, die die Holdout-Kreuzvalidierung nutzen, auf kleine Datensätze, bei denen es nicht möglich ist, auch nur eine einzelne Zeile für die unabhängige Bewertung der Modellanpassung auszuhalten. Die Autovalidierung nutzt ein einzigartiges Gewichtungsschema und Bootstrapping-Konzepte, um die für die Vorhersage wichtigste Teilmenge der experimentellen Effekte zu bestimmen. Obwohl es eine sehr junge Entwicklung ist, sehen die Autoren bereits, wie es bei Biotech- und Pharmaunternehmen in den USA und in Europa in die Praxis umgesetzt wird. Dies hat die Wichtigkeit der Bewertung der Leistung von FWB + AV im Vergleich zu anderen konkurrierenden Ansätzen zur Modellauswahl beschleunigt. Mithilfe innovativer Simulationstechniken zeigen wir, dass FWB + AV praktisch alle gängigen Techniken zur Erstellung von Vorhersagemodellen übertrifft, die mit DOE verwendet werden. Dies wird anhand der Vorhersagegenauigkeit des verwendeten endgültigen Modells gemessen. In diesem Vortrag diskutieren wir die Simulationsergebnisse und zeigen, wie FWB + AV mit JMP Pro einfach durchgeführt werden kann. Zusätzlich wird FWB + AV anhand aktueller Fallstudien live demonstriert. Mit FWB + AV können leistungsstarke Algorithmen für maschinelles Lernen, die mit Big Data verwendet werden, auf die DOE-Modellierung angewendet werden.
