In dieser Präsentation untersuchen wir die praktische Anwendung von JMP Profiler und konzentrieren uns dabei auf die verbesserte Funktion zur Einbindung von Prognoseintervallen. Anhand einer detaillierten Fallstudie von Cencora-PharmaLex zeigen wir, wie Prognoseintervalle durch die Quantifizierung der Unsicherheit in Modellvorhersagen ein robusteres Rahmenwerk für die Entscheidungsfindung bieten. Diese zusätzliche Funktion ermöglicht fundiertere Entscheidungen, insbesondere in kritischen Szenarien, in denen Risikomanagement und präzise Vorhersagen unerlässlich sind. Anhand dieser Fallstudie verdeutlichen wir den Mehrwert von Prognoseintervallen für die Verbesserung der Zuverlässigkeit datenbasierter Entscheidungen und damit letztendlich für bessere Ergebnisse in pharmazeutischen und Life-Sciences-Projekten.
Wir untersuchen außerdem die aktuelle Leistungsfähigkeit des JMP-Simulators, der prädiktive Verteilungen zur Unterstützung risikobasierter Entscheidungen noch nicht in gleicher Weise integriert. Anhand von Beispielen und Formeln möchten wir diese Einschränkung aufzeigen und so Möglichkeiten für zukünftige Verbesserungen in JMP-Versionen aufzeigen, die letztendlich zu besseren Ergebnissen in pharmazeutischen und biowissenschaftlichen Projekten führen.
Hallo zusammen! Mein Name ist Hailey. Ich möchte Ihnen kurz meinen Werdegang vorstellen. Ich habe einen Doktortitel in Biostatistik und arbeite als Managerin für Statistik und Datenwissenschaft bei PharmaLex Cencora. Meine Aufgabe ist die statistische Analyse klinischer und präklinischer Forschungsergebnisse, um fundierte Erkenntnisse für die Entscheidungsfindung zu gewinnen. Ich nutze JMP intensiv für die Datenanalyse in verschiedenen Projekten. Mein Ziel ist es, mithilfe fortgeschrittener statistischer Methoden die Qualität und Effektivität der Forschung zu verbessern.
In dieser Präsentation geht es um die Verbesserung der Entscheidungsfindung mithilfe von Prognoseintervallen im JMP Profiler. Ich präsentiere eine Fallstudie von Cencora PharmaLex. Das Poster zeigt, wie das JMP Profiler-Tool Prognoseintervalle zur Optimierung der Entscheidungsfindung einsetzt. Prognoseintervalle helfen, Unsicherheiten zu managen und Ergebnisse klarer darzustellen. Dies ist besonders in kritischen Situationen hilfreich, in denen Genauigkeit und Risikomanagement entscheidend sind. Durch das Hinzufügen von Prognoseintervallen werden Entscheidungen zuverlässiger und Modelle präziser.
Diese Präsentation ist in zwei Teile gegliedert. Im ersten Teil gehe ich auf die Simulation ein, im zweiten auf die Fallstudie von Cencora PharmaLex. Cencora PharmaLex ist ein führender Anbieter spezialisierter Dienstleistungen für die Pharma- und Life-Science-Branche. In dieser Fallstudie konzentrieren wir uns auf Projekte, in denen das Unternehmen ein Job-Profiler-Tool einsetzt, um die Entscheidungsfindung für den Kunden zu optimieren. Durch die Einbeziehung von Prognoseintervallen konnte Cencora PharmaLex die Unsicherheit der Modellvorhersagen quantifizieren und so fundiertere und zuverlässigere Entscheidungen treffen.
Zunächst möchte ich auf die Simulation eingehen. Diese Studie evaluiert das Vorhersageintervall in einem Versuchsdesign mit fünf kontinuierlichen Faktoren, indem sie verschiedene Modelle und Szenarien hinsichtlich ihrer Genauigkeit und Zuverlässigkeit testet. Das Versuchsdesign umfasst ein unvollständiges Modell mit fünf kontinuierlichen Faktoren und ausgewählten Wechselwirkungen.
Wir definierten drei Szenarien: ein einfaches Design mit nur 12 Runden bis hin zu einem komplexen Design mit 30 Runden. Jedes Szenario wurde 100-mal wiederholt. Die Reaktion wurde mithilfe eines spezifischen Modells simuliert und an Schlüsselpunkten im Faktorraum (hier anzugeben: -1, 0,5 und 0) ausgewertet. Lineare und Zufallseffektmodelle wurden mit JMP analysiert und mit dem R-basierten Modell (LM und Stan) verglichen, um die Leistungsfähigkeit zu beurteilen.
Wie Sie sehen, zeigt das erste Ergebnis hier die Vorhersagewerte. Das Modell mit zufälligen Effekten verdeutlicht den Unterschied zwischen JMP und Stan hinsichtlich der Vorhersagewerte, insbesondere bei weniger komplexen Designs. Im linearen Modell hingegen sind keine Unterschiede in den Vorhersagewerten beider Softwareprogramme erkennbar. Eine Erhöhung der Anzahl der Blöcke und Läufe verbessert die Vorhersagewerte beider Modelle im Allgemeinen, wie Sie in zwei der Diagramme für ein lineares Modell und auch für das gemischte Modell sehen können.
Wenn wir nun nur über die oberen und unteren vorhergesagten Intervalle sprechen wollen, so ist der Unterschied im linearen Modell, wie Sie es hier mit JMP und mit der LM-Funktion in R sehen, darin, dass die unteren und oberen Vorhersageintervalle weder in JMP noch in der LM-Funktion in R angezeigt werden, was die Zuverlässigkeit beider Ergebnisse bestätigt.
Im letzten Block kommt das gemischte Modell zum Einsatz, und die Anzahl der Läufe führt im Profiler generell zu einem breiteren Vorhersageintervall. Wie Sie sehen, zeigen die beiden Diagramme für JMP und Stan eine größere Unsicherheit in der Vorhersage. Mit zunehmender Datenmenge und Variabilität erfasst das Modell ein breiteres Spektrum möglicher Ergebnisse, wodurch die Vorhersage unsicherer wird. Gleichzeitig verbessert ein größeres Design die Generalisierungsfähigkeit des Modells.
Sie verdeutlichen zudem die Komplexität und Vorhersagbarkeit der Wechselwirkungen innerhalb des Systems. Dieser Effekt ist besonders in Szenarien mit hoher Variabilität auffällig, in denen das Vorhersageprofil eine größere Bandbreite potenzieller Werte anstelle einer präzisen Schätzung prognostiziert. Wie der Vergleich für das Low-Design zeigt, ist die Spanne der vorhergesagten Werte deutlich größer.
Ich möchte Sie hier zur Vorsicht mahnen. Die Ergebnisse von JMP sind insgesamt zu optimistisch. Das bedeutet, die Erfolgswahrscheinlichkeit könnte zu hoch sein. JMP verwendet nicht die t-Verteilung, sondern die Normalverteilung zur Berechnung des Vorhersageintervalls.
Die Studierenden berücksichtigen die begrenzte Datenmenge durch den Freiheitsgrad und verwenden den RMSE sigma [unverständlich 00:06:24] als Vorhersagefehler anstelle der vollständigen Formel, wobei die Lage des DOE berücksichtigt wird. Wenn die Anzahl der Beobachtungen deutlich höher ist als die Anzahl der Parameter und der Freiheitsgrad hoch ist, ist das Vorhersageintervall im linearen gemischten Modell in JMP im Vergleich zu Stan in R breiter. Vorsicht ist geboten: Bei einem niedrigen Freiheitsgrad besteht die Gefahr, dass das Vorhersageintervall in JMP zu optimistisch ausfällt.
Wir möchten hier eine Fallstudie von Cencora PharmaLex vorstellen und erläutern, wie wir das Vorhersageintervall nutzen, um dem Kunden die Genauigkeit und Zuverlässigkeit des Projekts zu veranschaulichen. Der Profiler zeigt eine Vorhersagelinie für die Zielvariable basierend auf den Ausprägungen der Faktoren an. Hierbei handelt es sich um acht verschiedene Variablen, die wir im Rahmen des Versuchsdesigns (DOE) definiert haben.
Das Prognoseintervall stellt den Bereich dar, in dem der tatsächliche Wert voraussichtlich liegt. Hier betrachten wir beispielsweise 95 %. Wir können die rote vertikale Linie leicht verschieben und die Unterschiede verdeutlichen. Wir erklären dem Kunden: „Achten Sie auf die Unterschiede zwischen den Prognosewerten und der Breite der Prognoseintervalle. Je kleiner das Intervall, desto genauer die Prognose. Ein größeres Intervall bedeutet präzisere Vorhersagen, während ein größeres Intervall auf mehr Unsicherheit hinweist.“ In den beiden Diagrammen sehen Sie, wie wir die Werte ändern und die rote vertikale Linie verschieben können, um dem Kunden die Unterschiede zu zeigen.
Abschließend lässt sich festhalten, dass Prognoseintervalle die Entscheidungsfindung verbessern, indem sie die Bandbreite möglicher Ergebnisse aufzeigen und Unsicherheiten quantifizieren. Sie helfen bei der Risikobewertung, erhöhen die Genauigkeit und unterstützen bessere Entscheidungen. Insbesondere in kritischen Situationen für einige unserer Kunden im klinischen Bereich und in den Biowissenschaften ist ihr Nutzen auch für das Risikomanagement sowie für Branchen wie die Pharmaindustrie und die Life-Science-Industrie von Bedeutung. Vielen Dank für die Einladung. Hier ist meine Präsentation.
