Hallo, mein Name ist Abby Collins und ich bin Statistikerin bei FUJIFILM Biotechnologies. Heute präsentiere ich Ihnen unser von mir entwickeltes Add-in für Vergleichsanalysen, mit dem wir statistische Analysen durchführen. Zur Motivation für dieses Add-in: Wir bei FUJIFILM sind ein Auftragsentwicklungs- und -herstellungsunternehmen für Arzneimittel. Ein Teil unserer Entwicklungsarbeit umfasst die Durchführung von Scale-Down-Modellanalysen bzw. Kleinmaßstabsanalysen. Diese Analysen ermitteln die Äquivalenz unserer Daten aus der Großproduktion auf einen kleinen Maßstab, sodass wir den Prozess und die kritischen Qualitätsmerkmale im Großmaßstab weiterentwickeln und untersuchen können.
Eine Möglichkeit, die Äquivalenz dieser beiden Skalen zu bestimmen, ist die statistische Analyse. Zweck und Motivation dieses Add-ins ergeben sich aus dieser Analyse. Mit diesem Add-in können wir alle statistischen Analysen durchführen, die auch für das Scale-Down-Modell erforderlich sind.
Kommen wir nun zum Hintergrund. Hier sehen Sie ein Bild eines 2.000-Liter-Bioreaktors. Die Daten stammen aus der kommerziellen Großproduktion. Sie erkennen deutlich den enormen Unterschied zu unserem winzigen 250-Milliliter-Bioreaktor. Genau diesen werden wir für unsere Laborprozesse verwenden. Daher müssen wir die Vergleichbarkeit dieser beiden Maßstäbe prüfen.
Um dies statistisch durchführen zu können, benötigen wir drei umfangreiche Datenpunkte für die Analyse. Da wir uns zum Zeitpunkt dieser Analyse noch in einer frühen Entwicklungsphase befinden, stehen uns oft keine großen Datensätze zur Verfügung. Wir benötigen jedoch mindestens drei Datenpunkte. Wir empfehlen daher stets, dieses Add-in im Zuge der weiteren Entwicklung und Fertigung mit zunehmender Datenverfügbarkeit erneut zu evaluieren und gegebenenfalls wiederzuverwenden.
Kommen wir nun zum eigentlichen Add-in. Wie Sie im Bild der Datenstruktur sehen, habe ich einen Screenshot eines Datensatzes eingefügt, der sich gut für die Verwendung dieses Add-ins eignet. Die einzige Voraussetzung für die Ausführung des Add-ins ist eine Spalte für die Lauf- oder Zeilenidentifikation (gelb hervorgehoben) sowie eine Spalte für die Gruppenidentifikation. Ihre Daten müssen also nach diesen beiden Gruppierungsebenen gruppiert sein. Ansonsten ist das Add-in jedoch unabhängig von den Spaltennamen und Gruppennamen. Ob Lauf-ID, Gruppennamen oder Spaltennamen – das spielt keine Rolle. Das Skript ist in allen Fällen robust. Es ist lediglich erforderlich, dass Ihre Daten korrekt gestapelt sind und dass Sie neben Ihren eigentlichen Daten mindestens diese beiden Informationsspalten besitzen.
Kommen wir nun zum Ausführen des Add-Ins. Das erste Fenster, das sich öffnet, ist das Fenster für den SSM-Äquivalenztest. Hier geben Sie die Struktur Ihrer Daten ein, damit das Skript sie erkennen und analysieren kann. Die Spalte für die Zeilen- oder Laufidentifikation ist in diesem Beispiel die Laufnummer. Die Spalte mit dem Lauftyp bzw. der Gruppierungsvariablen ist hier die Skala. Innerhalb dieser Gruppierungsvariablen wird die Referenzgruppe abgefragt, in diesem Fall die großskalierten Daten. Die Testgruppe für den Vergleich sind die verkleinerten, kleinskalierten Daten. Die Spalte mit dem ersten Parameter für den eigentlichen Äquivalenztest, also die erste numerische Spalte, ist in diesem Beispiel Spalte 3.
Weiter geht es mit der nächsten Eingabeaufforderung. Im nächsten Fenster werden Sie aufgefordert, die numerischen Spalten Ihres Datensatzes auszuwählen, die analysiert werden sollen. Es werden alle numerischen Spalten Ihres Datensatzes aufgelistet, und Sie können beliebig viele auswählen. Das ist praktisch, da das Add-in automatisch eine Teilmenge der ausgewählten Spalten erstellt. Selbst bei einem sehr großen Datensatz müssen Sie sich also nicht erst um die Aufteilung in Teilmengen kümmern. Das können Sie direkt hier erledigen.
Was genau macht das Add-in im Hintergrund, wenn es ausgeführt wird? Dieses kleine Flussdiagramm zeigt, was das Add-in im Hintergrund tut. Im oberen Feld nach der Benutzereingabe sehen wir, dass wir zusammenfassende Statistiken nach Skala für Ihre Daten erhalten. Darauf gehe ich jetzt nicht weiter ein. Ich zeige Ihnen das in der Ausgabe. Auch auf das untere Feld mit der Bezeichnung „Six Sigma Streudiagramm“ gehe ich später ein. Wir werden das in der Ausgabe genauer betrachten. Aber das Flussdiagramm in der Mitte – darauf möchte ich hier eingehen.
Im Hintergrund prüft das Add-in, ob zwischen den beiden Gruppen Varianzgleichheit besteht. Dazu werden der Brown-Forsythe-Test, der Levene-Test und ein F-Test herangezogen. Sind zwei dieser drei Tests mit einem p-Wert größer als 0,05, geht das Add-in von gleicher Varianz zwischen den Gruppen aus und führt anschließend einen gepoolten t-Test, den Welch-Test und einen TOST-Test (zwei einseitige t-Tests mit gepoolter Varianz) durch. Sind hingegen zwei dieser drei Tests nicht erfolgreich (p-Wert kleiner als 0,05), geht das Add-in von ungleicher Varianz zwischen den Gruppen aus und berechnet die Ergebnisse für einen Standard-t-Test, den Welch-Test und einen TOST-Test mit ungleicher Varianz.
Wenn Sie schon einmal einen TOST-Test in JMP durchgeführt haben, wissen Sie, dass Sie die praktische Äquivalenz festlegen und in die Äquivalenztestplattform eingeben müssen. Dieses Add-in generiert die TOST-Ergebnisse jedoch automatisch und verwendet dabei eine praktische Äquivalenz, die dem Dreifachen der Standardabweichung Ihrer Referenzgruppe entspricht. In unserem Fall ist das das Dreifache der Standardabweichung unserer umfangreichen Daten für jeden in die Analyse einbezogenen Parameter.
Da wir uns noch in der frühen Entwicklungsphase befinden, verfügen wir derzeit in den meisten Fällen noch nicht über eine fundierte, wissenschaftlich untermauerte und praxisnahe Vergleichsmethode. Die Verwendung des Dreifachen der Standardabweichung ist jedoch ein guter Ausgangspunkt, da uns diese Information nicht immer vorliegt. Genau das leistet dieses Add-in: Es verwendet diese Information und generiert automatisch TOST-Ergebnisse. Anschließend erstellt das Add-in eine Übersichtstabelle aller Testergebnisse sowie der zugehörigen JMP-Ausgabe.
Nun werde ich das Add-in vorführen und über die Ergebnisse berichten.
Hier ist die Datentabelle, die Sie auf dem Poster gesehen haben. Ich gehe jetzt zu meinen Add-Ins. Dann klicke ich auf „Vergleichsanalyse“ und fülle das erste Fenster aus. Was ist meine Spalte für die Lauf-ID? Das ist die Laufnummer. Was ist meine Lauftypgruppe? Das ist der Maßstab. Meine Referenzgruppe sind meine groß angelegten Daten. Meine Testgruppe sind die klein angelegten Daten. Die erste Spalte, die ich testen möchte, ist Spalte 3. Die Eingabe von Groß- und Kleinbuchstaben ist wichtig. Achten Sie also darauf, Großbuchstaben zu verwenden, falls diese im Datensatz vorkommen. Ich klicke auf „OK“. Vielleicht möchte ich die Parameter 5 und 6 nicht einbeziehen. Deshalb halte ich die Strg-Taste gedrückt und wähle alles außer diesen aus. Ich klicke auf „OK“.
Das Schöne daran ist, dass wir jetzt einen JMP-Bericht mit allen Ergebnissen dieser Vergleichsanalyse haben. Oben sehen wir eine Teilmenge der Daten, die ich für diese Analyse ausgewählt habe. Alle Parameter außer Parameter 5 und 6 fehlen, da ich diese nicht ausgewählt habe. Anschließend folgen die zusammenfassenden Statistiken für die ausgewählten Parameter, aufgeschlüsselt nach unserer Skala. Wir haben also unsere Daten für große und kleine Skalen. Standardmäßig werden im Add-in Minimum, Maximum, Mittelwert, Standardabweichung und Stichprobengröße pro Gruppe angezeigt. Danach erhalten Sie eine übersichtliche Tabelle mit allen Vergleichsergebnissen, die mit diesem Add-in durchgeführt wurden. Die ersten drei Spalten zeigen die Testgruppe, die Anzahl der Fehler und die Erfolgsquote. Diese drei Spalten gehören zum Six-Sigma-Streudiagramm, das Sie hier sehen.
Betrachtet man dieses Diagramm, stellt der grüne Bereich den Six-Sigma-Bereich dar. Branchenkennern ist dieser Begriff möglicherweise geläufig. Er entspricht drei Standardabweichungen ober- und unterhalb unserer Referenzdaten, also unserer Datengruppe. Dadurch entsteht dieser grün schattierte Bereich. Weiter unten ist eine rote Linie zu sehen. Diese stellt den Durchschnitt Ihrer Testdaten dar. Die blaue Linie repräsentiert den Durchschnitt unserer Referenzdaten. Zusätzlich sind die einzelnen Datenpunkte und der Gesamtdurchschnitt als schwarze Linie eingezeichnet. Die Testgruppe gibt die Anzahl der Datenpunkte in Ihrer Testgruppe an. Dies sind meine Testdaten. Die Fehleranzahl entspricht der Anzahl der Datenpunkte außerhalb des Six-Sigma-Bereichs Ihrer Testdaten. Die Erfolgsquote ist der Anteil der Datenpunkte innerhalb des Six-Sigma-Bereichs. Da 7 von 8 Datenpunkten im grün schattierten Bereich liegen, beträgt unsere Erfolgsquote laut diesem Streudiagramm 88 %.
In der nächsten Spalte finden Sie unsere Testannahmen. Das Add-in führt im Hintergrund die Tests auf Varianzgleichheit durch. Bei zwei von drei positiven Ergebnissen wird „Varianzgleichheit“ angezeigt. Andernfalls wird „Varianzungleichheit“ angezeigt. Hier finden Sie den entsprechenden p-Wert des t-Tests, der zu dieser Testannahme gehört. Bei Varianzgleichheit entspricht der p-Wert dem eines gepoolten t-Tests, bei Varianzungleichheit dem des Standard-t-Tests. Die Spalte zeigt dann an, ob der Test bestanden oder nicht bestanden wurde. Ein p-Wert größer als 0,05 bedeutet, dass kein signifikanter Mittelwertunterschied zwischen den beiden Gruppen besteht. Ein p-Wert kleiner als 0,05 bedeutet hingegen, dass der Test nicht bestanden wurde, da ein signifikanter Mittelwertunterschied zwischen den Gruppen vorliegt. In ähnlicher Weise haben wir den P-Wert für den Welch-Test und entscheiden anhand dieses P-Werts auch über Bestehen/Nichtbestehen.
Anschließend werden die Ergebnisse unserer TOST-Bewertung angezeigt. Es gibt die Optionen „äquivalent“ und „nicht äquivalent“. Dies sind die einzigen Optionen, die standardmäßig in JMP angezeigt werden. Wenn ich hier nach der Zusammenfassung der Ergebnisse nach unten scrolle, sehe ich, dass alle Informationen zur Anpassung der Variablen Y an die Variablen X, die zu diesen Testergebnissen geführt haben, weiterhin in diesem Bericht enthalten sind. Hier sehen wir unser Standarddiagramm mit den Mittelwert-Rauten sowie die Tukey-Kramer-Kreise. Außerdem sind die Informationen zum t-Test, zum Varianztest und zum Welch-Test dargestellt. Weiter unten finden wir auch die Ergebnisse des Äquivalenztests bzw. der TOST-Bewertung. Wir sehen das Konfidenzintervall, den blau schattierten Äquivalenzbereich, den rot markierten Bereich für nicht äquivalente Ergebnisse sowie alle Informationen zu allen einbezogenen Parametern.
Standardmäßig bleibt das Add-In geöffnet. Wenn ich es minimiere, ist das Fenster „Y x X-Plattform anpassen“ geöffnet. Auch die Plattform, auf der die Streudiagramme erstellt wurden, ist geöffnet, sodass Sie diese in der Datentabelle speichern können. Hier wird diese DT-Teilmenge erzeugt, also die Teilmenge Ihrer Daten mit den von Ihnen ausgewählten Parametern. Ich habe diese Fenster des Add-Ins geöffnet gelassen, damit Sie die Daten in der Datentabelle speichern und die Datentabelle speichern können, falls Sie später darauf zurückgreifen möchten oder sich Ihre Daten aktualisieren. Sie müssen das Add-In dann nicht erneut ausführen. Alles ist hier gespeichert. Ich minimiere nun die Fenster und kehre zur Präsentation zurück.
Eine weitere Sache, die ich bezüglich unserer Ergebnisse ansprechen möchte. Wir erstellen diese Ergebnistabelle. Wie Sie hier sehen, habe ich einfach eine kombinierte Datentabelle erstellt, indem ich mit der rechten Maustaste auf die Zusammenfassungsergebnisse geklickt und diese in eine Datentabelle umgewandelt habe. Anschließend sehen Sie eine statistische und eine wissenschaftliche Schlussfolgerung. Die statistische Schlussfolgerung basiert auf diesen statistischen Ergebnissen. Sie wird grün angezeigt, wenn alle für diese Analyse ausgewählten Tests zu 100 % bestanden wurden.
Wenn ein Test aus irgendeinem Grund fehlschlägt, wird dies statistisch gesehen rot markiert, um anzuzeigen, dass wir irgendwo einen Fehler gemacht haben. Gelb wird nur dann angezeigt, wenn wir alle Tests bestehen, außer einem unklaren TOST-Ergebnis. Ein unklares TOST-Ergebnis definieren wir als ein Ergebnis, bei dem sich das Konfidenzintervall – wie in diesem Beispiel – sowohl im Bereich der äquivalenten als auch der nicht-äquivalenten Tests überschneidet. Da wir also weder bei 100 % der Fälle mit „bestanden“ noch bei 100 % der Fälle mit „nicht bestanden“ rechnen, definieren wir dies technisch gesehen als ein unklares Ergebnis. In diesem Fall wird es gelb markiert. Andernfalls, wenn wir ein unklares Ergebnis haben, aber einen anderen Test nicht bestehen, wird hier Rot angezeigt.
Sie sehen in diesem Beispiel die rote Markierung, da die Streudiagrammdaten kein 100%iges Ergebnis liefern und der TOST-Test nicht eindeutig ist. Daher die rote Markierung. Anschließend leiten wir die Daten an unsere Wissenschaftler weiter. Wir besprechen alle Ergebnisse mit ihnen. Daraufhin nutzen sie ihr Fachwissen über das untersuchte Attribut oder den Prozess und stützen sich mithilfe der statistischen Daten und ihrer Expertise auf die abschließende Schlussfolgerung zur Äquivalenz im Rahmen unserer Scale-Down-Modellanalyse.
Hier einige zukünftige Arbeiten und der aktuelle Stand des Add-ins. Ich arbeite derzeit daran, den Nutzern die Eingabe einer praktischen Äquivalenz für den TOST zu ermöglichen. Wie bereits erwähnt, verwendet das Add-in standardmäßig das Dreifache der Standardabweichung der Referenzgruppendaten als praktischen Äquivalenzbereich. Sollte dies jedoch nicht immer der Fall sein und Sie entweder einen anderen Multiplikator für die Standardabweichung verwenden oder eine tatsächliche praktische Äquivalenz eingeben möchten, arbeite ich daran, diese Option direkt zu Beginn des Add-ins bereitzustellen. So entfällt die manuelle Eingabe des TOST-Werts. Diese Option ist bereits in Arbeit.
Außerdem möchte ich die Zusammenfassungstabelle so gestalten, dass unklare TOST-Ergebnisse direkt in der Tabelle angezeigt werden, anstatt dass die Standardeinstellung „gleichwertig“ und „nicht gleichwertig“ lautet und man dies manuell ändern muss. Daran wird bereits gearbeitet. Ich wünsche mir zudem mehr Anpassungsmöglichkeiten für unsere Wissenschaftler, die das Add-in verwenden. Sollten sie weitere Tests einbeziehen, eine Teilmenge auswählen oder andere Visualisierungen wünschen, möchte ich ihr Feedback berücksichtigen und einarbeiten. Die Darstellung der Ergebnisse lässt sich immer verbessern, und auch daran arbeiten wir kontinuierlich.
Zusammenfassend lässt sich sagen, dass dieses Add-in für uns sehr hilfreich war, da es den Zeitaufwand für die statistische Analyse deutlich reduziert hat. Wer schon einmal TOST in JMP verwendet hat, weiß, dass man die praktische Äquivalenz manuell eingeben, den Varianztyp auswählen und gegebenenfalls eine Kontrollgruppe festlegen muss. Dies muss für jeden zu analysierenden Parameter einzeln erfolgen.
Die automatische Erstellung von TOST-Tabellen und aussagekräftigen Diagrammen mit nur einem Klick hat uns enorm geholfen, Zeit zu sparen und die Effizienz unserer Analysen deutlich zu steigern. Auch für neue JMP-Nutzer und Wissenschaftler ist es ein großartiges Werkzeug, um selbstständig statistische Analysen durchzuführen. Selbst wenn sie noch keine JMP-Experten sind, werden sie im Umgang mit dem Add-in geschult und können die Ergebnisse interpretieren. Die Bedienung ist denkbar einfach: Ein Klick genügt. Wir sind sehr zufrieden damit und hoffen, diese Verbesserungen in Zukunft weiter auszubauen, das Bewusstsein für Statistik zu stärken und weitere Add-ins zu entwickeln. Vielen Dank.
