Bioassays sind eine Schlüsseltechnologie in der biopharmazeutischen Industrie und finden Anwendung in der Grundlagenforschung und der Wirkstoffentwicklung. Aufgrund ihrer Komplexität und der zahlreichen erforderlichen Schritte ist ihre Optimierung entscheidend für die Entwicklung eines zweckdienlichen Bioassays. Dies gilt insbesondere, da die Assays zuverlässig funktionieren müssen, wenn sie für die Freigabe biopharmazeutischer Produkte eingesetzt werden sollen.
Für die Prozessoptimierung gilt die Versuchsplanung (Design of Experiments, DOE) seit Langem als leistungsfähigere Strategie als die Betrachtung jeweils nur eines Faktors. Obwohl bekannt ist, dass häufig komplexe Wechselwirkungen bestehen, findet DOE aufgrund der wahrgenommenen Kosten, des Aufwands und der Komplexität keine breite Anwendung.
In dieser Präsentation zeigen wir, wie die Implementierung von DOE als reguläre Technik bei der Bioassay-Optimierung durch die Identifizierung einer wichtigen Nutzergruppe und die Bereitstellung von Schulungen zur DOE-Plattform von JMP erleichtert wird.
Hallo zusammen! Mein Name ist Swetlana Berger. Ich bin Mathematikerin und Physikerin und habe in quantitativer Genetik promoviert. Schon an meinem ersten Arbeitstag in der Forschungs- und Entwicklungsabteilung von Novartis Vaccines war ich von JMP begeistert. Bei meiner Arbeit im Bereich der nichtklinischen Statistik zur Unterstützung der Entwicklung und Pflege von Bioassays schätzte ich die Flexibilität und die intuitive Bedienung von JMP sehr. Aktuell arbeite ich bei UCB und unterstütze alle statistischen Aspekte der Entwicklung und Validierung von Antikörper-Assays gegen Arzneimittel im Bereich Biomarker und Immunogenität.
UCB ist ein weltweit tätiges biopharmazeutisches Unternehmen, das sich der Verbesserung des Lebens von Menschen mit schweren Erkrankungen verschrieben hat. Bei UCB geht es uns nicht nur um die Entwicklung von Medikamenten. Wir wollen einen echten Unterschied machen. Wir engagieren uns für einen positiven Einfluss auf unsere Patienten und unseren Planeten.
Kommen wir nun zu unseren Therapieschwerpunkten. UCB blickt auf eine lange Tradition in der Urologie zurück und bietet eine Reihe von Lösungen für Menschen mit neurologischen Erkrankungen, darunter beispielsweise Epilepsie und Parkinson. Wir engagieren uns dafür, unsere führende Position und unsere Kompetenzen in neue Bereiche mit hohem ungedecktem Bedarf auszubauen, beispielsweise bei Alzheimer und systemischem Lupus erythematodes.
Neben der Neurologie widmen sie sich auch der Immunologie. An der UCB verfolgen sie das Ziel, eine Welt ohne die Belastung durch immunvermittelte Entzündungskrankheiten wie beispielsweise Osteoporose, rheumatoide Arthritis, Myasthenia gravis und Morbus Crohn zu schaffen.
UCB ist in 36 Ländern tätig und beschäftigt rund 9.000 Mitarbeiter. Unser Engagement in Forschung und Entwicklung zeigt sich darin, dass wir 30 % unseres Umsatzes in diese Bereiche investieren. Ich bin Teil eines größeren Teams, das sich mit der frühen Entwicklung und Statistiken zur Gentherapie befasst.
Heute möchte ich Ihnen die Strategien vorstellen, die wir eingeführt haben, um die Anwendung der Versuchsplanung (Design of Experiments, DoE) als Goldstandard in der Entwicklung von Biomarker- und Immunogenitätsassays an der UCB zu etablieren. DoE ist eine Methode, die es uns ermöglicht, Experimente strukturiert zu planen und auszuwerten. Sie hilft uns, ein experimentelles System zu verstehen und zu optimieren, indem wir alle potenziell einflussreichen Faktoren in einem einzigen umfassenden Experiment untersuchen und so zusätzliche Informationen wie beispielsweise Wechselwirkungen gewinnen.
Die Arbeit in der Bioassay-Entwicklung bedeutet, in einem nicht-GxP-konformen Umfeld zu arbeiten, in dem die Einbindung eines Statistikers nicht zwingend erforderlich ist. Dies steht im Gegensatz zum klinischen Umfeld, in dem alle Analysen und Arbeitsschritte streng reguliert sind und GxP-Richtlinien, wie beispielsweise GCP (Good Clinical Practice) oder GLP (Good Laboratory Practice), von zentraler Bedeutung sind.
In unserem Fall, insbesondere bei Biomarker-Bioassays, unterliegen wir keiner Regulierung. Es wird davon ausgegangen, dass die Laborwissenschaftler die statistischen Fragestellungen selbstständig bearbeiten können. Natürlich haben alle Wissenschaftler im Laufe der Studien ein oder zwei Statistikvorlesungen besucht, aber das ist natürlich nicht vergleichbar mit dem Erfahrungsschatz und dem Fachwissen, das wir Statistiker in diesem Umfeld einbringen können.
Dies könnte aufgrund fehlender innovativer statistischer Methoden auch zu Einschränkungen und Nachteilen führen. Der Mehrwert der frühzeitigen Einbindung eines Statistikers – wie beispielsweise höhere Effizienz, Zeitersparnis, die Bereitstellung korrekter Ergebnisse auf Anhieb und die Entwicklung zweckdienlicher Assays, die den beabsichtigten Anwendungszweck präzise berücksichtigen – muss den Entwicklern aufgezeigt werden, um sie zur Beteiligung zu bewegen.
Nach einiger Zeit erkannten wir, dass die beste Strategie für eine frühere und intensivere Beteiligung an der Assayentwicklung die Mitarbeit in Pilotprojekten war. Entwickler, die an solchen Projekten teilnahmen, wirkten als Multiplikatoren für das gesamte Entwicklerteam, indem sie ihre Erfolge und die gewonnenen Erkenntnisse und Erfahrungen aus der Zusammenarbeit mit Statistikern teilten. Die Strategie hat sich bewährt. Die Resonanz war überwältigend.
Der gestiegene Bedarf an statistischer Unterstützung, nicht nur für das Energieministerium (DoE), sondern auch für dessen Planung und Analyse, führte zu einer erheblichen Arbeitsbelastung für das Statistikteam. Wir wurden regelrecht mit Anfragen zur Zusammenarbeit überhäuft. Wie können wir diese gestiegene Arbeitsbelastung mit unseren begrenzten Ressourcen bewältigen?
Nun wollen wir einen Schritt zurücktreten und den Versuchsablauf (DoE) sowie die Pilotprozesse genauer betrachten. Zunächst prüfen die Wissenschaftler im Labor das gesamte Experiment, alle Parameter und legen die Ziele und kritischen Parameter fest, die sie optimieren möchten. Anschließend besprechen sie mit dem Statistikteam die möglichen Faktoren und Reaktionen, die in den Versuchsablauf einbezogen werden sollen.
In dieser Folie repräsentieren die Farben die beteiligten Akteure. Gelb steht für Laborwissenschaftler und Blau für Statistiker – nur zur Information. Dies spielt eine Rolle. Im nächsten Schritt erstellen die Statistiker mögliche Versuchsdesigns für die Optimierung des Versuchsdesigns (DoE). Obwohl der statistische Aufwand in diesem Schritt blau hervorgehoben ist, gibt es üblicherweise mehrere Planungs- und Diskussionsrunden mit den Laborwissenschaftlern, Anpassungen der Designs und weitere Absprachen. Im nächsten Schritt, der Ausführungsphase, werden die in den vorherigen Schritten geplanten und besprochenen Experimente im Labor durchgeführt. Dies ist die Datengenerierungsphase, die ausschließlich von den Laborwissenschaftlern durchgeführt wird.
Sollte es jedoch aus irgendeinem Grund nicht möglich sein, das DoE-Experiment genau wie geplant durchzuführen, und wir Anpassungen und Änderungen an einigen Aspekten vornehmen müssen, könnten wir jederzeit eine Zwischenbesprechung zwischen Statistikern und Laborwissenschaftlern führen.
Am Ende der Versuchsphase stellen die Laborwissenschaftler die Daten für die statistische Analyse in einem vordefinierten Format zusammen und übermitteln sie zur Auswertung an die Statistiker. Im nächsten Schritt der DoE-Evaluierungsphase analysieren die Statistiker die Daten und erstellen Auswertungen und Zusammenfassungen für alle relevanten Zielgrößen.
Da verschiedene Assays und Assayarten unterschiedliche Schwerpunkte haben – manche konzentrieren sich auf den niedrigen Messbereich und erfordern daher eine höhere Sensitivität, andere auf die Spezifität der Messwerte über den gesamten Messbereich –, gibt es keine Standardstrategie für die Analyse. In jedem Einzelfall erproben wir zunächst verschiedene Auswertungsmethoden, um die geeignetste und informativste zu finden.
Abschließend werden die ermittelten Methoden auf alle Messwerte angewendet. Die Anzahl der Messwerte kann daher je nach Fall zwischen 5 und 10 variieren, aber auch höher sein, abhängig vom Verwendungszweck des Tests. So werden beispielsweise 10 ähnliche Analysen auf die verschiedenen Messwerte angewendet, deren Ergebnisse in einer großen Abschlusstabelle zusammengefasst werden. Diese Tabelle wird dann im letzten Schritt überprüft.
Der letzte Schritt im Versuchsplanungs-Experiment (DoE) ist der spannendste. Die Laborwissenschaftler verbringen gemeinsam mit Statistikern unzählige Stunden damit, die Analyseergebnisse zu überprüfen und zu interpretieren. Dabei gewichten sie die Ergebnisse anhand ihres umfassenden Fachwissens und berücksichtigen Faktoren, die außerhalb des statistischen Aufgabenbereichs liegen. So muss beispielsweise eine optimale Bedingung auch im Hinblick auf ihre Machbarkeit bewertet werden. Die Machbarkeit im Labor umfasst die Arbeitszeiten der Analytiker, die Grenzen der Testverfahren sowie natürlich die Verfügbarkeit von Testauswertern.
Wie Sie vielleicht schon vermutet haben, werden alle Schritte von der Planung über die Analyse bis hin zur Auswertung mit JMP durchgeführt. Das ist in unserem Fall der entscheidende Faktor. Da JMP im Vergleich zu anderer Statistiksoftware sehr intuitiv und benutzerfreundlich ist, stellt es ein attraktives Werkzeug für Einsteiger dar – und genau das war in unserer Situation der Schlüssel zum Erfolg.
Wir haben uns entschieden, eine neue Strategie zur Bewältigung des gestiegenen Arbeitsaufkommens einzuführen, indem wir viele Arbeitsschritte an Laborwissenschaftler auslagern und ihnen so ermöglichen, Versuchsplanungen (DoE) weitgehend selbstständig durchzuführen. Das Bioassay-Statistikteam bietet bei Bedarf Beratung in allen Phasen an. Damit diese Strategie jedoch erfolgreich ist, benötigen wir unbedingt eine fundierte Schulung in der JMP-basierten DoE-Planung und statistischen Auswertung.
So sind wir vorgegangen: Das Team für Bioassay-Statistik hat eine Reihe von vier Schulungen über vier Tage mit ausreichend Zeit dazwischen durchgeführt. Wie Sie den Folien entnehmen können, begannen wir am ersten Tag mit einer Einführung in die statistische Theorie und die Prinzipien der Versuchsplanung (DoE), gefolgt von den Grundlagen von JMP. Wir behandelten wirklich die absoluten Grundlagen: wie man Dateien öffnet und schließt, wie man speichert, die einfache Datenmanipulation und die Visualisierung. Anschließend gingen wir auf die Vorbereitung von DoE-Experimenten ein, wie man die Diskussion der vorzubereitenden Versuchsbedingungen strukturiert und die wichtigsten zu optimierenden Faktoren herausarbeitet.
Am zweiten Tag konzentrierten wir uns auf die Planungsaspekte. Zunächst behandelten wir erneut die statistische Theorie zur Klassifizierung von TV-Designs, gefolgt von der praktischen Planung mit der JMP-Plattform. Wir gingen Schritt für Schritt verschiedene Optionen durch und zeigten, wie ein Versuchsplan (DoE) mithilfe von JMP erstellt werden kann.
Am dritten und vierten Tag widmeten wir uns der statistischen Analyse. Da das Thema so umfangreich ist, teilten wir die Analyse auf zwei Tage auf. Am ersten Tag konzentrierten wir uns auf die deskriptive Analyse und Visualisierung, beispielsweise auf die Erstellung von Streudiagrammen, Histogrammen, Boxplots, Verteilungen usw. Am letzten Schulungstag behandelten wir die statistische Interferenzanalyse und zeigten, wie man Haupteffektmodelle erstellt, Interaktionen berücksichtigt und modelliert, was die einfache lineare Regression ist und wie man sie anwendet.
Schließlich entschieden wir uns für eine fünfte Sitzung, die hier nicht dargestellt ist, sich aber leicht erklären lässt. Wir wollten zwei Monate nach der Schulung eine Sitzung abhalten, in der alle Analyseschritte, die wir jetzt in den Sitzungen 1–4 sehen, anhand eines praktischen Beispiels und der neuen Strategie durchgeführt wurden. Dies war der erste Fall einer Versuchsplanung (DoE), die nach der neuen Strategie durchgeführt wurde.
Zum Abschluss, in der fünften Sitzung, wurde ein Teil des Unterrichts erneut von Laborwissenschaftlern gehalten, die ihre Erkenntnisse und Erfahrungen teilten. Ich denke, dies war der hilfreichste Teil, sozusagen der letzte Abschnitt der Schulung. Ich empfehle Ihnen daher, die fünfte Sitzung ebenfalls durchzuführen, nachdem Sie alle Details der Vorgehensweise durchgegangen sind.
Ich bin nun am Ende meiner Präsentation angelangt und möchte gerne auf das Warum und Wie eingehen. Warum sollten wir die Versuchsplanung (DoE) anwenden? Wir wissen, dass die DoE fundierte Schlussfolgerungen liefert, die als Grundlage für Geschäftsentscheidungen dienen. Dadurch können wir bereits in einem sehr frühen Entwicklungsstadium datengestützte Entscheidungen treffen und so Zeit und Geld sparen. Wir wissen auch, dass die DoE nicht unbedingt weniger Experimente erfordert als der Ansatz, jeweils nur einen Faktor zu untersuchen. Dieser Ansatz wird häufig in Laboren verwendet und soll nun durch die DoE ersetzt werden. Dies ist jedoch nur die kurzfristige Betrachtungsweise.
Wir wissen jedoch, dass das DoE qualitativ hochwertigere Informationen liefert. Es ist präziser, bildet das Gesamtbild ab und enthält mehr Informationen – nicht nur bessere, sondern auch inhaltlich deutlich mehr. Wir bevorzugen es, von Anfang an korrekte Ergebnisse zu liefern und so Nacharbeiten und kostspielige Nachteile bei der Assayentwicklung zu vermeiden.
Zur Frage des Wie haben wir gelernt, dass Pilotstudien in einem ersten Schritt einige positive Beispiele für die Zusammenarbeit von Entwicklern und Statistikern aufgezeigt haben. Anschließend haben wir einen Weg gefunden, die Anwendung von DoE in großem Umfang einzuführen, sodass Entwickler den gesamten Ablauf weitgehend autonom steuern und bei Bedarf das Statistikteam konsultieren können.
Insbesondere investierten wir zusätzliche Zeit in die Schulung sogenannter Key-User, die am Ende die Fragen der ersten Ebene in den Entwicklerteams beantworteten. Dadurch konnten wir uns auch komplexeren Problemen widmen. Wir haben festgestellt, dass eine JMP-basierte, DoE-spezifische Schulung unerlässlich ist. Ohne Schulung ist es unmöglich, sich das Wissen allein durch Ausprobieren anzueignen. Darüber hinaus ist aber auch eine allgemeinere JMP-Schulung sehr hilfreich und wir empfehlen sie ebenfalls.
Ich möchte mich nun für Ihre Aufmerksamkeit bedanken und hoffe, dass Ihnen dies weiterhilft. Ich freue mich darauf, Ihnen während der Konferenz mehr über unsere Erfahrungen und Erfolge zu berichten. Vielen Dank.
