Die QbD-Spalte: Split-Plot-ExperimenteAnmerkung der Redaktion: Dieser Beitrag ist von @ronkenett , @david_s und Benny Yoskovich des KPA-Gruppe . Es ist Teil einer Reihe von Blogbeiträgen mit dem Titel Die QbD-Spalte . Für weitere Informationen zu den Autoren klicken Sie oben auf die Community-Namen der Autoren.
Ron KenettRon KenettRon KenettRon KenettRon Kenett
David SteinbergDavid SteinbergDavid SteinbergDavid Steinberg David Steinberg
Benny YoskovichBenny YoskovichBenny YoskovichBenny Yoskovich Benny Yoskovich
Split-Plot-Experimente sind Experimente mit schwer veränderbaren Faktoren, die schwer zu randomisieren sind und nur auf Blockebene angewendet werden können. Sobald das Niveau eines schwer zu ändernden Faktors festgelegt ist, können wir Experimente mit mehreren anderen Faktoren durchführen, um dieses Niveau festzuhalten.
Um die Idee zu veranschaulichen, beziehen wir uns in diesem Blogbeitrag auf ein Beispiel aus einem QbD-Experiment (Quality by Design) aus der präklinischen Forschung. Wie im erwähnt erster Beitrag In dieser Serie geht es bei QbD um Produkt-, Prozess- und klinisches Verständnis. Hier konzentrieren wir uns darauf, durch die Anwendung experimenteller Designmethoden klinisches Verständnis abzuleiten.
Das Experiment verglich an Tiermodellen mehrere Methoden zur Behandlung schwerer chronischer Hautirritationen [1] . Jede Behandlung umfasste ein oral verabreichtes Antibiotikum zusammen mit einer Creme, die topisch auf die betroffene Stelle aufgetragen wurde. Es gab zwei Arten von Antibiotika und die Creme wurde mit vier verschiedenen Konzentrationen des Wirkstoffs und drei Timing-Strategien getestet.
Das Experiment wurde mit vier Versuchstieren durchgeführt, bei denen sich jeweils acht Stellen auf dem Rücken vom Hals abwärts befanden. Dadurch werden die Seiten durch Tiere „blockiert“. Für jedes Tier können wir per Timing-Option zufällig entscheiden, welche Stellen mit welcher Konzentration behandelt werden sollen. Die Antibiotika sind unterschiedlich. Sie werden oral eingenommen, sodass jedes Tier nur ein Antibiotikum erhalten kann, das dann auf alle Stellen des Tieres wirkt.
Die Analyse umfasste eine Reihe von Ergebnissen, und die wichtigsten waren diejenigen, die die Größe des gereizten Bereichs im Laufe der Zeit als Bruchteil der ursprünglichen Größe an dieser Stelle verfolgten. Das primäre CQA (Critical Quality Attribute), das die Verbesserung im Laufe der Zeit zusammenfasst, ist die Fläche unter der Kurve [2] (AUC), und das ist die Reaktion, die wir in diesem Blogbeitrag analysieren werden. Die AUC ist ein Gesamtmaß für die Heilungsrate, mit niedrigen (hohen) Werten, wenn die Heilung schnell (langsam) erfolgt.
Weitere Informationen zu Split-Plot-Experimenten finden Sie unter das Einführungspapier von Jones und Nachtsheim .
Warum ist die Split-Plot-Struktur wichtig?
In der Studie zur topischen Cremebehandlung bilden die Tiere Versuchsblöcke. Der Hauptgrund für die Berücksichtigung von Blöcken bei der Datenanalyse besteht darin, dass wir erwarten, dass die Ergebnisse von verschiedenen Standorten desselben Tieres einander ähnlich sind, sich jedoch von denen für Standorte anderer Tiere unterscheiden. Diese Eigenschaft machen wir uns zunutze, wenn wir Timing und Konzentration vergleichen. Diese Vergleiche erfolgen auf der Ebene „innerhalb des Tieres“, wodurch die Unterschiede zwischen den Tieren neutralisiert und somit die Präzision verbessert wird. Bei den Antibiotika werden die Unterschiede zwischen den Tieren unseren Vergleich beeinflussen. Die Tatsache, dass wir jedes Tier als Block betrachten, bedeutet, dass wir solche Unterschiede erwarten. Wir müssen dies sowohl bei der Gestaltung des Experiments als auch bei der Analyse der Ergebnisse berücksichtigen.
Was sind ganze Handlungsstränge und Teilhandlungsstränge?
Wir verwenden den Begriff „ganze Grundstücke“ für die Einheiten auf Blockebene und „Untergrundstücke“ für die Einheiten, die in jedem gesamten Grundstück verschachtelt sind. Im obigen Beispiel dienen die Tiere als ganze Parzellen und die Standorte als Unterparzellen. Die Terminologie geht auf Sir RA zurück Fisher, der Pionier der statistischen Versuchsplanung.Fisher arbeitete zu Beginn des 20. Jahrhunderts an einer landwirtschaftlichen Forschungsstation in Rothamsted, Großbritannien. Typische Experimente an dieser Station umfassten den Vergleich von Kulturpflanzenarten, Pflanzzeiten sowie Bewässerungs- und Düngeplänen.
Fisher stellte fest, dass einige dieser Faktoren nur auf große Grundstücke angewendet werden konnten, während andere mit einer viel feineren räumlichen Auflösung angewendet werden konnten. „Ganze Grundstücke“ waren für Fisher also die großen Landstücke und „Untergrundstücke“ die kleinen Stücke, die ein ganzes Grundstück bildeten. Einige Experimente haben mehr als zwei solcher Ebenen. Heutzutage verwenden wir diese Begriffe immer noch, obwohl Split-Plotting viele Arten von Experimenten betrifft, nicht nur Feldversuche in der Landwirtschaft, und die „ganzen Einheiten“ und „Untereinheiten“ normalerweise keine Grundstücke sind. Im QbD-Kontext bestehen sie aus Tiermodellen, wie im hier verwendeten Beispiel, Materialchargen oder dem Aufbau von Produktionsprozessen.
Wann kommt es zum Split-Plot?
Es gibt viele mögliche Ursachen für die Split-Plot-Struktur in einem Experiment. Manchmal, wie oben, haben wir „Wiederholungsmessungen“, jedoch unter unterschiedlichen Bedingungen, am selben Versuchsobjekt. Manchmal umfasst das Experiment mehrere Faktoren, die sich nur schwer auf unterschiedliche experimentelle Werte einstellen lassen, wie z. B. die Temperatur einer Säule oder eines Bioreaktors. In diesem Fall ist es üblich, die schwer veränderbaren Faktoren auf eine Ebene festzulegen und sie für mehrere aufeinanderfolgende Beobachtungen auf dieser Ebene zu belassen, wobei die anderen Faktoren variiert werden. Dies führt zu einem Split-Plot-Experiment mit einem neuen Gesamtplot jedes Mal, wenn die schwer zu ändernden Faktoren auf neue Werte gesetzt werden. Manchmal führt ein Produktionsprozess ganz natürlich zu einer solchen Verschachtelung. Stellen Sie sich beispielsweise ein Experiment zur Verbesserung der Proteinproduktion für ein biologisches Medikament vor. Der Prozess beginnt mit der Züchtung von Zellen in einem Medium; Anschließend werden die Zellen in die Vertiefungen einer Platte überführt, wo sie Protein produzieren. Ein Experiment kann einige Faktoren umfassen, die die Wachstumsphase beeinflussen, und andere, die nur die Proteinproduktion beeinflussen. Durch die Aufteilung der Zellen in einem Kolben auf mehrere verschiedene Wells ist es möglich, die Produktionsfaktoren auf Split-Plot-Ebene zu testen.
Wie entwerfe ich ein Split-Plot-Experiment?
Das benutzerdefinierte Design-Tool in JMP erleichtert die Erstellung eines Split-Plot-Designs. Geben Sie zunächst die Faktoren in Ihrem Experiment ein. Die Split-Plot-Struktur wird mithilfe der Spalte „Änderungen“ in der Faktortabelle angegeben. Die möglichen Einträge dort sind „einfach“, „schwer“ und „sehr schwer“, entsprechend drei Ebenen der Verschachtelung der Faktoren. Auf der Einzelbeobachtungsebene zuordenbare Faktoren werden als „einfach“ deklariert (Standardeinstellung). Faktoren, die nur auf Beobachtungsblöcke angewendet werden können, werden als „hart“ deklariert. Es kann eine dritte Ebene geben, die aus Faktoren besteht, die nur auf „Blöcke von Blöcken“ angewendet werden können, und diese Faktoren werden als „sehr schwer“ bezeichnet. Abbildung 1 zeigt die Faktortabelle für unser Experiment. Antibiotika sind der schwer zu ändernde Faktor, da sie auf das Tier und nicht auf einzelne Stellen angewendet werden. Timing und Konzentration sind numerische Faktoren, da das Unternehmen Informationen zum Vergleich aller betrachteten Ebenen erhalten wollte, ohne eine Extrapolation mithilfe eines Regressionsmodells durchführen zu müssen. Deshalb haben wir beschlossen, alle Faktoren als kategorisch zu deklarieren. Beachten Sie, dass eine Konzentration von 0 bedeutet, dass eine Basiscreme ohne Zusatz der getesteten Verbindung aufgetragen wird. 
Abbildung 1: Faktordefinition für das Experiment
Der nächste Schritt besteht darin, etwaige besondere Einschränkungen anzugeben. Beispielsweise können einige Faktorkombinationen möglicherweise nicht getestet werden, oder es können Ungleichheitsbeschränkungen bestehen, die den Faktorraum einschränken. Anschließend müssen Sie angeben, welche Modellterme Sie schätzen möchten, einschließlich der Haupteffekte und Wechselwirkungen. In unserem Experiment wollte das Unternehmen die Haupteffekte der drei Faktoren abschätzen. Sie wollten Informationen über die Wechselwirkungen zwischen zwei Faktoren, hielten diese jedoch nicht für wesentlich; Das Experiment ist jedoch groß genug, um die Schätzung aller dieser Terme zu ermöglichen. Wenn es weniger Läufe gäbe, könnten wir den Status „erwünscht, aber nicht entscheidend“ angeben, indem wir auf den Schätzbarkeitseintrag für diese Begriffe klicken und die Option „wenn möglich“ auswählen. Siehe Abbildung 2. 
Abbildung 2: Modelldefinition für das Experiment
Anschließend werden wir gebeten, die Anzahl der gesamten Parzellen anzugeben, also die Anzahl der verfügbaren Tiere.Für unsere Studie gab es vier Tiere. Abschließend müssen wir die Anzahl der Läufe angeben. Das Custom Design-Tool empfiehlt eine Standardmustergröße, teilt uns die minimal mögliche Größe mit und ermöglicht es uns, eine Größe anzugeben. In unserem Experiment war es möglich, bei jedem Tier acht Standorte festzulegen, was insgesamt 32 Durchgängen entspricht. Durch Klicken auf die Schaltfläche „Design erstellen“ wird das in Tabelle 1 gezeigte Design generiert. Es gibt vier ganze Parzellen, wobei jedes Antibiotikum zwei davon zugeordnet ist. Es gibt 12 Kombinationen von Timing und Konzentration, aber nur acht Stellen bei jedem Tier. Daher ist es wichtig, eine effiziente Entscheidung darüber zu treffen, welche dieser Behandlungskombinationen den einzelnen Standorten zugewiesen werden. Darüber hinaus gibt es für dieses Allokationsproblem keine Lehrbuchlösung. Dies ist eine Situation, in der der algorithmische Ansatz in JMP äußerst hilfreich ist. 
Tabelle 1: Das 32-Läufe-Design für drei Faktoren in vier gesamten Diagrammen mit jeweils acht Läufen. Der Faktor „Antibiotikum“ kann nur auf der Ebene „Gesamtparzelle“ angewendet werden.
Der von JMP gefundene Entwurf verwendet das Zwei-Stunden-Zeitschema für 12 Standorte und jedes der anderen Schemata für 10 Standorte. Jede Konzentration wird achtmal verwendet. Jede Option „Timing nach Konzentration“ wird entweder zwei- oder dreimal verwendet. (Beachten Sie, dass wir 36 Durchläufe benötigen würden, um eine gleichmäßige Wiederholung der Kombinationen zu erreichen, aber das Experiment hat nur 32 Standorte.) Der Entwurf enthält automatisch eine Spalte „Ganze Diagramme“ – in unserem Experiment erfahren wir hier, welches Tier untersucht wird, also haben wir das geändert Geben Sie den Namen der Spalte in „Tier“ ein.
Wie wirkt sich ein Split-Plot-Experiment auf die Leistung aus?
Die Leistungsanalyse in Tabelle 2 ist aufschlussreich. Wir sehen, dass die Wirkung der Faktoren Timing und Konzentration viel höher ist als beim Antibiotikum. Die höhere Aussagekraft liegt darin, dass wir die Werte dieser Faktoren „innerhalb von Tieren“ vergleichen können und so jegliche Variabilität zwischen Tieren beseitigen. Bei den Antibiotika hingegen wird der Vergleich durch die Variation zwischen den Tieren beeinflusst, sodass die relevante Stichprobengröße tatsächlich vier (die Anzahl der Tiere) und nicht 32 (die Anzahl der Standorte) beträgt. 
Tabelle 2: Leistungsanalyse für das 32-Run-Design
Es ist wichtig zu erkennen, dass die Leistungsanalyse einige Annahmen treffen muss. Dazu gehören die Größe der Faktoreffekte (die erwarteten Koeffizienten) und die Größe der Varianzen.Der Eintrag für RMSE in der Tabelle bezieht sich auf die Site-to-Site-Variante. Es gibt auch eine Annahme über die Größe der Variation „zwischen Tieren“ im Vergleich zur Variation „innerhalb von Tieren“. Die Standardannahme ist, dass sie ungefähr gleich groß sind. Wenn Sie der Meinung sind, dass die meisten Abweichungen zwischen Tieren auftreten, sollte der Standardwert auf eine Zahl größer als 1 geändert werden. Klicken Sie dazu auf das rote Dreieck neben „Benutzerdefiniertes Design“, wählen Sie den Link „Erweiterte Optionen“ und dann den Link „Split-Plot-Varianzverhältnis“.
Wie analysiere ich ein Split-Plot-Experiment?
Die Analyse folgt der gleichen allgemeinen Struktur wie für andere geplante Experimente; Sehen Sie sich die früheren Blogbeiträge dieser Reihe an. Der Hauptunterschied besteht darin, dass wir den Faktor „Tier“ als „zufälligen Effekt“ zum Design hinzufügen müssen. Es ist dieser Zufallseffektterm, der JMP mitteilt, dass es sich bei dem Experiment um ein Split-Plot-Experiment handelt. Verwenden Sie den Link „Modell anpassen“ unter „Analysieren“. Wenn Sie dies über die Designtabelle tun, wird der Zufallseffekt automatisch in die Liste der Modellbegriffe aufgenommen. Wenn Sie anders auf die Daten zugreifen, müssen Sie Animal zur Liste der Modelleffekte hinzufügen und es als Zufallseffekt deklarieren, indem Sie den Begriff markieren und auf das Dreieck „Attribute“ neben der Liste der Modellbegriffe klicken. Die erste Option dort ist „Zufällige Effekte“.
Was ist bei dem Hautreizungsexperiment passiert?
Wir analysieren die Ergebnisse zur AUC.Effektive Behandlungskombinationen weisen niedrige AUC-Werte auf. Tabelle 3 zeigt Tests zur Beurteilung, ob die Faktoren signifikante Auswirkungen haben. Es gibt einen eindeutigen Effekt im Zusammenhang mit der Konzentration (p-Wert = 0,002). Der Effekt für das Timing hat einen p-Wert von 0,076, es gibt also einen Hinweis auf einen Effekt, allerdings deutlich schwächer als für die Konzentration. Die F-Statistik für den Vergleich der beiden Antibiotika ist größer als die für das Timing. Allerdings liegt der p-Wert bei 0,078 und liegt damit nahe am Wert für das Timing. Der Grund dafür ist, dass der Antibiotika-Vergleich auf der Ebene der „gesamten Handlung“ erfolgt und daher eine größere Unsicherheit und eine viel geringere Aussagekraft aufweist als der Vergleich von Zeitstrategien und Konzentrationen. 
Tabelle 3: Wirkungstests
Keine der Wechselwirkungen ist stark. Konzentration ist also eindeutig der dominierende Faktor. Tabelle 4 und Abbildung 3 fassen die geschätzte Wirkung der Konzentration auf die AUC zusammen. Es besteht ein klarer Zusammenhang: Eine höhere Konzentration führt zu einer niedrigeren AUC und damit zu einer schnelleren Heilung. 
Tabelle 4: Geschätzte mittlere AUC für die vier Konzentrationen
Abbildung 3: Diagramm der geschätzten mittleren AUC nach Konzentration
Die Analyse umfasst einen Zufallseffekt für „Tier“, der die Überzeugung des Teams widerspiegelt, dass ein Teil der Variation auf der Ebene „zwischen Tieren“ liegt. Tabelle 5 zeigt Schätzungen der „innerhalb des Tieres“ (Residuum) und der „zwischen den Tieren“-Varianzen.In der Spalte „Var-Komponente“ sind die geschätzten Varianzkomponenten aufgeführt: 0,0029 auf der Ebene „innerhalb des Tieres“ und 0,0010 auf der Ebene „zwischen den Tieren“. Die erste Spalte gibt die Varianz zwischen Tieren als Bruchteil der Varianz „innerhalb der Tiere“ an, die für unser Experiment auf etwa 0,34 geschätzt wird. 
Tabelle 5: Die geschätzten Varianzkomponenten
Was sind die Botschaften zum Mitnehmen?
Die Studie zur topischen Creme lieferte wertvolle Informationen darüber, dass die Creme bei höheren Konzentrationen wirksamer ist. Die Verwendung mehrerer Standorte pro Tier ermöglichte Vergleiche der Konzentrationen und des Zeitpunkts „innerhalb des Tieres“, sodass der positive Effekt einer zunehmenden Konzentration bereits bei einer kleinen Anzahl von Tieren entdeckt werden konnte. Die Variation „zwischen Tieren“ war nur etwa 1/3 so groß wie die Variation „innerhalb der Tiere“. Dies war eine Überraschung, da wir erwartet hatten, dass es erhebliche Unterschiede zwischen den Tieren geben würde. Natürlich basiert die Schätzung der Variation zwischen Tieren auf einer sehr kleinen Stichprobe und ist daher ziemlich variabel, daher werden wir in zukünftigen Experimenten wie diesem weiterhin sorgfältig darauf achten, die Split-Plot-Struktur zu berücksichtigen. Folglich sind Faktoren, die pro Tier und nicht pro Standort verabreicht werden müssen, nur dann nachweisbar, wenn sie sehr starke Auswirkungen haben oder wenn die Anzahl der Tiere erhöht wird.
Kommende Attraktionen
Der nächste Beitrag dieser Reihe befasst sich mit der Anwendung von QbD zum Entwerfen von Analysemethoden unter Verwendung fraktionalfaktorieller und definitiver Screening-Designs.
Verweise
[1] Weitere Informationen zum Testen topischer dermatologischer Wirkstoffe finden Sie im Dokument „Guidance for Industry“ der FDA unter http://www.fda.gov/ohrms/dockets/ac/00/backgrd/3661b1c.pdf [2] Im Beispiel verwenden wir auf [0,1] normalisierte Daten, nachdem wir alle durch die größte AUC dividiert haben. [3] Jones, B. und Nachtsheim, C. (2009). Split-Plot-Designs: Was, Warum und Wie, Journal of Quality Technology, 41(4), S. 340-361.
Split-Plot-Experimente sind Experimente mit schwer veränderbaren Faktoren, die schwer zu randomisieren sind und nur auf Blockebene angewendet werden können.
