Versuchsplanung (Design of Experiments, DOE) und randomisierte Kontrollstudien gelten als Goldstandard zur Bestimmung kausaler Zusammenhänge, und JMP ist die führende Software für DOE. Leider können viele Studien mit dem Ziel kausaler Schlussfolgerungen aufgrund praktischer oder ethischer Einschränkungen nicht als DOE durchgeführt werden, da eine Randomisierung der Behandlungen nicht möglich ist. Es gilt, den Einfluss von Störvariablen zu eliminieren, die zu Verzerrungen in den Beobachtungsdaten führen.
Wir geben einen Überblick über vielversprechende Methoden zur Kausalanalyse, darunter Propensity-Score-Matching-Algorithmen und andere statistische Ansätze, einschließlich eines FDA-Leitlinienentwurfs für die Industrie zur Nutzung von Real-World-Daten. Anhand einer retrospektiven Studiendatenbank, die mehrere klinische Forschungsprojekte des herzchirurgischen Programms am Houston VA Medical Center unterstützt, demonstrieren wir verschiedene Verfahren in JMP. Abschließend geben wir Empfehlungen, Tipps und Hinweise zu potenziellen Fallstricken, die Anwender beachten sollten, wenn die Kausalanalyse das Ziel ist und DOE nicht möglich ist.
Hallo Team Discovery, hier die Vorabversion. Mein Name ist Jim Wisniowski von Adsurgo. Ich freue mich, Ihnen Dr. Lorraine Cornwell, Herzchirurgin am Houston VA Medical Center und am Baylor College of Medicine, vorstellen zu dürfen. Sie leitet außerdem zahlreiche Forschungsprojekte und ist als Projektleiterin tätig. Unser Co-Autor ist Dr. Paweł Kolodziejski, der die Forschungskoordination übernimmt.
Heute möchten wir Ihnen einige Untersuchungen vorstellen, die wir im Rahmen einer Datenbank im Bereich der Herz-Thorax-Chirurgie durchgeführt haben und die nicht auf den üblichen randomisierten kontrollierten Studien basieren. Wir betrachten retrospektive Studien und versuchen, daraus Kausalzusammenhänge abzuleiten.
In meiner Rolle als Berater ist es nicht ungewöhnlich, dass ich Kunden aus verschiedenen Branchen besuche, vor Ort bin und einige Tage lang Versuchsplanung schule, bevor ich dann Predictive Analytics vermittle. Dabei entsteht oft ein Widerspruch: Ich beginne damit, zu erklären, dass Versuchsplanung die Grundlage für die Kausalitätsbestimmung bildet. Sobald wir uns dann der Arbeitswelt von Predictive Analytics, Künstlicher Intelligenz und Maschinellem Lernen zuwenden, muss ich etwas zurückrudern und betonen, dass ich zwar gesagt habe, die Idee der Kausalität stamme aus der Versuchsplanung, aber auch diese anderen Methoden bieten viele Vorteile.
Genau das versuchen wir zu erreichen: herauszufinden, wie wir zu einer gewissen Menge an umsetzbaren Informationen gelangen können, datengestützten, evidenzbasierten Erkenntnissen, die nicht auf randomisierten Kontrollstudien beruhen.
So gehen wir vor: Ich werde kurz auf Evidenz und das Konzept der Versuchsplanung eingehen, zu der auch randomisierte kontrollierte Studien gehören. Anschließend spreche ich über einige Probleme, die in der Welt der randomisierten kontrollierten Studien auftreten, und zeige Ihnen dann eine Demonstration in JMP. Da es sich um eine frühe Benutzerversion handelt, zeige ich Ihnen einige Aspekte der Versuchsplanung, die Ihnen vielleicht noch nicht bekannt sind.
Dann werde ich darauf eingehen, was passiert, wenn wir keine randomisierten Studien haben und stattdessen Beobachtungsstudien durchführen. Eine Methode, mit der wir Verzerrungen kontrollieren, ist das sogenannte Propensity-Score-Matching. Ich werde Ihnen die Konzepte dazu in der Demonstration kurz erläutern. Anschließend übergebe ich an Dr. Cornwell, die anhand eines Beispiels unserer aktuellen Arbeit erläutern wird, wie diese mit den vorliegenden Erkenntnissen zusammenhängt, welche Informationen wir benötigen und welche Evidenzstufen zu konkreten Maßnahmen führen.
Anschließend zeige ich Ihnen einige der Methoden, die mit diesem Beispiel zusammenhängen. Danach stelle ich Ihnen einige weitere, fortgeschrittenere Methoden vor, die in JMP 19 verfügbar sein werden.
Zur Einleitung sei gesagt, dass Korrelation natürlich nicht Kausalität bedeutet. Heute ist August und in manchen Teilen des Landes wahrscheinlich der heißeste Tag des Jahres. Wir wissen ja bereits, dass es einen sehr starken Zusammenhang zwischen Hundebissen, Ertrinken und Eiscremeverkäufen gibt. Es liegt in unserer Verantwortung, weniger Eiscreme zu essen, damit es weniger Hundebisse und weniger Ertrinkungsfälle gibt.
Offensichtlich liegt hier nicht die richtige Kausalität. Es ist vielmehr diese dritte Variable. Ich möchte darauf hinweisen, dass es da draußen eine latente Dimension gibt, die wir oft nicht beobachten. In diesem speziellen Fall könnten wir sie leicht anhand der Temperaturen erfassen. Doch in vielen unserer Arbeiten handelt es sich um eine latente Dimension, die wir nicht kennen, die aber tatsächlich für die Kausalität verantwortlich ist. Das müssen wir erkennen.
In unserer Welt spielen tatsächlich noch einige weitere Faktoren eine Rolle. Diese Korrelation ist ein guter Anfang, aber das eine Ereignis muss auch vor dem anderen eintreten, damit diese Korrelation zustande kommt. Der letzte Aspekt ist die Annahme, dass es sich um eine Scheinkorrelation handelt, für die es keine alternative Erklärung gibt.
Uns wird in der Versuchsplanung erneut erklärt, dass wir so die Kausalität herstellen: Wenn wir Eingangsfaktoren haben, sind es genau diese, die eine Reaktion hervorrufen. Wichtig ist dabei, dass man diese Faktoren kontrolliert. In diesem Versuch werden wir die Temperatur und den Druck auf einen bestimmten Wert einstellen und dann die Reaktion beobachten.
JMP ist seit Langem die bevorzugte Software für das US-Energieministerium (DOE). Seit 2017/18 gibt es die Easy DOE-Plattform, die insbesondere für Einsteiger sehr zu empfehlen ist. Sie bietet hervorragende Workflow-Optimierungen und die Integration des gesamten JMP-Funktionsumfangs in die Easy DOE-Plattform ist bemerkenswert. Normalerweise betrachtet man das DOE-Projekt im Hinblick auf Planung, Entwurf, Durchführung und Analyse. Die Easy DOE-Plattform hingegen umfasst Definition, Modellierung, Entwurf, Dateneingabe, Analyse, Prognose und Berichterstellung.
Dort finden Sie einige hervorragende Referenzen. Falls Sie sich ein Video dazu ansehen möchten: Wir würdigen hier die Gruppe der ersten Anwender. Wir werden uns aber mit randomisierten kontrollierten Studien (RCTs) befassen, die einen Teilbereich der Versuchsplanung (DOE) darstellen. RCTs sind das Kennzeichen der evidenzbasierten Medizin. Tatsächlich begann die Anwendung von RCTs in der Medizin in den 1980er-Jahren in der Kardiologie. Dort wurden zahlreiche wegweisende Studien durchgeführt, die nicht nur den Stand kardiothorakaler Eingriffe und Interventionen, sondern auch die wissenschaftliche Grundlage für die Validität dieser Ergebnisse maßgeblich verbesserten. Der Kerngedanke ist, Verzerrungen der internen Validität zu minimieren.
Wie geht das? Ganz einfach: Man teilt die Patienten per Zufall der Interventionsgruppe oder der Kontrollgruppe zu. Sir Ronald Fischer, der Vater der Statistik, sagte dazu: „Im Grunde ist das alles, was man tun muss: Man wählt jede Person aus, randomisiert sie der Kontrollgruppe oder der Behandlungsgruppe zuordnen. Man braucht sich keine Gedanken über Stratifizierungen zu machen.“
Im Grunde ging es ihm darum, dass alles auf der Nullhypothese basiert. Man sammelt also Daten und fragt sich: Wie hoch ist die Wahrscheinlichkeit, dass die Behandlungs- und die Kontrollgruppe gleichwertig sind? Die Ergebnisse liefern dann die Wahrscheinlichkeit, dass sie es nicht sind. Dabei beließ er es.
Jersey Naiman und Douglas Rubin erweiterten diesen Ansatz jedoch und führten die Fehler erster und zweiter Art ein, wodurch der heute übliche RCT-Ansatz entstand. Erwähnenswert ist übrigens Sir Ronald Fischer in seiner Pfeifenrauchwolke in der rechten Ecke. Mitte der 1950er-Jahre erschienen im British Medical Journal zahlreiche Studien, die einen starken Zusammenhang zwischen Rauchen und Krebs belegten – so stark, dass viele Menschen deswegen mit dem Rauchen aufhörten.
Fischer, der fest an die Randomisierung glaubte, schenkte diesen Beweisen jedoch keinerlei Beachtung. Er schrieb Leserbriefe, in denen er dies als falsch bezeichnete. Tatsächlich war er ein enger Vertrauter der Tabakindustrie. Er galt als der König der Statistik und behauptete, es gäbe nicht genügend Beweise. Warum? Weil es keine randomisierten Kontrollstudien gab. Er räumte zwar ein, dass es ethische Bedenken gebe, 3.000 Menschen per Zufall der Rauchergruppe und 3.000 der Nichtrauchergruppe zuzuordnen.
Doch er blieb stur und wollte den Beweisen, dass es durchaus eine starke Korrelation gab, nicht trauen. Da es sich aber nicht um eine randomisierte Kontrollstudie handelte, wollte er sie nicht genehmigen.
Letztendlich, sagte er, gäbe es vielleicht noch eine verborgene Dimension. Vielleicht sei es ein Gen, das nicht nur die Neigung zum Rauchen, sondern auch die Veranlagung zu Lungenkrebs bedinge. Wie sich herausstellte, gab er nie nach und starb kurz darauf an Krebs.
Eine andere Idee ist die Doppelblindstudie, bei der weder der Patient noch der Behandler wissen, um welche Behandlung es sich handelt, ob sie durchgeführt wird oder nicht und ob eine Blockade stattgefunden hat oder nicht.
Das Problem bei einigen der heute üblichen randomisierten kontrollierten Studien ist jedoch, dass sie aus verschiedenen Gründen seltener eingesetzt werden, nicht zuletzt, weil sie als sehr aufwendig wahrgenommen werden. Die Internationale Konferenz zur Harmonisierung der Guten Klinischen Praxis (ICH-GCP) enthält zwar Leitlinien, die eher dem Sinn als dem Wortlaut der GCP entsprechen, schrecken aber viele ab.
Es überrascht nicht, dass randomisierte kontrollierte Studien sehr teuer sind und sich daher eher auf kurzfristige Ergebnisse konzentrieren, da sie aus Kostengründen nicht fortgeführt werden. Wie bereits erwähnt, gibt es ethische Bedenken hinsichtlich des Rauchens und der Fischer-Studie. Letztendlich geht es um die Heterogenität der Behandlungseffekte. Das heißt, um an einer randomisierten kontrollierten Studie teilnehmen zu können, müssen bestimmte Kriterien erfüllt sein. Daher sind die Ergebnisse nicht unbedingt auf die gesamte Zielpopulation übertragbar.
Das hat sich immer wieder gezeigt. Eine Studie aus dem Jahr 2020 untersuchte die wichtigsten Studien. Betrachtete man dann die Ergebnisse aus der Praxis im Vergleich zu den Ergebnissen randomisierter kontrollierter Studien (RCTs), so ergaben sich völlig gegensätzliche Schlussfolgerungen. Wir müssen daher unbedingt darauf achten, unsere RCTs über die interne Validität hinaus zu erweitern. Die Randomisierung dient dazu, Störfaktoren auszuschließen.
Es ist gut, dass die internen Störfaktoren berücksichtigt werden, aber wir übersehen die externen. Wenn wir beispielsweise Personen ab 75 Jahren oder mit einem höheren BMI bewusst von der Studie ausschließen, riskieren wir, dass die Ergebnisse nicht übertragbar sind.
Es gibt einige Leitlinien für gute randomisierte Kontrollstudien, und ich habe darin hervorgehoben, dass für uns, unsere Welt, alles auf einer Vielzahl statistischer Methoden basiert. Wir müssen sicherstellen, dass wir gut randomisieren, die richtige Stichprobengröße haben und Verzerrungen beseitigen. Wir werden einige Möglichkeiten besprechen, wie wir das erreichen können. Die Herz-Thorax-Chirurgen haben ebenfalls eine Initiative gestartet – und das ist erst seit etwa einem Jahr so –, um diese Kontrollstudien zu verbessern und wieder eine Vorreiterrolle einzunehmen, wie sie es in den 80er Jahren getan haben.
Das hat sich bei einigen COVID-19-Fällen wirklich bewahrheitet, wo diese randomisierten Kontrollstudien zu lange dauerten und es mehr evidenzbasierte Informationen gab, die umsetzbar waren, sodass wir bei einigen dieser Interventionen gute Fortschritte erzielen konnten.
Ich zeige Ihnen jetzt kurz JMP, wie Sie eine randomisierte Kontrollstudie durchführen. Wir werden drei Dinge tun. Zunächst zeigen wir Ihnen, wie Sie das in der DOE-Plattform einrichten würden. Zweitens: Unabhängig davon, ob Sie eine randomisierte Kontrollstudie durchführen oder nicht, werden Sie oft gefragt: Wie groß sollte die Stichprobe sein?
Wir werden uns das ansehen und anschließend einige Analysemöglichkeiten betrachten. Ich schalte nun auf die Fachzeitschrift um. Sie haben diese Zeitschrift bereits erhalten. Ich habe sie zusammen mit den Folien in den Unterlagen für diese Sitzung bereitgestellt. Unter der Einleitung finden Sie Informationen zu uns und wie Sie uns erreichen können. Wenn ich nun eine randomisierte Kontrollstudie konzipieren möchte, beispielsweise eine Stratifizierung nach BMI, Alter und Geschlecht vornehmen möchte, da dies in der Regel wichtige Risikofaktoren sind, bei denen wir Unterschiede feststellen, möchten wir sicherstellen, dass alle Gruppen gleich stark vertreten sind.
Ich habe meine Faktoren hier gespeichert, damit ich schnell darauf zugreifen kann. Ich weiß, ich habe erwähnt, dass die einfache Versuchsplanung (DOE) für Sie alle sehr hilfreich ist, aber in diesem speziellen Fall werde ich die reguläre Design-of-Experience-Plattform verwenden, weil ich Ihnen zeigen möchte, wo ich beispielsweise Personen mit sehr hohem BMI und ältere Menschen aufgrund des höheren Risikos möglicherweise nicht in diese Studie einbeziehen möchte.
Wir werden uns an die Vorgaben des Energieministeriums (DOE) halten und hier ein individuelles Design erstellen. Wir müssen lediglich den Faktor laden, und schon kann es losgehen. Hier sehen Sie meine drei BMI-Stufen: niedrig, mittel und hoch, sowie drei Altersstufen. Ich werde nun die unzulässigen Kombinationen verwenden und sowohl den BMI als auch das Alter eingeben. Wir möchten jedoch nicht, dass gleichzeitig eine hohe Altersstufe und ein hoher BMI vorliegen.
Jetzt erstelle ich ein Design, das das für mich erledigt. Wie sich herausstellt, sind vielleicht zwei Ärzte oder zwei Chirurgen an dieser Aufgabe beteiligt. Ich füge eine Gruppe von 30 hinzu, sodass ich insgesamt 60 Teilnehmer habe. Es handelt sich um einen Zufallsblock. Wenn wir sehr viele Chirurgen haben, von denen wir nur zwei betrachten, ergibt sich daraus ein Zufallseffekt. Ich erstelle nun dieses Design. JMP generiert ein Design, das die drei Faktoren BMI, Alter und Geschlecht berücksichtigt. Anschließend müssen wir herausfinden, wer von diesen 60 Durchläufen die Behandlung erhält und wer nicht. Dazu füge ich einfach eine neue Spalte hinzu.
Dies ist für neue Benutzer. Sie werden sehen, wie einfach das ist. Ich gehe zu „Behandlung“ und dann erstellen wir hier eine Formel. Diese Formel sieht folgendermaßen aus: Wenn eine gleichverteilte Zufallsvariable zwischen null und eins einen Wert größer als 0,5 hat, dann gehört sie zur Behandlungsgruppe. Andernfalls gehört sie zur Kontrollgruppe.
Okay, anwenden. Okay. Jetzt habe ich ein Design, das ich hier einfügen kann. Wichtig ist jedoch: Wenn ich jemanden habe, dessen Alter Sie hier schattiert sehen, sehen Sie, dass in dieser Studie niemand sowohl alt als auch mit einem hohen BMI ist. Ebenso habe ich bei einem hohen BMI nur die niedrigen und mittleren Altersgruppen, da diese Regel für mich erfüllt wurde.
Als Nächstes stellt sich die Frage nach der Anzahl der notwendigen Studien. Diese Frage wird üblicherweise mithilfe einer sogenannten Poweranalyse beantwortet. Hierfür nutzen wir den DOE Sample Size Explorer, um die statistische Power zu bestimmen. Nehmen wir beispielsweise an, wir interessieren uns für … Ich betrachte das postoperative Vorhofflimmern und dessen Häufigkeit. Ich weiß, dass diese im Allgemeinen bei etwa 25 % der Gesamtbevölkerung liegt.
Ich wäre daran interessiert zu sehen, ob diese Intervention dazu beiträgt, den Wert beispielsweise auf 15 % zu senken. Dazu betrachte ich zwei unabhängige Stichprobenanteile. Ich setze den Anteil von 0,25 ein. Der Wert von 0,15 ist für uns von praktischer Bedeutung. Sollten wir eine Differenz von 10 Prozentpunkten feststellen, würden wir davon ausgehen, dass dies eine Intervention rechtfertigt, die wir gegebenenfalls in unser Protokoll aufnehmen möchten.
Wenn das der Fall ist und ich nur 60 Versuche wie eben geplant habe, beträgt meine Teststärke lediglich 16,5 %. Wir könnten uns lange mit der Teststärke befassen, aber sie besagt, dass, wenn die Behandlung tatsächlich wichtig ist, dieser Prozentsatz an Fällen angibt, in denen mein Test dies bestätigt, vorausgesetzt, ich beobachte eine Differenz von 10,1. Als Faustregel gilt, dass die Teststärke mindestens 80 % betragen sollte. Wir fügen nun jeweils 250 Versuche und hier 250 weitere hinzu. Damit erreiche ich eine Teststärke von etwa 80 %. So lassen sich solche Versuche planen. Hier sehen Sie die Teststärkekurven. Wenn ich den Wert nach unten verschiebe, sehen Sie, wie die Teststärke abnimmt.
Dies ist ein hervorragendes Werkzeug, um Diskussionen zu führen und Risiken abzuwägen. Es könnte beispielsweise sein, dass Ihr Forschungskoordinator sagt: „Nein, 500 können wir uns nicht leisten. Wir können nur jeweils 100 durchführen.“ Dann sehen Sie: „Okay, in diesem Fall können Sie die Auswirkungen auf die statistische Aussagekraft beobachten.“ Ich schaue Ihnen nun kurz die PowerPoint-Präsentation an, und wir werden anhand der Daten noch einige weitere Ideen besprechen.
Wenn wir keine randomisierte kontrollierte Studie durchführen, was sollten wir dann tun? Eine aktuelle Studie legt nahe, dass wir vielleicht eine pragmatische RCT durchführen sollten, die berücksichtigt, dass wir die formalen Anforderungen einer RCT nicht strikt erfüllen können. Stattdessen könnten wir Technologien wie tragbare Sensoren und virtuelle Nachuntersuchungen verstärkt nutzen und so die Gesamtbelastung reduzieren.
Ähnlich verhält es sich mit Registerstudien, bei denen sorgfältig gepflegte Datenbanken zur Verfügung stehen, die in manchen Fällen sogar besser sind als die Daten einer randomisierten kontrollierten Studie. Hierbei könnte man jedoch zwischen verschiedenen Gruppen randomisieren, beispielsweise zwischen Einrichtung 1 und Einrichtung 2 oder zwischen Anbieter 1 und Anbieter 2.
Die Randomisierung erfolgt auf einer höheren Ebene. Der Grundgedanke ist jedoch, dass diese Datenbank sehr gut validiert und verifiziert ist. Dadurch können Untersuchungen nun sehr schnell durchgeführt werden. Aktuell betrachten wir möglicherweise retrospektive Studien, die einen schlechten Ruf haben, möglicherweise zu Unrecht. Es gibt durchaus Möglichkeiten, auch mit Beobachtungs- und retrospektiven Studien Erkenntnisse zu gewinnen.
Eine Sache, auf die wir in letzter Zeit gestoßen sind und die sehr hilfreich ist, ist die Betrachtung einiger dieser Meta-Studien. Oder systematischer Studien, die beispielsweise neun Veröffentlichungen zu einem Thema aus verschiedenen Kohorten zusammenfassen. Wenn wir diese dann alle betrachten, erhalten wir eine sehr klare Aussage: Entweder sagen sie alle dasselbe aus, oder es gibt Unterschiede, und wir sollten ihnen nicht blind vertrauen.
Diese Metaanalysen sind enorm hilfreich und verfügen über eigene statistische Kennzahlen wie Funnel-Plots sowie Q- und I²-Statistiken. Das gibt Anlass zur Hoffnung. Um auf die FDA zurückzukommen, insbesondere im Zulassungsverfahren für Medikamente: Dort wird nun verstärkt Wert darauf gelegt, Daten und Erkenntnisse aus der Praxis so weit wie möglich in die Studien der Phase 2 und 3 einzubeziehen, bevor Entscheidungen getroffen werden.
Eine der besten Methoden, um aussagekräftige Beobachtungsstudien zu erhalten, ist das Matching. Wenn ich beispielsweise 1.000 Patienten habe, von denen 200 die Behandlung erhalten, bleiben dann noch 800 übrig? Gibt es unter diesen 800 Patienten 200, die den 200 behandelten Patienten sehr ähnlich sind? Ich betrachte die Patienten anhand der von mir festgelegten Kriterien. Beispielsweise möchte ich einen ähnlichen BMI, ein ähnliches Alter und gegebenenfalls weitere ähnliche Merkmale.
Die Idee hinter dem Propensity-Score-Matching ist, dass wir die Teilnehmer so gut wie möglich einander zuordnen. Dadurch wird ein Teil der Verzerrung beseitigt. Unser Problem ist jedoch zweifach: Entweder gibt es eine latente Dimension, die wir übersehen, oder die Variablen sind miteinander verzerrt. Wir wissen nicht, ob es sich tatsächlich um die Wirkung unserer Intervention handelt oder ob es einfach daran liegt, dass sich in der Behandlungsgruppe deutlich mehr jüngere Teilnehmer befanden.
Wir müssen nun die Daten abgleichen und sicherstellen, dass alles so sauber wie möglich ist. Damit übergebe ich das Wort an Dr. Cornwell, der eine unserer laufenden Studien vorstellen wird, die neue Erkenntnisse in diesem Bereich der Kausalanalyse liefern wird.
Vielen Dank, Jim. Mein Name ist Lorraine Cornwell. Ich bin Herzchirurgin, genauer gesagt herzchirurgische Fachärztin. Ich arbeite hier im VA-Krankenhaus in Houston und bin dem Baylor College of Medicine angegliedert. Ich wollte Ihnen kurz erläutern, warum wir uns für diese spezielle Studie interessieren, an der wir arbeiten. Wir untersuchen die zusätzliche Durchführung einer posterioren Perikardiotomie bei Operationen am offenen Herzen und möchten herausfinden, ob dadurch einige der postoperativen Komplikationen reduziert werden können.
Zur Erklärung: Hintergrund dieser Erkenntnisse ist, dass einige postoperative Komplikationen nach einer Operation mit dem Trauma am Herzen und im Brustkorb sowie potenziell zurückgebliebenem Blut zusammenhängen. Die Blutung im Perikardbeutel führt zu einer Entzündung. Diese Entzündung erhöht wiederum das Risiko für Komplikationen wie postoperatives Vorhofflimmern, Herzrhythmusstörungen (z. B. ein persistierendes Hämatom, das eine erneute Operation erforderlich macht), möglicherweise verlängerte Entzündungen mit stärkeren Schmerzen, das Dressler-Syndrom (ein postoperatives Entzündungssyndrom) und einen verlängerten Krankenhausaufenthalt.
Aus der Literatur geht hervor, dass eine bessere Drainage des Perikards möglicherweise zu einem besseren Krankheitsverlauf bei den Patienten beiträgt. Seit etwa zehn Jahren führe ich daher zusätzlich einen kleinen Schnitt an der Rückseite des Perikards durch, um die Drainage zu verbessern. Wir haben uns nun entschieden, anhand von Beobachtungsdaten retrospektiv zu untersuchen, ob sich die Behandlungsergebnisse von Patienten mit diesem Eingriff im Vergleich zu Patienten ohne diesen Eingriff unterscheiden.
Ich weiß, Jim wird uns in JMP noch einmal erläutern, wie er das gemacht hat. Wir wollten aber auch kurz darüber sprechen, wie wir die Relevanz der Studienergebnisse beurteilen, wie wir diese veröffentlichen können und wie wir unsere Praxis aufgrund der Studienergebnisse anpassen. Jim, könntest du bitte zur nächsten Folie wechseln?
Noch einmal: Ab wann liegen genügend Informationen vor, um eine neue Intervention in unser Behandlungsprotokoll aufzunehmen? Es gibt unzählige Faktoren zu berücksichtigen. Bestehen Risiken durch dieses zusätzliche Verfahren? Welche Verbesserungen sind zu erwarten? Überwiegen die Vorteile die Risiken? Was sagen andere Studien? Wie aussagekräftig und aktuell ist die gesamte Evidenzlage? Lässt sie sich auf unsere spezifische Patientengruppe übertragen? Wie Jim bereits erwähnte: Wenn die Studie nur für junge Patienten relevant ist, wir aber ältere, gebrechliche und kranke Patienten haben, trifft dies möglicherweise nicht zu.
Gibt es also empirische Belege, auf die wir uns stützen können? Ist es wissenschaftlich sinnvoll? Welche Kosten entstehen? Es handelt sich um eine sehr einfache Intervention. Wir dachten, sie sei relativ leicht zu untersuchen. Wir glaubten, diese retrospektiven Daten würden anderen bestehenden Studien mehr Glaubwürdigkeit verleihen und unser Protokoll entsprechend standardisieren.
Die nächste Folie, Jim, bitte. Darin geht es darum, wie wir Studien nutzen, um unsere Leitlinien und Empfehlungen festzulegen. Hier wird gezeigt, wie wir Studien auswerten und in Leitlinien einfließen lassen. In den Leitlinien steht dann beispielsweise: „Ist das eine Empfehlung der Klasse 1, also dringend empfohlen?“, „Ist das eine Empfehlung der Klasse 2 oder 3?“
Die Empfehlungsklasse reicht von Klasse 1 (stärkste Empfehlung, bei der die Risiken die Vorteile deutlich überwiegen) bis hin zu Klasse 2a und b. Klasse 2a bedeutet, dass die Maßnahme eine sinnvolle Option darstellt und wahrscheinlich nützlich oder vorteilhaft ist. Die Formulierung ändert sich leicht, da die Empfehlung nur mäßig ist. Klasse 2b hingegen ist schwach und beschreibt eine Maßnahme, die zwar sinnvoll sein kann, aber deren Evidenzlage noch nicht ausreichend ist.
Dann gibt es natürlich noch die Klasse 3, die Klasse 3 ohne Nutzen, bei der entweder kein Nutzen nachgewiesen oder sogar ein starker Schaden nachgewiesen wurde. Es gibt starke Belege für einen tatsächlichen Schaden. Wenn wir mit unseren Organisationen Leitlinien erstellen, prüfen wir, in welche Klasse eine Empfehlung fallen würde. Dazu sehen wir uns – wie auf der nächsten Folie dargestellt – alle Studien zu dieser Fragestellung an und bewerten die Qualität der vorhandenen Evidenz.
Wenn wir von einer Empfehlung der Klasse 1 mit Evidenzgrad A sprechen, bedeutet das, dass es sich um hochwertige Evidenz handelt. Es liegen mehrere randomisierte Studien oder Metaanalysen hochwertiger randomisierter Studien vor. Evidenzgrad B umfasst Evidenz von moderater Qualität, beispielsweise eine oder wenige randomisierte Studien oder kleinere randomisierte Studien. Die Evidenzgrade B und R umfassen nicht einmal randomisierte, gut konzipierte Studien, aber keine randomisierten Beobachtungsstudien.
Das wäre das Evidenzniveau, über das wir in der aktuellen Perikardiotomie-Studie sprechen. Natürlich gibt es auch niedrigere Evidenzniveaus, bis hin zu Expertenmeinungen, was natürlich nicht die erhoffte Evidenz darstellt. Doch manchmal gibt es in der Chirurgie und Medizin Bereiche, für die uns noch keine hochwertigen Studien vorliegen, die aber dennoch von Experten als wichtig erachtet werden.
Um diese Fragestellung zu untersuchen, haben wir unsere Daten analysiert. Wir verfügten über acht Jahre Nachbeobachtungszeit und mehr als 700 Patienten, die sich alle einer offenen Herzoperation unterzogen hatten. Wir verglichen Patienten mit Perikardiotomie mit solchen ohne. Anfänglich hatten wir bereits ohne Propensity-Score-Matching recht gut vergleichbare Gruppen. Anschließend führten wir auch ein Propensity-Score-Matching durch. Beide Datensätze – die nicht-gematchten und die gematchten – zeigten eine Reduktion des postoperativen Vorhofflimmerns.
Es waren fast 10 %. Das Ergebnis war statistisch signifikant. Die Verweildauer war zudem kürzer. Die Patienten wurden schneller aus dem Krankenhaus entlassen und hatten auch weniger Wiedereinweisungen. Die Kaplan-Meier-Kurve für das Langzeitüberleben wies tatsächlich einen deutlichen Unterschied auf, sodass die Patienten mit Perikardiotomie scheinbar länger überlebten. Wir halten diese Information für wichtig und glauben, dass sie zusammen mit anderen, zukünftig veröffentlichten Daten die klinische Praxis verändern könnte. Wir hoffen, an einer großen, multizentrischen, randomisierten Kontrollstudie zu diesem Thema teilnehmen zu können, sofern wir die Finanzierung erhalten. Es ist immer komplex. Aber ich denke, wir überlassen es Jim, die Daten weiter zu analysieren.
Großartig. Vielen Dank, Dr. Cornwell. Ich denke, wir machen gleich weiter… Ich wollte kurz erklären, wie das mit dem Propensity Scoring funktioniert. Aber da wir unter Zeitdruck stehen, präsentiere ich Ihnen jetzt die Ergebnisse. Wir hatten eigentlich 45 Minuten eingeplant, aber es sind nur 30. Ich gehe also direkt zu den Ergebnissen über. Diese spezielle Datei liegt Ihnen leider nicht vor, sie ist noch nicht freigegeben. Wir werden uns jetzt aber einige der Analysen und den Arbeitsablauf ansehen.
Zunächst einmal: Sie sehen hier 426 Spalten. Gerade für neue Benutzer ist es äußerst hilfreich, Spalten zu gruppieren. Hier sind die Risikofaktoren und die Ergebnisse jeweils zusammengefasst. Die Idee ist, dass diese Risikofaktoren – und es gibt noch weitere, aber ich habe hier nur eine Auswahl – in beiden Gruppen relativ homogen sein müssen. Dazu kann ich einfach `ANALYZE Fit Y by X` verwenden, und das Ergebnis ist die Zielvariable. Wir betrachten hier die Perikardiotomie als Intervention.
Die Hoffnung ist, dass wir annähernd die gleichen Prozentsätze haben. Ich sehe aber sofort, dass das nicht der Fall ist, also könnte ich hier die Zellen beschriften. Ich kann die Prozentsätze einfügen. Moment, ich mache das nochmal, aber diesmal mit der Zellbeschriftung nach Prozent. Jetzt sind alle so. Hier sehen wir einen statistisch signifikanten Unterschied hinsichtlich der COPD-Patienten. Der Sinn des Propensity-Score-Matchings ist, die Gruppen so gleichmäßig wie möglich zu gestalten. Denn in diesem speziellen Fall hat sich herausgestellt, dass mehr COPD-Patienten keine Perikardiotomie erhalten haben.
Wir schaffen Vorteile, indem wir Patienten mit Emphysem ausschließen. Eine hervorragende Methode für JMP ist die Anwendung eines lokalen Datenfilters. Dieser Filter prüft, ob die Gruppen übereinstimmen. Wir verwenden Propensity-Score-Matching und haben etwa 286 Patienten mit Perikardiotomie. Nach dem Matching sind die prozentualen Anteile nun nahezu gleich (35 zu 32 %). Diese Vorgehensweise verfolgen wir konsequent.
Das sind zwar Proportionen, aber das Prinzip ist dasselbe, wenn man die Prozentwerte betrachtet. Wenn wir uns beispielsweise Laboruntersuchungen ansehen, bei denen wir möglichst ähnliche Labormittelwerte anstreben, ist das ein wichtiger Aspekt. Deshalb prüfen wir in solchen Studien als Erstes, ob Homogenität vorliegt. Es ist zwar gut, diese bereits zu Beginn der Datenerhebung zu haben, aber noch besser ist sie nach dem Propensity-Score-Matching.
Wenn ich mir nun die Ergebnisanalyse ansehe, kann ich genauso vorgehen. Ich werde die Daten analysieren und Y durch X modellieren. In diesem Fall sind die Ergebnisse die Zielgröße und die Perikardiotomie der Faktor X. Schauen wir uns nun die POF-Werte an. Aus Zeitgründen sehen wir, dass es hier bei POAF einen statistisch signifikanten Unterschied gibt, wenn ich alle Daten verwende. Ich füge die Prozentwerte noch einmal ein. Dieser Unterschied ist ohnehin statistisch signifikant. Wenn ich nun die Propensity-Score-Anpassung mit dem lokalen Datenfilter durchführe und die Abfrage „Haben Sie eine Übereinstimmung gefunden?“ eingebe, sehe ich hier die übereinstimmenden Versionen.
Jetzt sehe ich, dass ich hier tatsächlich eine höhere statistische Signifikanz erreiche. Der Unterschied wird noch deutlicher, wenn ich die Daten korrekt vergleiche. Ich wollte Ihnen außerdem zeigen, dass es sich um die kategoriale Variable handelt. Wichtig für uns in wirtschaftlicher Hinsicht ist jedoch die Aufenthaltsdauer und natürlich auch der Behandlungserfolg. Patienten möchten so schnell wie möglich nach Hause, und die Aufenthaltsdauer ist ein Indikator für die Geschwindigkeit der Genesung.
Wir könnten einen Mittelwerttest durchführen und sehen, dass ein statistisch signifikanter Unterschied besteht. Meistens ist es aber besser, wenn wir uns die Mittelwerte ansehen… Ich zeige sie mal hier. Hier sind sie. Man sieht, dass die durchschnittliche Aufenthaltsdauer achteinhalb bzw. neuneinhalb Tage beträgt. Wir sollten aber auch einen Median-Test durchführen. Ich wollte nur darauf hinweisen, dass man auch die Mediane testen kann. Auch hier haben wir statistische Signifikanz, denn es kommt vor, dass lange Aufenthaltsdauern die Daten verfälschen.
Deshalb konzentrieren wir uns auf die Medianwerte. Wir sehen, dass sich die mittlere Verweildauer um einen Tag unterscheidet. Dies sind einige der Überlegungen zur Ergebnisanalyse. Dr. Cornwell erwähnte, dass wir auch deutlich bessere Überlebensraten beobachtet haben. Dies wird hier auf der Überlebensplattform, „Survival“, dargestellt. Wir werden die Perikardiotomie als Gruppierung verwenden und dann die Überlebenszeit in Jahren betrachten. Anschließend werden wir einen zensierten Wert ermitteln.
Dies ist eine Einführung in die Zensur. Das bedeutet, dass zum Zeitpunkt des Abbruchs noch nicht alle Patienten verstorben waren; diese wurden daher zensiert. Schauen wir uns das nun genauer an: Gibt es einen Unterschied? Wir sehen sofort, dass ein Unterschied besteht. Null bedeutet, dass die Patienten keine Perikardiotomie hatten. Hier sehen Sie die Überlebenswahrscheinlichkeit in Abhängigkeit von der Anzahl der Jahre. Dieser Unterschied zwischen den beiden Kurven ist statistisch signifikant. Wir können uns auch die Überlebenswahrscheinlichkeit nach vier Jahren ansehen. Nach vier Jahren liegt sie bei 81 %. Ohne Perikardiotomie liegt sie bei 81 %, mit Perikardiotomie bei 1, was einer Überlebenswahrscheinlichkeit von 88 % entspricht. Sie sehen also den Unterschied von 8 % in den Überlebensraten.
Abschließend noch kurz zur Veranschaulichung: Bei unseren Analysen stellen wir fest, dass die Auswertung aufgrund der starken Dominanz mancher Risikofaktoren eine Herausforderung darstellt. Wir wissen, dass Alter, Geschlecht und BMI einige der beobachteten Effekte abschwächen können. Wir betrachten verschiedene Aspekte und erstellen Entscheidungsbäume. Ich kann diese Firma wärmstens empfehlen – sie ist hervorragend geeignet, um wertvolle Einblicke zu gewinnen.
Wenn wir beispielsweise POAF betrachten möchten… Aus Zeitgründen schauen wir uns einige dieser Patienten hier an, und wir wollen eine Perikardiotomie durchführen lassen. Wir betrachten hier lediglich die Gesamtwahrscheinlichkeit und die Anzahl. Hier sehen wir, dass etwa 71 % kein postoperatives Vorhofflimmern haben. Wenn wir nun die wichtigste Variable ermitteln, sehen wir, dass bei jungen Patienten (unter 60 Jahren) die Wahrscheinlichkeit bei 91 % liegt, also bei 8 % zu 92 %. 122 unserer Patienten waren so. Dies liefert wichtige Erkenntnisse. Wir sehen, wie entscheidend das Alter tatsächlich ist.
Aber wenn ich hier die jüngere Kohorte untersuche und sie dort aufteile, sehen Sie mal. Letztendlich ist es die Perikardiotomie, die uns hilft, besser zu differenzieren. Die Gesamtrate bei den jungen Patienten liegt bei 8 %. Nach einer Perikardiotomie sinkt die Rate jedoch auf 3 %. Wir könnten noch viel mehr tun, aber die Zeit drängt. Ich werde nun zum Schluss kommen und Ihnen nur mitteilen, dass dies sozusagen der Anfang der Umsetzung dieser Ideen sein könnte, denn mit JMP 19 wird es noch viel mehr geben.
Sie leisten hervorragende Arbeit mit Strukturgleichungsmodellen und Instrumentalvariablen. Die Idee, Propensity-Score-Matching in JMP 19 zu automatisieren, ist vielversprechend. Neben den Standardmethoden nutzen wir auch andere Ansätze. Es stehen großartige Entwicklungen bevor. Die Diskussion um Kausalität gewinnt zunehmend an Bedeutung, da wir uns mit Methoden des 21. Jahrhunderts auseinandersetzen und erkennen, dass es nicht nur um randomisierte Kontrollstudien geht. Vielmehr können wir aus den analysierten Daten und ihren innovativen Forschungsansätzen viele wertvolle Erkenntnisse gewinnen und daraus konkrete Handlungsempfehlungen ableiten.
Ich hoffe, diese Präsentation war hilfreich für Sie, und wir stehen Ihnen gerne für Fragen zur Verfügung. Vielen Dank.
