Wir setzen unsere Diskussion über ungewöhnliche und potenziell betrügerische Daten aus klinischen Studien fort und konzentrieren uns heute auf Daten, die in CDISC-Findings-Domänen vorkommen. Von dem SDTM-Implementierungshandbuch , Findings-Domänen stellen Daten aus geplanten Auswertungen dar, die bestimmte Tests oder Fragen betreffen. Diese Domänen enthalten beispielsweise Daten aus Labortests; Vitalzeichen wie Blutdruck, Herz- und Atemfrequenz und Körpertemperatur; Daten aus Fragebögen; oder Bewertung der therapeutischen bereichsspezifischen Anzeichen und Symptome. Es gibt zahlreiche grafische und analytische Ansätze, um ungewöhnliche Beobachtungen zu identifizieren, insbesondere wenn diese Daten wiederholt über die Zeit gemessen werden. Hier beschreiben wir zwei unkomplizierte Methoden aus den kommenden JMP Clinical 4.1 das identifiziert irgendeine Form der Datenvervielfältigung.
Unsere vorherige Diskussion konzentrierte sich auf Identifizieren von Personen, die sich möglicherweise mehrmals für eine Studie angemeldet haben typischerweise an mehr als einer klinischen Stelle. Im Allgemeinen tritt jedoch betrügerische Verhaltensweisen innerhalb des Untersuchungsgebiets auf, häufig in einer einzigen oder einer kleinen Anzahl von Zentren. Unsere Fähigkeit, ungewöhnliche Daten zu erkennen, hängt möglicherweise davon ab, wie die Daten an einem Standort vom Rest des Pakets abweichen können. Diese Signale umfassen unterschiedliche Antwortraten und Trends über die Zeit oder ungewöhnliche oder untypische Assoziationen zwischen Variablen. Es ist zwar unkompliziert, zu einem bestimmten Zeitpunkt einen Blutdruck zu erzeugen, doch sind die Auswirkungen der Zeit und die Beziehungen zu anderen Variablen nur schwer zu berücksichtigen. Die heute beschriebenen Methoden beruhen jedoch nicht auf dem Vergleich von Daten zwischen Standorten, außer vielleicht in der Häufigkeit, mit der Treffer auftreten.
Die erste Prüfung für SDTM Findings-Domänen ist die Konstante Erkenntnisse Analyseprozess (AP). Dieser AP sucht nach Tests, bei denen innerhalb eines Subjekts keine Variabilität besteht. Dies könnte ein Hinweis darauf sein, dass die Ergebnisse in der gesamten CRF kopiert wurden. In Abbildung 1 haben wir das Auftreten konstanter Labortests aus der Nicardipine-Studie zusammengefasst. Für Bilirubin scheint es, als hätten 45 Probanden von ihrem Zeitpunkt an, an dem sie in die Studie eintraten, bis zu ihrem Zeitpunkt keine Änderungen an ihren Werten vorgenommen.
Diese Ergebnisse sind zwar ungewöhnlich, weisen jedoch nicht unbedingt auf betrügerisches Verhalten hin. Einige Labortests zeigen über die Zeit eine geringe Variabilität. Bei Probanden, die die Studie vorzeitig abbrechen, kann es auch nur eine Handvoll wiederholter Messungen geben. Wie wir in Abbildung 2 sehen, hatten die meisten Probanden wiederholte Werte, die nur zweimal vor ihrem Abbruch auftraten. Nur in einem Fall hatte ein Subjekt einen Wert, der bei vier Besuchen auftrat. Dies mag durchaus plausibel sein, aber das klinische Urteil wird entscheiden. Auf der anderen Seite, wenn ein Subjekt eine Studie von langer Dauer abschließt und sich bei mehreren Tests über die Zeit hinweg keine Änderung ergibt, kann dies weitere Untersuchungen rechtfertigen.
Die Ergebnisse könnten auch einige Mängel im CRF-Design aufzeigen. Es kann zum Beispiel völlig natürlich sein, bei jedem Studienbesuch Daten für eine körperliche Untersuchung zu sammeln. Für jedes Körpersystem können wir berichten, ob die Untersuchung normal oder anormal war, und wenn sie anormal ist, listen Sie die jeweiligen Anomalien auf. Durch das Sammeln von Daten auf diese Weise können Anomalitätsraten über die Zeit hinweg zusammengefasst werden. Diese Anomalien sind jedoch in der Regel so selten, dass häufig keine Ergebnisse zu berichten sind! Wir stellen nun fest, dass wir feststellen müssen, dass die Probanden bei jedem Besuch der Studie normal waren. Dies kann dazu führen, dass viele Daten durchsucht werden, um etwas Interessantes zu finden (lesen Sie: problematisch!).
Wenn diese spontan auftretenden Abnormalitäten „klinisch signifikant“ sind, könnten wir die Notwendigkeit finden, sie als unerwünschte Ereignisse zu erfassen. Wir sind jetzt in der Lage, Konsistenzprüfungen in verschiedenen CRF-Domänen durchzuführen. Ein einfacherer Ansatz besteht darin, zu dokumentieren, dass körperliche Untersuchungen durchgeführt wurden, aber Abweichungen von körperlichen Untersuchungen als unerwünschte Ereignisse zu melden. Dies reduziert die Menge an gesammelten Daten und macht domänenübergreifende Konsistenzprüfungen überflüssig.
Das Doppelte Datensätze AP identifiziert Variablensätze, die mehr als einmal vorkommen können. Was bedeutet "Aufnahme"? Für unsere Zwecke bezieht sich die Aufzeichnung auf eine Reihe von Tests, die bei demselben Besuch und derselben Zeit (falls zutreffend) von derselben Domäne gemeldet wurden. Dies umfasst häufig ein einzelnes Bedienfeld auf einer CRF-Seite. Zum Beispiel kann ein Satz von Vitalzeichen-Messungen (in der SDTM VS-Domäne gespeichert) für ein Subjekt erfasst werden:
|
|
Besuch |
Systolisch |
Diastolisch |
Puls|
|
Besuch 1 |
140 mmHg |
80 mmHg |
84 bpm
Es wäre äußerst ungewöhnlich, die gleichen exakten Messwerte innerhalb des Subjekts oder zwischen Subjekten an derselben klinischen Stelle zu finden. Mehrere Treffer zwischen zwei Fächern können möglicherweise darauf hinweisen, dass CRF-Seiten zwischen diesen Fächern kopiert wurden. Schlimmer noch: Eine Vielzahl von Treffern kann ein fiktives Motiv identifizieren. Treffer innerhalb eines Subjekts können „übertragene“ Probleme identifizieren, die den oben beschriebenen ähnlich sind, oder sie können Besuche anzeigen, die für das Subjekt nicht tatsächlich stattgefunden haben. Abbildung 3 zeigt das obige Dreifach unter zwei Probanden innerhalb derselben Klinik.
Obwohl ungewöhnlich, ist es möglich, dass eine Aufzeichnung (dh ein Satz von Messungen) zwischen oder innerhalb von Objekten erfolgt. Wenn jedoch derselbe Datensatz bei mehreren Probanden innerhalb eines klinischen Ortes oder über mehrere Besuche oder Zeitpunkte wiederholt wird oder es eine große Anzahl von Tests gibt, die den Datensatz ausmachen (beispielsweise ein Laborpanel mit einem Dutzend oder mehr Tests) ) würde dies eine zusätzliche Untersuchung rechtfertigen.
Wie bereits besprochen, könnten diese ungewöhnlichen Signale völlig plausible Erklärungen haben; Aufgrund einer kleinen Anzahl von Probanden kann es äußerst schwierig sein, daraus zu schließen, dass Daten von einem klinischen Versuchsstandort das Ergebnis von Arglist oder Betrug sind. Ein Vergleich der Häufigkeit von Treffern über Standorte hinweg kann darauf hinweisen, dass etwas Ungewöhnliches stattfindet, und Signale aus verschiedenen visuellen und analytischen Datenprüfungen lassen möglicherweise darauf schließen, dass eine zusätzliche Untersuchung eines klinischen Standortes erforderlich ist.
Identifizieren von multivariaten Inreißern und Ausreißern schrieb:
[...] von JMP Clinical 4.1, mit deren Hilfe ungewöhnliche Beobachtungen identifiziert werden können. Wir haben beschrieben, wie Besuchstermine und Messungen, die in der Klinik durchgeführt wurden, Probleme am klinischen Standort bedeuten können, und erörterten, wie Studienteilnehmer mehrere [...]
Beurteilung der Ähnlichkeit von Probanden der klinischen Prüfung innerhalb des Untersuchungsortes schrieb:
[...] innerhalb der Klinik, ein Thema, auf das ich in meiner Antwort auf einen Kommentar zu einem meiner früheren Beiträge hingewiesen habe. Als Teil dieser Diskussion haben wir einen bevorstehenden JMP-Prozess für klinische Analysen (AP) beschrieben, der [.] ..]
Richard Zink schrieb:
Es gibt ein Beispiel in Buyse et al. Dies beschreibt einen Ort, an dem Daten auftauchten, die unter Verwendung von Polynommodellen 7. Ordnung hergestellt wurden. Ja, es gibt wahrscheinlich Individuen, die solch hochentwickelte Fertigungsstufen erreichen können. Hoffentlich sind diese Personen begrenzt, aber es wird wahrscheinlich die Analyse mehrerer Methoden erfordern, um Sites vorzuschlagen, die genauer überprüft werden sollten, vielleicht vor Ort mit häufigem Monitoring. Die häufige Überwachung klinischer Standorte ist jedoch für klinische Studien mit erheblichen Kosten verbunden, und in jüngster Zeit haben statistische Stichproben von Daten zur Verifizierung der Quelldaten vorgeschlagen. Darüber hinaus ist das manuelle Auditing an einem Standort insofern eingeschränkt, als es schwierig ist, Seiten in einer CRF innerhalb eines Themas zu vergleichen, ganz zu schweigen von Seiten für mehrere Subjekte. Hier ist eine Computerprüfung erforderlich, um die Daten zu überprüfen. In einigen Wochen diskutieren wir Methoden zur Berechnung der Entfernungsmetriken zwischen Probanden sowie Cluster-Probanden innerhalb einer Klinik. Dies kann nützlich sein, um Teilmengen von Objekten zu identifizieren, die einander sehr ähnlich sind, selbst wenn in der Kopie möglicherweise mehrere Werte geändert wurden.
Mike Clayton schrieb:
Diese klinischen Standorte sind sich der Methoden des Data Mining und der Analyse bewusst, die sie "ausspionieren".
Das einfache Kopieren der Testergebnisse wird möglicherweise durch die Erzeugung von Pseudo-Zufallsdaten ersetzt.
Computergestütztes automatisches Fälschen? Ähnlich wie EPA- und TAX-Berichte?
Vielleicht wird der Analyse von Auditergebnissen und längerfristigen Feldergebnissen ein größeres Gewicht beigemessen?
