Continuiamo la nostra discussione su dati insoliti e potenzialmente fraudolenti provenienti da studi clinici, e oggi ci concentriamo sui dati che si verificano nei domini di CDISC. Dal Guida all'implementazione di SDTM I domini di risultati rappresentano i dati delle valutazioni pianificate che riguardano specifici test o domande. Ad esempio, questi domini contengono dati provenienti da test di laboratorio; segni vitali come pressione sanguigna, frequenza cardiaca e respiratoria e temperatura corporea; dati da questionari; o valutazione dei segni e dei sintomi specifici dell'area terapeutica. Esistono numerosi approcci grafici e analitici per identificare osservazioni insolite, in particolare se questi dati vengono misurati ripetutamente nel tempo. Qui, descriviamo due metodi semplici dal prossimo JMP Clinical 4.1 che identificano una qualche forma di duplicazione dei dati.
La nostra discussione precedente si è concentrata su identificare i soggetti che potrebbero essersi iscritti a uno studio più volte , in genere in più di un sito clinico. In generale, tuttavia, il comportamento fraudolento si verifica all'interno del sito di studio, spesso in un singolo o piccolo numero di centri. La nostra capacità di rilevare dati insoliti può dipendere dal modo in cui i dati di un sito possono differire dal resto del pacchetto. Questi segnali includono diversi tassi di risposta e tendenze nel tempo, o associazioni insolite o atipiche tra variabili. Mentre può essere semplice effettuare una pressione del sangue in un dato momento, gli effetti del tempo e le relazioni con altre variabili sono difficili da spiegare. Tuttavia, i metodi che descriviamo oggi non si basano sul confronto dei dati tra siti, tranne forse nella frequenza con cui si verificano i risultati.
Il primo controllo per i domini SDTM Findings è il Risultati costanti Processo analitico (AP). Questo AP ricerca tutti i test in cui non vi è variabilità all'interno di un soggetto, il che potrebbe essere un'indicazione che i risultati sono stati copiati in tutto il CRF. Nella Figura 1, abbiamo riassunto l'occorrenza di test di laboratorio costanti dallo studio di Nicardipina. Per Bilirubin, sembra che 45 soggetti non abbiano cambiato i loro valori dal momento in cui sono entrati nel processo fino al momento in cui sono usciti.
Mentre inusuali, questi risultati potrebbero non indicare necessariamente che si sta verificando un comportamento fraudolento. Alcuni test di laboratorio possono mostrare poca variabilità nel tempo. Inoltre, per i soggetti che interrompono anticipatamente la sperimentazione, potrebbero esserci solo una manciata di misurazioni ripetute. Come vediamo nella Figura 2, la maggior parte dei soggetti aveva valori ripetuti che si sono verificati solo due volte prima che cessassero. Solo in un caso un soggetto ha un valore che si è verificato in quattro visite. Questo può essere del tutto plausibile, ma il giudizio clinico deciderà. D'altra parte, se un soggetto completa uno studio di lunga durata e non vi è alcun cambiamento nel tempo in più test, ciò può giustificare ulteriori indagini.
I risultati potrebbero anche evidenziare alcune carenze nella progettazione del CRF. Ad esempio, potrebbe essere del tutto naturale raccogliere dati per un esame fisico ad ogni visita di studio. Per ciascun sistema corporeo, possiamo segnalare se l'esame è stato normale o anormale e, se anormale, elencare le particolari anomalie. La raccolta dei dati in questo modo ci consente di riassumere i tassi di anormalità nel tempo. Tuttavia, queste anomalie sono in genere così rare che spesso non ci sono risultati da segnalare! Ora scopriamo che dobbiamo riferire che i soggetti erano normali in ogni visita del processo. Ciò può comportare la raccolta di molti dati al fine di trovare qualcosa di interessante (leggi: problematico!).
Inoltre, se queste anomalie che si verificano spontaneamente sono "clinicamente significative", potremmo trovare la necessità di raccoglierle come eventi avversi. Ora siamo in grado di eseguire controlli di coerenza tra domini CRF. Forse un approccio più diretto è quello di documentare che gli esami fisici sono stati eseguiti, ma riportare anomalie degli esami fisici come eventi avversi. Ciò riduce la quantità di dati raccolti ed elimina la necessità di controlli di coerenza tra domini.
Il Record duplicati AP identifica insiemi di variabili che possono verificarsi più di una volta. Cosa significa "registrare"? Per i nostri scopi, la registrazione si riferirà a una serie di test segnalati allo stesso numero di visita e ora (se applicabile) dallo stesso dominio. Questo spesso comprenderà un singolo pannello su una pagina CRF. Ad esempio, un set di misurazioni dei segni vitali (memorizzato nel dominio SDTM VS) può essere raccolto per un soggetto:
|
|
Visita |
Sistolico |
diastolica |
Frequenza cardiaca|
|
Visita 1 |
140 mmHg |
80 mmHg |
84 bpm
Sarebbe estremamente insolito trovare lo stesso insieme esatto di misurazioni all'interno del soggetto o tra soggetti all'interno dello stesso sito clinico. Colpi multipli tra due soggetti possono indicare che le pagine CRF sono state copiate tra questi soggetti. Ancora peggio, un gran numero di accessi multipli può identificare un soggetto fittizio. Colpi all'interno di un soggetto possono identificare problemi "portati avanti" simili a quelli descritti sopra, oppure possono indicare visite che non si sono effettivamente verificate per il soggetto. La figura 3 identifica il triplo sopra tra due soggetti all'interno dello stesso sito clinico.
Mentre insolito, è possibile che un record (ovvero un insieme di misurazioni) avvenga tra o all'interno dei soggetti. Tuttavia, se questo stesso record viene ripetuto tra più soggetti all'interno di un sito clinico, o ripetuto su più visite o punti temporali, o se ci sono un gran numero di test che compongono il record (ad esempio, un pannello di laboratorio di una dozzina o più test ), ciò giustificherebbe ulteriori indagini.
Come abbiamo discusso, questi segnali insoliti potrebbero avere spiegazioni completamente plausibili; e sulla base di un numero limitato di argomenti, può essere estremamente difficile concludere che i dati provenienti da un sito di sperimentazione clinica siano il risultato di malizia o frode. Confrontare la frequenza degli accessi tra i siti potrebbe indicare che sta accadendo qualcosa di insolito, ei segnali provenienti da una varietà di controlli visivi e analitici dei dati potrebbero suggerire che è necessaria una revisione aggiuntiva di un sito clinico.
Identificazione di inlier e valori anomali multivariati ha scritto:
[...] di JMP Clinical 4.1 che aiuta a identificare osservazioni insolite. Abbiamo descritto come le date delle visite e le misurazioni effettuate in clinica possono indicare problemi nel sito clinico e abbiamo discusso di come i partecipanti alla sperimentazione possano apparire multipli [...]
Valutare la somiglianza di soggetti di sperimentazione clinica all'interno del sito di studio ha scritto:
[...] all'interno del sito clinico, un argomento che ho accennato nella mia risposta a un commento a uno dei miei post precedenti. Come parte di quella discussione, abbiamo descritto un imminente processo clinico analitico (AP) di JMP che [. ..]
Richard Zink ha scritto:
C'è un esempio in Buyse et al. che descrive un sito in cui è apparso che i dati sono stati fabbricati utilizzando modelli polinomiali del 7 ° ordine. Quindi sì, è probabile che ci siano individui in grado di tirare fuori tali sofisticati livelli di fabbricazione. Si spera che questi individui siano limitati, ma probabilmente analizzeranno vari metodi per suggerire siti che dovrebbero essere rivisti più da vicino, magari sul posto con un monitoraggio frequente. Tuttavia, il frequente monitoraggio dei siti clinici è un costo molto significativo negli studi clinici e recenti studi hanno suggerito il campionamento statistico dei dati per la verifica dei dati di origine. Inoltre, il controllo manuale di un sito è limitato in quanto è difficile confrontare le pagine di un CRF all'interno di un argomento, molto meno tra le pagine di più soggetti. Qui, la revisione del computer è necessaria per esaminare i dati. Tra poche settimane discuteremo i metodi per calcolare le metriche di distanza tra i soggetti e i soggetti del gruppo all'interno di un sito clinico. Questo può essere utile per identificare sottoinsiemi di soggetti che sono molto simili tra loro, anche se diversi valori potrebbero essere stati alterati nella copia.
Mike Clayton ha scritto:
Questi siti clinici sono ben consapevoli dei metodi di data mining e di analisi che "spiano" su di essi.
La semplice copia dei risultati dei test verrà sostituita dalla creazione di dati pseudo-casuali, forse?
Auto-falso computerizzato? Molto simile ai rapporti EPA e TAX?
Forse potrebbe essere attribuito un peso maggiore all'analisi dei risultati dell'audit e dei risultati sul campo a più lungo termine?
