I recenti aggiornamenti delle Linee Guida sulle Buone Pratiche Cliniche (GCP) (ICH E6[R2]) hanno promosso il concetto di applicazione dei principi della Qualità tramite la Progettazione (QB) alla progettazione, all'analisi e al monitoraggio degli studi clinici nell'industria farmaceutica. I tre aspetti chiave di questo approccio sono: definire, monitorare e rendicontare.
I prodotti JMP sono utilizzati da molti anni nel settore farmaceutico per agevolare l'applicazione del QbD allo sviluppo e alla produzione non clinici; JMP e JMP Clinical sono adatti a svolgere lo stesso tipo di analisi per le sperimentazioni cliniche.
In questa presentazione descriviamo il framework GCP QbD e mostriamo un esempio di come JMP e JMP Clinical possono essere utilizzati per monitorare gli studi clinici utilizzando questo framework.
La mia presentazione verterà su Gestione della Qualità basata sul Rischio, Gestione del Rischio di Qualità, Qualità by Design, Strumenti Associati e Sfide in un Contesto di Sperimentazione Clinica. Sono Chris Wells e lavoro per Roche Products Limited. Vorrei solo precisare che le opinioni espresse in questa presentazione sono mie e non necessariamente quelle di Roche Products Limited.
La gestione della qualità basata sul rischio, nota come RBQM, e la gestione del rischio per la qualità, nota come QRM, di cosa si occupano? La gestione della qualità basata sul rischio fornisce un quadro per la gestione della qualità complessiva di uno studio clinico. Ciò avviene identificando i processi e i dati critici per garantire che le risorse siano concentrate principalmente su tali aree. Lo scopo della gestione della qualità basata sul rischio è garantire che i rischi siano identificati e gestiti in modo proattivo e sistematico durante l'intero processo di sperimentazione clinica.
Mentre la gestione del rischio per la qualità è, ancora una volta, un processo sistematico di valutazione, stima, controllo e comunicazione dei rischi che possono influire sulla qualità della sperimentazione clinica, lo scopo della gestione del rischio per la qualità è identificare potenziali rischi per la qualità e implementare le misure appropriate per mitigarli. La gestione del rischio per la qualità è una componente essenziale di un sistema di gestione della qualità completo ed è essenziale per garantire la sicurezza del paziente e la conformità normativa. La gestione del rischio per la qualità si concentra su tutti i processi e su tutti i potenziali rischi.
Ma perché è così importante? RBQM e QRM sono entrambi componenti essenziali di un sistema completo di gestione della qualità negli studi clinici. Sebbene possano avere obiettivi e metodologie diverse, rappresentano approcci complementari per la gestione del rischio e la garanzia della qualità degli studi. L'implementazione sia di RBQM che di QRM è fondamentale per garantire la sicurezza dei pazienti, l'integrità dei dati e la conformità normativa.
Diamo un'occhiata alla qualità fin dalla progettazione. La qualità fin dalla progettazione è un framework per integrare la qualità nella progettazione, nella conduzione e nel monitoraggio degli studi clinici. Ad esempio, se sono necessari modelli di protocollo standard, moduli elettronici standard per la segnalazione dei casi clinici e l'integrazione delle conoscenze pregresse e della progettazione degli esperimenti utilizzati.
La qualità fin dalla progettazione si basa su quattro componenti principali: le persone, i processi, gli strumenti e la cultura. Per quanto riguarda le persone, sono necessari professionisti qualificati e abituati a gestire il rischio. Sono necessari processi end-to-end per la qualità fin dalla progettazione degli studi clinici e la gestione del rischio per la qualità. Sono necessari sistemi elettronici per garantire approcci coerenti in tutta l'azienda. La cultura, la cultura degli studi clinici e la qualità degli studi clinici devono essere di proprietà del team di studio.
Ora, le linee guida ICH. Queste sono prodotte dal Consiglio Internazionale per l'Armonizzazione dei Requisiti Tecnici per i Prodotti Farmaceutici ad Uso Umano (ICH). È un organismo unico nel suo genere, che riunisce le autorità di regolamentazione e le industrie farmaceutiche per discutere gli aspetti scientifici e tecnici dei prodotti farmaceutici e sviluppare le proprie linee guida ICH. In totale, ci sono 14 linee guida che coprono quattro elementi: qualità, sicurezza, efficacia e multidisciplinarietà. Tuttavia, la RBQM è disciplinata dall'ICH E6 R2 e dall'imminente ICH E6 R3. Queste raccomandano un approccio basato sul rischio alla gestione della qualità.
La qualità fin dalla progettazione è regolata dall'ICH E8 R1 e la qualità dall'ICH Q9. Questi mirano a progettare la qualità negli studi clinici. L'efficacia è regolata dall'ICH E9. I principi delineati nell'ICH E9 (R1) per le stime, o per gli endpoint secondari chiave primari e secondari, sono rilevanti "ogni volta che si stima un effetto di un trattamento o si testa un'ipotesi correlata a un effetto di un trattamento, sia che si tratti di efficacia o sicurezza".
RBQM utilizza diversi strumenti e parametri. I nostri parametri principali sono i limiti di tolleranza della qualità (QTL) e gli indicatori di rischio chiave (KRI). Si tratta di parametri chiave di qualsiasi sistema di gestione della qualità basato sul rischio. I QTL sono pianificati per identificare deviazioni sistematiche a livello di studio, mentre i KRI in genere attivano azioni di mitigazione del rischio a livello di performance del sito. Un esempio di KRI potrebbe essere il tempo medio di inserimento dati presso il sito. Per un QTL, potrebbe essere la percentuale di pazienti che hanno interrotto precocemente il trattamento con il farmaco in studio.
Ci sono un paio di esempi sulla destra dello schermo. In alto c'è il Modello Gerarchico Bayesiano, che è un esempio di metodologia utilizzabile per i limiti di tolleranza della qualità. C'è anche un esempio di metrica KRI.
Un'altra metrica utilizzata è il monitoraggio statistico. Utilizza algoritmi statistici complessi per individuare anomalie e valori anomali nei dati durante lo studio, i cui risultati influenzeranno le varie azioni di monitoraggio o di escalation delle comunicazioni. JMP Clinical è uno strumento ideale da utilizzare durante l'esecuzione del monitoraggio statistico.
Supervisione della qualità dei dati. Si tratta di una serie di altri strumenti progettati per rilevare anomalie o valori anomali nei dati. Ad esempio, la gestione delle query. Ci chiediamo: alcuni siti eseguono più query di altri? Queste query comportano modifiche nei dati? Le query riguardano solo dati critici? È necessario intervenire su questi aspetti e consentire di ridurre il numero di query in uno studio e di assicurarsi che lo studio si concentri sulle query che comportano modifiche nei dati e che interroghi solo dati critici.
La sfida più grande è l'implementazione all'interno del RBQM. Le ragioni delle difficoltà di implementazione sono legate ad aspetti come la metodologia. Esiste un'ampia gamma di metodologie. Fino a poco tempo fa, il settore non comunicava realmente quale metodologia ogni azienda potesse utilizzare. Non c'era alcuna standardizzazione. Ma di recente, diverse organizzazioni si sono unite e hanno redatto documenti su questo argomento. Sta iniziando a diventare un ambiente molto più condiviso. Questo non può che essere positivo per l'intero processo RBQM.
Alcune metodologie richiedono l'accesso a dati storici. Anche in questo caso, può trattarsi di una vera sfida, perché i dati potrebbero essere archiviati, difficili da reperire per qualsiasi motivo, o addirittura non avere una corrispondenza con lo studio attuale che si sta studiando.
Progettare uno studio è una sfida enorme a causa della varietà di studi presenti nel portfolio. Si possono avere studi di piccole dimensioni, studi di piattaforma, studi a canestro e studi di coorte, in cui in realtà si ha solo un numero limitato di pazienti all'interno di ciascun gruppo. Questo può rendere il tutto molto difficile, a seconda delle metodologie utilizzate. Esistono anche studi di progettazione molto complessi e decentralizzati in cui forse i siti non vengono utilizzati nel modo tradizionale.
Anche i tipi di parametri da utilizzare per un KRI o un QTL sono a volte piuttosto difficili da comprendere. Ma credo che con l'implementazione del framework Estimand, i team stiano iniziando a capire più chiaramente dove concentrare le proprie revisioni. Infine, anche con un supporto statistico, non è sempre una scienza esatta.
Un altro elemento di difficoltà è la mancanza di supporto da parte dei dirigenti senior. Questo è fondamentale per il successo del RBQM. Credo che i dirigenti senior stiano comprendendo sempre di più quanto sia importante in tutto il settore. Tuttavia, può essere complesso da implementare e comprendere, e non così chiaro come le carte di controllo nell'ambiente di produzione. Anche strumenti e processi sono complessi da comprendere, sia per quanto riguarda la scelta del migliore utilizzo, sia per la capacità di integrarli. Spesso, all'interno dei team di studio, si riscontra una mancanza di convinzione sulla loro significatività.
Ecco una serie di sfide che i team che creano RBQM devono affrontare. Con questo si conclude la mia presentazione e vorrei passare la parola a Sam.
Grazie, Chris, per questa panoramica sulla gestione della qualità basata sul rischio in questo nuovo framework, che utilizza gli indicatori di rischio chiave e i limiti di tolleranza della qualità, e per alcune delle sfide ad essa associate. Ti mostrerò come puoi svolgere parte di questo lavoro con JMP e anche in JMP Clinical.
Sono Senior Product Manager per la Salute e le Scienze della Vita presso JMP. JMP Clinical è un prodotto mirato e specializzato per la revisione dei dati degli studi clinici. Offriamo agli utenti funzionalità pronte all'uso per effettuare revisioni approfondite degli studi clinici a livello di centro di studio e di soggetto. È utilizzato in tutto il settore farmaceutico e da diverse agenzie regolatorie in tutto il mondo. È focalizzato sulla revisione della sicurezza, sul monitoraggio medico e sul monitoraggio degli studi.
È uno dei nostri quattro principali prodotti JMP: JMP, JMP Pro, JMP Clinical e JMP Live. JMP Clinical è un'estensione di JMP, che funziona su JMP Pro utilizzando il linguaggio di scripting JMP per automatizzare tutte le azioni e i report visualizzati in JMP Clinical.
JMP Pro è un programma completo per l'analisi statistica e la visualizzazione dei dati. Grazie alla sua flessibilità e alla possibilità di essere personalizzato con il linguaggio di scripting JMP, consente di sviluppare applicazioni basate su di esso. Permette inoltre di connettersi ad altri tipi di strumenti come SAS e strumenti open source: R, Python, Matlab.
JMP Clinical utilizza anche standard di dati. Avere uno standard di dati consente di sviluppare analisi standard. Utilizziamo gli standard di dati CDISC, principalmente lo Study Data Tabulation Model (SDTM) o l'Analysis Data Model (ADM). Si tratta di standard di dati obbligatori per le richieste di nuovi prodotti da parte delle autorità di regolamentazione negli Stati Uniti e in Giappone, e raccomandati anche in molte altre regioni.
Disporre di un modello di dati ben definito consente di sviluppare approcci di analisi standardizzati. JMP Clinical lo utilizza da molti, molti anni. Abbiamo pubblicato un articolo recente, linkato lì, in cui potete vedere alcuni esempi di come gli standard dei dati consentano la standardizzazione dei report.
Vorrei ora mostrarvi come fare alcune di queste cose in JMP. Qui è mostrato JMP, in realtà è JMP Clinical in esecuzione. Ho svolto un po' di lavoro per conto mio, analizzando alcuni dati solo per sviluppare un semplice esempio di come si potrebbe combinare uno di questi indicatori di rischio chiave e stabilire i limiti.
Ci concentreremo su due diversi tipi di dati che si possono generare da uno studio clinico. Uno riguarda gli eventi avversi, ovvero gli eventi dannosi che accadono ai soggetti, o eventi avversi di natura medica e di altro tipo che possono o meno essere correlati al farmaco. In questo caso, l'obiettivo è capire qual è il tasso di eventi avversi in generale.
Ho qui un grafico che mostra il numero di eventi avversi per ciascuno dei siti dello studio. In questo caso, ci sono diversi studi nel sito. Credo, circa 25 o 30 siti qui. Questi sono gli eventi avversi che si verificano ogni settimana. Vengono registrati ogni settimana dai soggetti coinvolti nello studio. Si nota uno schema interessante. Si nota questo andamento ascendente-discendente. Si nota anche che spesso i valori aumentano e poi scendono.
In effetti, se vado qui al pannello di controllo, rimuovo l'ID del sito e lo grafico e lo mostro, e questo ordina la somma dei conteggi per i conteggi medi, vedi che sale e poi scende. Ti chiedi: "Cosa sta succedendo?". I soggetti entrano nello studio in momenti diversi. Lo studio inizia, e poi i soggetti iniziano a essere inseriti a ritmi diversi in siti diversi, e quindi c'è un punto in cui si hanno pochi soggetti, e poi ce ne sono sempre di più, e poi soggetti nello studio, poi sempre meno soggetti man mano che si procede nel tempo.
Poiché gli eventi avversi sono proporzionali al numero di soggetti e probabilmente proporzionali all'esposizione dei soggetti ai farmaci o al placebo durante lo studio, anche questo è indicativo. In questo caso, se si osserva di nuovo questo grafico, ciò che accade in questo studio è che il dosaggio avviene ogni due settimane, e questo è un grafico settimanale. Si notano questi piccoli picchi. Sembra che gli eventi avversi si verifichino ogni due settimane. Probabilmente è un'indicazione che il tasso di eventi avversi o il numero di eventi avversi è correlato all'esposizione.
Quello che possiamo fare è analizzare i dati e osservare l'esposizione. L'esposizione indica semplicemente per quanti giorni il soggetto è stato esposto al trattamento, e creare un grafico simile. Osserverò l'esposizione per settimana. Potete vedere che l'esposizione, in tutti i siti, aumenta sempre di più, per poi diminuire. Se la suddividiamo per sito e osserviamo il grafico, ne creiamo uno simile a quello che avevamo prima, e potete vedere un andamento molto simile, con andamento crescente e decrescente, anche nell'esposizione.
Questo fa pensare che se voglio ottenere un quadro accurato del tasso di eventi avversi, devo correggerlo in base all'esposizione al farmaco. Un modo semplice per farlo è semplicemente calcolare un rapporto: prendi il numero di eventi avversi e dividilo per l'esposizione.
Ho lavorato molto sui dati per mettere insieme tutto questo. Ecco una tabella di dati. Mettiamo insieme le due tabelle e calcoliamo semplicemente il rapporto tra il numero di eventi avversi e la somma dell'esposizione. Possiamo osservare il grafico e vedere che si tratta di una sovrapposizione di tutti i siti. Vedete, i dati sono generalmente compresi in un intervallo e abbastanza stabili, ad eccezione di alcuni punti che sembrano essere valori anomali.
Diciamo che ora ho una misura. Ho definito una metrica, che è il tasso di eventi avversi aggiustato per l'esposizione. Ora voglio stabilire dei limiti. Come dovrei stabilirli? Un esempio è se si sa solo da un punto di vista clinico quale dovrebbe essere; si hanno buone conoscenze scientifiche, competenze; si può semplicemente stabilire un limite e disegnarlo sul grafico. Ma molte volte, quello che facciamo è esaminare i dati e dire che si tratta di uno studio storico, e vorremmo solo esaminare qual è la variazione in quei dati e stabilire limiti che si trovano ai margini della variazione dei dati o in un punto qualsiasi basato sulla variazione dei dati.
In questo caso, possiamo osservare la distribuzione di questi risultati. Si scopre che se prendo il logaritmo di questo tasso di eventi avversi corretto per l'esposizione, appare distribuito in modo molto normale. Ciò significa che i dati stessi sono probabilmente logaritmici e distribuiti normalmente, il che è positivo. Significa che posso adattare una distribuzione ai dati e da lì posso stimare i percentili, oppure posso semplicemente utilizzare il percentile osservato. Ci sono molti dati qui, quindi probabilmente possiamo semplicemente utilizzare i percentili.
Un approccio potrebbe essere questo: prendiamo semplicemente il 95° percentile e il 5° percentile di questi, e ovviamente eseguiamo la trasformazione a ritroso, partiamo dal logaritmo, ritrasformiamo alla scala originale e usiamo questi valori come limiti. Inoltre, potresti voler impostare limiti più restrittivi, magari dei limiti di allerta. Forse non indaghi su questi aspetti al di fuori dei limiti di allerta in modo così approfondito o non te ne preoccupi altrettanto, ma potresti volerli impostare anche come limite. Potresti persino usare valori come il 20°-80° percentile come limiti di allerta.
L'ultimo modo per determinare un limite appropriato, se si desidera avere un limite che si ritiene copra la maggior parte dei dati e considerare solo i dati estremi e al di fuori dell'intervallo normale, è calcolare un intervallo di tolleranza con diverse coperture. In questo caso, ho calcolato un paio di intervalli di tolleranza diversi, ma mostrerò sul grafico la copertura del 95% e l'intervallo di tolleranza del 95%.
Se torno qui alla tabella dei dati, la rappresento graficamente. C'è un bel grafico. È in verde, l'intervallo verde è all'interno del limite di attenzione, quindi è il 20°, l'80° percentile. I dati in verde, probabilmente, sono a posto. Ho anche tracciato tutto su una scala logaritmica sull'asse Y perché sembra che i dati siano distribuiti normalmente.
Quindi l'intervallo giallo è l'intervallo in cui... Tutto ciò che rientra nel giallo rientra nella zona di allerta. Probabilmente vorrai controllarlo, ma forse non sei così preoccupato. Quindi, al di fuori dell'intervallo giallo, hai fallito e devi davvero condurre un'indagine più approfondita. Potresti anche usare le linee tratteggiate, che rappresentano il limite di tolleranza superiore e quello inferiore.
È un po' confusionario perché nella terminologia ICH E6, il limite viene chiamato limite di tolleranza della qualità, ma io dico che è solo un limite di tolleranza, che è un limite di tolleranza statistico. Ci sono due significati diversi. C'è un limite di tolleranza statistico. È semplicemente ricavato dai dati, ma c'è un limite di tolleranza della qualità che è essenzialmente la specifica. Non si vuole fallire. Se non lo si supera, bisogna indagare.
Ottimo modo di visualizzare i dati. Potremmo anche andare qui, e magari non volessimo suddividerli per sito. Possiamo semplicemente rimuovere l'ID del sito e considerarlo come un grafico di tendenza, e lì. Ora potete vedere che qui si sta verificando un discreto numero di eventi. I punti sopra indicati sono indicativi di un tasso più elevato di eventi avversi o forse di quella che si chiama sovrastima. Vorremmo chiederci: "Cosa sta succedendo?". Potrebbe essere un segnale legato al trattamento stesso, ma potrebbe anche essere il modo in cui il farmaco viene somministrato, forse il modo in cui vengono registrati gli eventi avversi. Ci sono diverse ragioni per cui potrebbero essere elevati.
Ma poi ci sono anche quelli che sono davvero bassi e insolitamente bassi. Ognuno di questi rappresenta un sito diverso in una settimana diversa. Potrebbe essere che gli eventi avversi vengano registrati correttamente. Bisogna assicurarsi che ciò accada, che gli eventi avversi vengano registrati. Questo è il tasso di esposizione avversa corretto.
L'altro aspetto che potresti voler considerare sono le deviazioni. Le deviazioni si verificano quando il protocollo dello studio non è stato seguito per qualche motivo. Forse qualcuno non ha compilato correttamente un modulo. Forse un esame di laboratorio a cui qualcuno avrebbe dovuto sottoporsi non è stato eseguito. Non è stato registrato. Forse un soggetto ha saltato una visita in cui avrebbe dovuto sottoporsi a una visita regolare e l'ha saltata. Ci sono molte ragioni per cui potresti avere una deviazione. D'altro canto, questo è il conteggio del numero di deviazioni in ogni sede per settimana.
Se si guarda a questo, non è così correlato all'esposizione, ma se tolgo l'ID del sito qui... ricomincio da capo. Osservo la settimana, e in questo caso la renderò nominale, in modo che sia gratuita come una categoria, poi guardo il numero di deviazioni e faccio un grafico a barre qui, che mostra la somma. Ecco fatto. Si può vedere che anche il numero di deviazioni segue un andamento simile, in cui aumenta e poi diminuisce, per poi riprendere e scendere. Questo potrebbe essere correlato all'esposizione.
L'altra sfida è che il periodo di esposizione per questi dati è più o meno questa regione, proprio qui. Ma poi ci sono cose che possono accadere dopo, deviazioni e problemi che vengono rilevati in seguito. Una cosa che ho fatto è stata provare a calcolare il tasso di deviazione corretto per l'esposizione e a tracciarlo su un grafico. Sembra accettabile, ma quello che succede qui alla fine, prima di tutto, dato che non si ha un'esposizione settimanale nell'ultimo periodo dello studio, probabilmente richiede una metrica diversa. Probabilmente bisognerebbe fare qualcosa come l'esposizione cumulativa in un sito e usarla man mano che si procede. Alla fine, si ottiene semplicemente la quantità totale di esposizione avvenuta.
Ma in questo caso non l'ho fatto, ma sarà un aspetto su cui lavorerò in futuro. Anche in questo caso, ho calcolato in modo simile alcuni limiti usando i percentili e li ho sovrapposti al grafico.
Infine, vorrei solo menzionare che, per monitorare le cose nel tempo, sto utilizzando JMP. Al momento non disponiamo di nulla in Clinical che offra esattamente questo framework; tuttavia, ci stiamo lavorando per JMP Clinical e prevediamo di fornire alcune funzionalità in futuro.
Ma un'altra cosa che abbiamo in JMP Clinical è un report di monitoraggio basato sul rischio. Questo report fornisce una visione d'insieme dello studio. Prende tutti i dati dello studio, calcola gli indicatori di rischio chiave e li confronta con criteri definiti. In sostanza, è la stessa cosa che facevamo prima. Solo che la metodologia è leggermente diversa da quella attuale.
Ma se eseguo questo report in JMP Clinical, arriverà nella versione 18. Lo avevamo nella versione 8. Non era nella versione 17, ma ora lo abbiamo nella versione 18. Eseguirò questo report. Anche in questo caso, calcolerà diversi indicatori di rischio chiave e li confronterà con alcune soglie definite nella finestra di dialogo. Hai scelto un file di soglia. Poi lo visualizzerà in un grafico di riepilogo.
C'è la mappa di calore degli indicatori di rischio in base al loro punteggio, che siano rossi, gialli o verdi. Di nuovo, il rosso equivarrebbe essenzialmente a non aver superato un limite di tolleranza per la qualità. Il giallo indica una zona di allerta. Il verde indica che probabilmente va bene. Ci sono diverse metriche. Ci sono metriche basate sulla sicurezza. Ad esempio, il numero di eventi avversi per soggetto randomizzato a settimana, gli eventi avversi gravi a settimana, i decessi per paziente a settimana, la percentuale di decessi per soggetto randomizzato, la percentuale di soggetti randomizzati che hanno interrotto lo studio.
L'interruzione dello studio è un aspetto di cui dovresti preoccuparti, perché i pazienti abbandonano lo studio. Abbandonano perché il farmaco non funziona, perché manifestano eventi avversi o perché non gradiscono il sito in cui si trovano. Le ragioni possono essere diverse. Ci sono anche aspetti legati all'arruolamento. Queste sono violazioni del protocollo. Qualcuno non ha firmato il consenso informato? Quante persone non hanno superato lo screening e non sono state ammesse allo studio?
Poi ci sono gli indicatori di rischio complessivi, che non sono altro che medie ponderate di questi singoli indicatori di rischio. Abbiamo a disposizione un grafico che consente di analizzare i dati complessivi per tutti i siti. Se si desidera approfondire un sito specifico, è possibile visualizzare un grafico a barre con i risultati per i singoli siti.
Questo è tutto ciò di cui abbiamo parlato oggi. Ma questo è un esempio di come è possibile utilizzare JMP e JMP Clinical per monitorare la qualità in base al rischio, creare report e analisi veri e propri e utilizzarli per esplorare i dati e scoprire da dove potrebbero derivare questi problemi in uno studio. Grazie.
