| Oratore |
Trascrizione |
| Olivia Lippincott |
Che cosa |
| sei bello |
È un piacere per me parlarne, ottenere informazioni di alta qualità dal sistema di etichettatura dei farmaci della FDA e nella scoperta JMP. |
| |
Oggi parlerò di quattro parti. Nella prima, fornirò alcune informazioni di base sul monitoraggio post-marketing dei farmaci e sugli sforzi compiuti dall'agenzia regolatoria FDA e dall'industria. Inoltre, utilizzerò un set di dati di etichette di farmaci. |
| |
per analizzare il testo e utilizzare Text Explorer in JMP e utilizzare anche il componente aggiuntivo |
| |
Componente aggiuntivo JMP |
| |
XGBoost analizza queste informazioni DILI e ne fornisce poi la conclusione. Inoltre, in questo JMP Discovery Summit è presente anche il tutorial su XGBoost del Dott. Russ Wolfinger, quindi se sei interessato a XGBoost, vai al suo tutorial. |
| |
Quindi lo sviluppo del farmaco, secondo la descrizione della FDA per la lavorazione del farmaco, |
| |
può essere diviso in cinque fasi e le prime due fasi, scoperta e ricerca preclinica, molte nel |
| |
nello studio sugli animali e nello screening chimico, e poi tre fasi successive coinvolgono l'uomo. E JMP ha tre prodotti, tra cui JMP Genomics, JMP Clinical, |
| |
JMP e JMP Pro, che hanno coperto ogni fase della scoperta di un farmaco. JMP Genomics è il sistema omico che può essere utilizzato per la selezione di biomarcatori clinici e omici, mentre JMP Clinical è specifico per la sperimentazione clinica. |
| |
e monitoraggio post-marketing per la sicurezza e l'efficacia del farmaco. Inoltre, JMP Pro può essere utilizzato per la pulizia dei dati sui farmaci, il data mining, l'identificazione del target, lo sviluppo di formulazioni, DOE, QbD, biotest, ecc. Quindi può essere utilizzato in ogni fase di |
| |
lo sviluppo del farmaco. |
| |
Quindi, nello sviluppo di questo farmaco, la causa singola più frequente, chiamata DILI, può essere effettivamente interrotta per la sperimentazione clinica. |
| |
Il farmaco può essere respinto dall'FDA o da altre agenzie regolatorie, oppure essere ritirato dal mercato una volta immesso sul mercato. Questa è la causa più frequente, la cosiddetta DILI, le cui informazioni sono reperibili nella guida della FDA e in altre pubblicazioni scientifiche. |
| |
cos'è il DILI? In realtà si tratta di un danno epatico indotto da farmaci, |
| |
chiamato DILI e hai FDA, quasi più di 10 anni fa nel 2009, hanno pubblicato una guida per DILI, |
| |
Per quanto riguarda la valutazione e il follow-up, la FDA offre anni di formazione DILI per gli investigatori clinici e queste informazioni sono ancora oggi reperibili online. |
| |
E ci sono le conferenze, organizzate sempre dalla FDA, proprio l'anno scorso. E naturalmente per quanto riguarda la DILI, il modo in cui si definisce il soggetto o il paziente che potrebbe avere un caso di DILI, c'è la Legge di Hy che è inclusa nel |
| |
Linee guida della FDA. |
| |
Ecco un esempio per la valutazione DILI per la sperimentazione clinica, qui nella sperimentazione clinica, |
| |
nella clinica JMP secondo la legge di Hy. Quindi la legge di Hy è la condizione di combinazione per i diversi enzimi epatici quando raggiungono un certo livello, |
| |
allora penseresti che si tratti dei possibili casi della Legge di Hy. Quindi hai potenzialmente danni al fegato. Quindi qui usiamo il colore per identificare il |
| |
possibili casi della Legge di Hy, quello rosso è un sì, quello blu è un no. E anche i diversi round e il triangolo provenivano da gruppi di trattamento diversi. Utilizziamo anche un grafico a bolle JMP per mostrare |
| |
l'aumento degli enzimi nel tempo... tempistica... durante il periodo di sperimentazione clinica. Quindi questo è tipico. Sono 15 giorni. Poi si ha il |
| |
soggetto, l'inizio era abbastanza normale. Poi diventano un po' pazzi, un livello elevato di enzimi epatici indica che sono potenzialmente |
| |
Possibili casi DILI. |
| |
Quindi, la FDA ha due database principali, in realtà può gestire il post-marketing |
| |
monitoraggio della sicurezza dei farmaci. Uno è l'etichetta del farmaco, da cui otterremo i dati. Un altro è il sistema di segnalazione degli eventi avversi della FDA, che |
| |
poi hanno dal NIH e dall'NCBI, hanno lavorato molto attivamente |
| |
hanno creato questo LiverTox e hanno molte informazioni, si occupano del DILI. E la FDA ha un altro database chiamato Liver Toxic |
| |
Knowledge Base e c'era una presentazione guidata dal Dott. Tong, che è il nostro collaboratore. Hanno una vasta conoscenza del DILI e hanno creato questo database specifico per le informazioni pubbliche. |
| |
Quindi, l'etichetta del farmaco. Probabilmente tutti l'hanno vista quando si acquista un farmaco su prescrizione. C'è quel foglietto illustrativo che accompagna il farmaco. |
| |
Quindi vengono forniti anche con un carattere minuscolo, anche se a volte è troppo piccolo per essere letto, ma contengono molte informazioni scientifiche utili su questo farmaco. |
| |
Poi ci saranno due sezioni correlate alla mia presentazione di oggi, ovvero le sezioni chiamate "Avvertenze e Precauzioni". Quindi, in pratica, tutte le informazioni sugli eventi avversi del farmaco e tutto ciò che è necessario sapere. |
| |
essere avvisati in queste due sezioni. E questo farmaco in realtà ha |
| |
Oltre 2000 parole descrivono avvertenze e precauzioni. E fortunatamente, non tutti i farmaci hanno così tanti effetti collaterali o eventi avversi. Alcuni farmaci come questo, |
| |
Uno dei farmaci per la metformina ha una piccola sezione per le avvertenze e le precauzioni. La vecchia versione dell'etichetta del farmaco riportava avvertenze e precauzioni in sezioni separate, mentre la nuova versione le ha raggruppate. Questo è nella nuova versione... hanno quelle due. |
| |
sezioni insieme. Ma questo ha molti meno effetti collaterali. Quindi JMP e il suo team clinico si sono avvalsi della collaborazione della FDA per eseguire l'analisi di sicurezza e in realtà contribuiamo a finalizzare ogni evento avverso elencato nelle etichette dei farmaci. |
| |
Questi sono i dati che sono stati presentati oggi. Stiamo utilizzando la sezione Avvertenze e Precauzioni presente nelle 462 etichette dei farmaci, estratte dai ricercatori della FDA e che ho appena ricevuto da loro. |
| |
E l'indicatore DILI è stato assegnato a ciascun farmaco. 1 è sì e zero è no. Quindi da questa distribuzione, puoi vedere che c'è |
| |
circa uno...164 farmaci ha |
| |
potenziali casi DILI e 298 no e il formato originale per i dati dell'etichetta del farmaco è in formato XML e può essere importato da JMP più volte in una volta. |
| |
Quindi, per quanto riguarda le parole chiave DILI, la FDA ha impiegato molti anni per stilare questa lista di parole chiave. Poi, in realtà, gli esperti hanno letto centinaia di foglietti illustrativi dei farmaci e hanno deciso quali potevano potenzialmente diventare i casi di DILI. Quindi, hanno elaborato queste parole chiave. |
| |
circa 44 parole o termini da indicare come parola chiave, da indicare per il farmaco |
| |
Potrebbero essere i casi DILI. E potresti anche aver sentito parlare di MedDRA, un dizionario medico per le attività di regolamentazione. Presenta diversi livelli di termini standardizzati e il più popolare è il termine preferito. Lo userò oggi. |
| |
Quindi nel |
| |
attenzione e precauzione, puoi vedere se mettiamo tutto insieme, hai oltre 12.000 termini nel |
| |
avvertenze e la sezione precauzioni. E puoi vedere che "pazienti" e "potrebbero" sono dominanti, il che |
| |
"made not"...non dovrebbe essere correlato ai casi medici e alle informazioni mediche in questo caso. Quindi possiamo rimuoverlo, come puoi vedere, nessun'altra parola è così dominante in questa parola. |
| |
cloud, ma contiene ancora molte parole non correlate alla medicina, come "uso" e "riportato", che potremmo inserire... |
| |
potremmo rimuoverli dal nostro elenco di analisi. Quindi, in Text Explorer, possiamo inserirli nella stop word e normalmente usavamo anche |
| |
Le diverse tecnologie di Text Explorer sono lo stemming, la tokenizzazione, le espressioni regolari, la ricodifica e l'eliminazione manuale. |
| |
per ripulire la lista. Ma conteneva 12.000 termini, quindi avrebbe potuto richiedere molto tempo. |
| |
Ma poiché abbiamo l'elenco che ci interessa, vogliamo sfruttare il fatto che sappiamo già a cosa ci interessano i termini di questo sistema. |
| |
Quindi quello che faremo, e che vi mostrerò nella demo, è che useremo solo le parole chiave DILI, più il termine preferito da MedDRA per generare i termini interessanti e le frasi per fare la previsione. |
| |
Ecco l'esempio che abbiamo visto usando solo le parole chiave DILI. Poi vedi tutto qui, puoi vedere anche nell'elenco. Hai un numero di conteggio. |
| |
mostrato a lato per ciascuno dei termini, quante volte vengono ripetuti nel |
| |
sezione avvertenze e precauzioni e puoi anche vedere più colori, più |
| |
grafico nel cloud mondiale per ottenere un modello riconosciuto. E poi aggiungiamo i termini medici, ovvero i termini correlati alla medicina. Quindi siamo comunque scesi dai 12.000 termini ai 1190 termini, che includevano parole chiave DILI e termini medici preferiti. Quindi pensiamo che questa sarebbe la soluzione migliore. |
| |
elenco di termini da cui iniziare per effettuare la nostra analisi. |
| |
Quindi quello che facciamo è nel |
| |
JMP Text Explorer, possiamo salvare il termine...matrice dei termini del documento. Ciò significa che se vedi 1 significa che questo documento ha visto questo termine; se vedi 0, significa che questo documento ha visto questo termine. |
| |
non ha visto, ha un caso di questa parola. |
| |
Allora noi, nel |
| |
XGBoost creerà k pieghe e tre k pieghe, ciascuna con cinque colonne. |
| |
Quindi utilizziamo in questo apprendimento automatico il modello ad albero XGBoost che è un componente aggiuntivo per JMP Pro e utilizziamo l'indicatore DILI |
| |
come variabile target e utilizzano le parole chiave DILI e anche i termini preferiti MedDRA che sono apparsi più di 20 volte |
| |
...come predittore. Poi utilizziamo una convalida incrociata XGBoost e poi un'interazione 300 volte. Ora abbiamo metriche statistiche sulle prestazioni, otteniamo l'importanza del termine per DILI, |
| |
e otteniamo, possiamo usare il profiler di previsione per le interazioni e possiamo anche generare e salvare la formula di previsione per la previsione di nuovi farmaci. |
| |
Quindi andrò alla dimostrazione. |
| |
Quindi questa è una tabella di esempio che abbiamo ottenuto nel |
| |
in JMP. |
| |
Quindi hai tre colonne. Fondamentalmente hai l'indice, che è un ID del farmaco. Poi hai le avvertenze e le precauzioni, che avrebbero potuto contenere molto di più. |
| |
parole che sono apparse, quindi sostanzialmente abbiamo tutte le informazioni per ogni farmaco. Ora hai un indicatore DILI. Quindi facciamo il |
| |
Prima di tutto, Text Explorer. Abbiamo l'analisi, vai su Text Explorer, puoi usare questo |
| |
input, che è un testo di avvertimento e precauzione e normalmente puoi fare cose diverse qui, puoi ridurre al minimo i caratteri, normalmente le persone vanno a 2 o fanno altre cose. Oppure potresti usare lo stemming o potresti usare l'espressione regolare e |
| |
fare tutti i tipi di |
| |
formula e nella nostra limitazione può essere limitato. Ad esempio, è possibile utilizzare una personalizzazione |
| |
Espressione regolare per rimuovere tutti i numeri. Se si tratta solo di numeri, è possibile rimuoverli, ma poiché useremo un elenco, non toccheremo nessuno di questi, possiamo semplicemente andare qui e dire, ok, |
| |
Quindi è venuto fuori l'elenco completo di tutto questo, tutto. Quindi ora dirò, mi interessa solo |
| |
oh, per questo, puoi fare...puoi mostrare il |
| |
nuvola di parole. |
| |
E |
| |
vogliamo dire che voglio centrarlo |
| |
e voglio anche il colore. |
| |
Quindi vedi questo, vedi che il paziente è così dominante, quindi puoi dire, okay, questo sicuramente... non è il... |
| |
non dovrebbe essere nel |
| |
nell'analisi. Quindi seleziono e clicco con il tasto destro del mouse su Aggiungi stop word. |
| |
Quindi vedrai che verranno rimossi e non saranno più mostrati nel tuo elenco e non saranno più mostrati nel |
| |
nuvola di parole. |
| |
Quindi ora voglio mostrarti qualcosa che |
| |
Penso che ciò accelererebbe la pulizia, perché ci sono così tante altre parole che potrebbero essere nel sistema di cui non ho bisogno. Quindi in realtà seleziono |
| |
e metti tutto nella parola d'ordine. |
| |
Quindi ho rimosso tutto, tranne il fatto che non so perché l'"azione" non possa essere rimossa. |
| |
Ma va bene anche se ce n'è solo uno. Quindi quello che faccio è andare qui. Ho detto "Gestisci frase", voglio importare le mie parole chiave. Le parole chiave hanno solo... |
| |
molto semplice. Il titolo, |
| |
I dati di una colonna contengono solo l'elenco completo dei nomi. Quindi li importo e li incollo in locale. Questa sarà la mia libreria locale. E ho detto: "Ok". |
| |
Quindi ora ho solo la parola chiave che ho. |
| |
Ok, quindi ora questo sarà... Voglio fare l'analisi più tardi. E voglio usarle tutte per includerle nella mia analisi perché sono le parole chiave. Quindi vado qui, il triangolo rosso, tutto nel Text Explorer, funzioni nascoste, nascoste in questo |
| |
triangolo rosso. Quindi dico di salvare la matrice. Quindi ne voglio una e ne voglio 44 in su |
| |
nella mia analisi. Dico ok. Quindi vedrai, tutto verrà salvato sul mio... |
| |
alla colonna, la matrice. |
| |
Quindi ora voglio aggiungere la frase, ancora una volta. Voglio anche importarla |
| |
quei termini preferiti. |
| |
nel |
| |
il mio database, i miei dati locali. |
| |
Poi voglio anche |
| |
in realtà, voglio localmente |
| |
A |
| |
quindi dico, okay. |
| |
Quindi ora ho il mix, entrambi |
| |
i termini preferiti dal MedDRA e anche le mie parole chiave. Quindi ora puoi vedere il |
| |
le frasi sono cambiate. |
| |
Così posso aggiungerli alla mia lista. La stessa cosa alla mia lista di matrice dei termini sicuri e ottenere tutti i numeri... tutti i termini che voglio includere. E la cosa che voglio sottolineare qui è che per questi termini e sono... dobbiamo cambiare |
| |
Un formato di modello. Questo tipo di modello continua. Voglio cambiarli in nominali. Vi spiegherò perché lo faccio più avanti. |
| |
Quindi ora ho, posso andare al |
| |
XGBoost, che si trova nel componente aggiuntivo. Possiamo fare...k piegare le colonne che assicurano che io possa fare il |
| |
convalida incrociata. Posso usare semplicemente l'indice e per impostazione predefinita il numero di colonne di piegatura k da creare è tre e il numero di pieghe (k) all'interno di ogni colonna è cinque, quindi utilizziamo l'impostazione predefinita. |
| |
Diciamo che, ok, genererà tre colonne molto velocemente. E alla fine, vedrai le pieghe A, B, C, tre di queste. |
| |
Quindi abbiamo capito, poi abbiamo... |
| |
Un'altra cosa che volevo fare è... |
| |
Quindi possiamo |
| |
Possiamo crearne un altro |
| |
frase |
| |
che ha tutto...che ha tutto in...questa frase ha tutto, comprese le parole chiave e PT, ma voglio crearne una che abbia solo |
| |
avere solo |
| |
avere solo il |
| |
il termine preferito, ma non hanno la parola chiave, quindi posso aggiungere quelle parole chiave nell'eccezione locale e dire, Okay. Quindi quelle parole avranno solo termini preferiti, ma non avranno la |
| |
parole chiave. In questo modo posso creare un altro elenco, salvare un altro elenco di |
| |
documentazione |
| |
parole che questa voglio avere. Quindi |
| |
ne hanno 1000, ma questo termine ne ha solo 20. Quindi quello che faranno è che i termini salvati siano... |
| |
avere almeno |
| |
se compaiono più di 20 volte o raggiungono quota 1000, quale di queste verrà visualizzata nella mia lista. |
| |
Quindi ora ho una tabella completa, che contiene le parole chiave e anche i termini MedDRA che hanno più di 20, mostrano più di 20 volte, ora ho anche la colonna ??? pronta per l'analisi per |
| |
XGBoost. |
| |
Quindi ora quello che posso fare è andare su XGBoost. Posso andare per |
| |
l'analisi ora. Quindi quello che farò è mostrarvi che posso usare questo indicatore DILI, quindi la risposta X è composta da tutti i termini che avevo appena per la parola chiave e |
| |
parole preferite. Ora, uso le tre convalide |
| |
Quindi clicca su OK per eseguirlo. Ci vorranno circa cinque minuti. Quindi ho già ottenuto un risultato che voglio mostrarti. |
| |
Quindi hai... |
| |
Ecco come appare. |
| |
Il design della messa a punto. E lo controlleremo. Hai |
| |
l'attuale troverà una buona condizione per te per farlo. Puoi anche, se hai |
| |
per quanto Ross Wolfinger abbia esperienza, lui entrerà qui, modificherà manualmente alcune condizioni, e allora probabilmente otterrà il risultato migliore. |
| |
Ma per le molte persone come me che non hanno molta esperienza in XGBoost, preferirei usare questo design di messa a punto piuttosto che avere solo la macchina per |
| |
Seleziona prima per me, poi posso entrare, possiamo apportare qualche piccola modifica, dipende da cosa devo fare qui. Quindi questo è il risultato che abbiamo ottenuto. Puoi usare...puoi vedere qui |
| |
diverso |
| |
Metriche statistiche per le metriche di performance per questi modelli. L'impostazione predefinita mostra solo la precisione. È possibile ordinarle per colonna. È possibile ordinarle e visualizzare anche molte altre metriche di performance popolari, come |
| |
MCC, AUC, |
| |
RMSE, correlazione. Li vedi tutti cliccandoci sopra. |
| |
Saranno visualizzati qui. Quindi, qualunque cosa ti serva, qualunque misurazione tu voglia fare, puoi sempre trovarla qui. |
| |
Quindi ora userò, diciamo, la precisione della convalida, più di ogni altra cosa in questo caso. Quindi voglio vedere solo il modello principale, diciamo cinque modelli. |
| |
Quindi, ecco cosa faccio: scelgo cinque modelli. Poi vado qui e dico che voglio rimuovere tutti i modelli mostrati. |
| |
Quindi vedrai i cinque modelli qui e poi potrai vedere qualche modello, anche se, come questo 19 è verde, |
| |
Non arriva a metà strada. Quindi qualcosa non va, qualcosa non è appropriato per questo modello. Sicuramente non voglio usare quello, quindi posso sceglierne altri. Diciamo che voglio scegliere questo |
| |
19, voglio rimuovere quello. Quindi posso dire che voglio rimuovere quello nascosto. Quindi, in pratica, fai quello che devi fare. Quindi, se confronti, guarda questo |
| |
Le metriche, in realtà, non sono poi così diverse. Quindi voglio basarmi su questo grafico per scegliere quello migliore per la performance. |
| |
Quindi scegli quello buono. Puoi andare qui per |
| |
diciamo, mi piace il modello 12 quindi posso andare qui, dire che voglio fare il |
| |
profilatore. |
| |
Quindi questo è uno strumento molto potente, penso piuttosto unico di JMP. Non molti |
| |
Gli strumenti hanno questa funzione. Quindi questo ti dà l'opportunità di guardare i singoli |
| |
parametri in modo attivo e vedere come cambiano il risultato. Ad esempio, questi due sono quelli che si presentano più frequentemente nei casi DILI. |
| |
E puoi vedere che la pendenza è piuttosto ripida e questo significa che se li modifichi, influenzeranno parecchio le previsioni del risultato finale. Quindi puoi vedere quando il |
| |
Sia l'epatite che l'ittero indicano zero, in realtà la probabilità di contrarre la DILI è molto bassa. Quindi, i possibili casi di DILI sono in maiuscolo. Ma se si modifica questa riga, |
| |
a 1, puoi vedere che la possibilità che ottieni è più alta. E se sposti quelli |
| |
ancora più in alto. Quindi hai, avrai un modo per |
| |
analizzare, se sono i |
| |
qual è la chiave |
| |
parametri o predittori che influenzano il risultato. E per questo, alcuni di essi, persino la parola chiave, sono piuttosto piatti. Quindi, se li modifichi, il risultato non subirà grandi cambiamenti. |
| |
Quindi questo è e anche noi qui, abbiamo dato l'elenco a cui puoi arrivare |
| |
per vedere cosa è più importante |
| |
caratteristiche per calcolare la previsione delle variabili. Quindi, come potete vedere, qui l'ittero e altri sono piuttosto importanti. |
| |
E per quanto riguarda il risultato della funzionalità, una volta inseriti i dati, questi sono tutti i risultati che abbiamo. E potresti dire, beh, cosa... che ne dici delle novità in arrivo? Sì, abbiamo qui, puoi dire, voglio salvare la formula di previsione. |
| |
E potete vedere che ci sta lavorando attivamente. E poi nella tabella, alla fine, vedrete la previsione. Quindi ricordate che ne avevamo una... questa era, diciamo, beh, |
| |
il primo farmaco, il secondo era abbastanza prevedibile che sarebbe stato il |
| |
I casi DILI e i successivi due, terzo, quarto e quinto erano quasi pari a zero. Quindi torniamo a questo DILI |
| |
indicatore e abbiamo scoperto che effettivamente elencano. I primi cinque erano quelli giusti. Quindi, nel caso in cui non abbiate questo indicatore quando ricevete i nuovi dati, non dovete leggere tutte le etichette. Eseguite il modello. Potete vedere la previsione. Praticamente sapevate se è |
| |
si tratti di casi DILI o no. |
| |
Quindi il mio demomo sarebbe |
| |
finisco qui, e ora darò una conclusione. Quindi stiamo usando Text Explorer per estrarre i dati delle parole chiave e i termini MedDRA utilizzando Stop Words e Phrase Management senza |
| |
Selezione, eliminazione e ricodifica manuali. Utilizziamo quindi una visualizzazione e creiamo una matrice dei termini del documento per la previsione. |
| |
Utilizziamo anche l'apprendimento automatico per utilizzare la modellazione XGBoost e vogliamo eseguire rapidamente XGBoost per trovare il modello migliore ed eseguire il profilo di previsione. E possiamo anche salvare il |
| |
formula di previsione per prevedere i nuovi casi. |
| |
Grazie. E mi fermo qui. |
