Se siete coinvolti nella realizzazione di un prodotto regolamentato dalla Food and Drug Administration (FDA) e avete effettuato un'ispezione in loco, è molto probabile che abbiate familiarità con il Modulo 483 della FDA e le conseguenze di riceverne uno. Durante un'ispezione della tua struttura, i rappresentanti della FDA controllano che le normative vengano seguite correttamente. Mentre ero coinvolto nell'essere ispezionato, ho trovato la maggior parte delle osservazioni quasi completamente irrazionali; tuttavia, come consumatore, leggendo le osservazioni di altre persone, sono davvero felice che l'agenzia si prenda cura di me.
Ogni anno ci sono numerosi articoli che pontificano le nuove tendenze nelle ispezioni della FDA. Di conseguenza, ogni anno, a seconda di quale delle voci sottoscrive il tuo team di regolamentazione, c'è una raffica di attività per cercare di battere il prossimo ciclo di ispezioni. Mi sono chiesto, la FDA ha davvero cambiato la sua attenzione ogni anno?Più specificamente, ci sono prove di uno spostamento annuale dell'attenzione?A causa della Open Government Initiative dichiarata nel 2009, la FDA ha iniziato a fornire al pubblico alcuni dei risultati e dei risultati delle ispezioni in loco. L'obiettivo era contribuire a migliorare la comprensione da parte del pubblico delle azioni di applicazione della FDA. I dati sulle citazioni sono forniti in fogli di calcolo di facile accesso estratti direttamente dagli strumenti di ispezione elettronica della FDA. Ce ne sono alcuni abbastanza severi avvertenze che accompagnano i dati: Ogni record non è incluso , i record manuali non sono inclusi e questi potrebbero essere solo risultati preliminari, non il modulo finale.
Penso che si possa imparare molto con il set di dati parziale disponibile. In questo articolo, parlerò di come ho scavato nel database delle ispezioni e di cosa ho scoperto utilizzando JMP Pro.
I dati di cui parlerò sono qui:
https://www.fda.gov/ICECI/Inspections/ucm250720.htm
E il mio dizionario dei dati viene da qui:
https://www.fda.gov/iceci/inspections/ucm250729.htm
Tabella 1. Dizionario dei dati
Nome del Centro
|
Area Programma
|
Citare ID
|
Cite ID è un identificatore univoco per ogni citazione
|
Riferimento CFR n.
|
Il codice dei regolamenti federali di riferimento per la citazione
|
breve descrizione
|
Breve descrizione del tipo di categoria
|
Descrizione lunga
|
La descrizione lunga viene inserita nel modulo FDA 483
|
Frequenza
|
Il numero di volte durante l'anno fiscale in cui la citazione è stata utilizzata su un 483 per l'area del programma centrale
|
Anno
|
Termine derivato, per l'anno della tabella
|
Il primo passo è stato mettere insieme tutti i dati. Immagino che si possano semplicemente scaricare tutte le cartelle di lavoro di Excel e quindi aprire tutti i fogli di lavoro e quindi combinarli tutti insieme, in una sorta di approccio copia e incolla.È troppo noioso e soggetto a errori per me, quindi ho usato JMP.
Ho incontrato diversi intoppi durante il lavoro con i file. Esistono due tipi di file Excel (.xls e .xlsx), i nomi delle colonne cambiano quando cambia il tipo di file e i file .xlsx più recenti hanno circa 7 milioni di righe vuote da gestire.Se esegui il mio script JMP per importare i dati, ci vogliono alcuni minuti a causa delle dimensioni di quei file di grandi dimensioni.Lo script JMP per l'apertura dei dati ripulisce le righe vuote, aggiunge una colonna dell'anno, corregge i nomi delle colonne che cambiano e generalmente semplifica il primo passaggio. (Script allegato sotto)
I dati grezzi, con 18.737 righe, da soli sono accessibili e interessanti da guardare (Figura 1). Ho regolato l'asse y su una scala logaritmica per visualizzare tutte le tendenze insieme. La costruzione del grafico richiede l'utilizzo della colonna della frequenza. Ci sono un paio di potenziali tendenze nelle aree del programma del Centro, ad esempio, le citazioni sulla salute delle radiazioni sono aumentate intorno al 2009 e 2010 e le citazioni per i tessuti umani e i prodotti biologici sono in calo.Fai molta attenzione nell'assegnare la causa alle tendenze. I biologici potrebbero essere in calo perché i fornitori di emoderivati si sono consolidati e ci sono meno siti da ispezionare, o forse l'industria è migliorata (lo spero).
Figura 1. Conteggi di 483 da parte del Centro dal 2006 al 2017. Grafico del grezzo
importati dai file del database
Lavoro principalmente con aziende farmaceutiche, quindi sono più interessato ai 483 per i farmaci, quindi ho creato un sottoinsieme delle sole citazioni dal Drug Center. Vorrei raggruppare insieme tutte le descrizioni lunghe simili. Se molti di loro fossero unici, non sarebbe un problema, ma non è così. Ho iniziato a leggere le lunghe descrizioni in modo da poter iniziare a catalogarle, ma è diventato subito chiaro che con 4.167 documenti sarebbe stato un compito eroico. Un modo per classificare i documenti è utilizzare uno strumento di estrazione del testo chiamato analisi della classe latente. Questo metodo valuta le frequenze delle parole all'interno dei documenti in modo che documenti simili possano essere raggruppati insieme.
Il text mining non è un processo massicciamente automatico a meno che tu non abbia accesso alla soluzione SAS Text Mining e un paio di esperti, ma anche in questo caso è necessario un po' di lavoro per ripulire i documenti prima di eseguire l'analisi.
La terminologia per gestire il testo cambia leggermente. In questa direzione, ogni lunga descrizione è chiamata documento, e ogni “parola”, o token, è un termine. Ho iniziato con una piccola pulizia del testo.Ad esempio, con lo strumento JMP Recode:
- RIMOSSO " . , ; : [ ] * -- - "
- Rimosso (s), (S), 's
- Rimosso "Specificamente" dalla fine delle descrizioni
- Ricodificata, minuscola, taglia lo spazio bianco, comprimi lo spazio bianco
- Modificato "parola/parola" in "parola/parola"
Il passo successivo è stato un'applicazione più estrema di Recode. Volevo usare Recode parola per parola, non sull'intera stringa insieme, quindi ho separato tutte le parole in colonne separate usando lo spazio come delimitatore e poi ho combinato le parole con una virgola delimitatore. Ho questa colonna come tipo di dati "Risposta multipla" in modo che Recode mi permetta di guardare tutte le parole separatamente. Questo mi ha permesso di correggere alcune parole rotte e parole che avevano più di un'ortografia insieme ad alcune altre cose. L'obiettivo era diminuire la dissomiglianza tra termini basati su caratteristiche che non sarebbero state rilevanti per l'analisi del testo.
Questa non è una pulizia completa o perfetta, ma è stata sufficiente per iniziare con il livello successivo di "pulizia" per l'esplorazione del testo.Lo strumento JMP Text Explorer include un'opzione Stemming che mi consente di trasformare parole simili nella stessa parola. Ad esempio, "adulterare", "adulterare", "adulterare" diventano tutti "adulter-". Ogni parola è sostituita con la sua parola radice in modo che il tempo verbale e i plurali di una parola siano tutti la stessa parola. JMP trova anche frasi frequenti in modo che possano essere aggiunte come termini. Alcune frasi appaiono abbastanza spesso, come "chiusura del contenitore", "controllo di qualità" o "procedure scritte".
Ho iniziato con l'esplorazione del testo. Questo è un approccio di frequenza delle parole (borsa di parole) per cercare di capire cosa c'è nei documenti. Per raggruppare documenti simili, ho usato una Singular Value Decomposition for a Latent Semantic Analysis (Latent Class Analysis o LCA). Ho centrato e ridimensionato i vettori e utilizzato la ponderazione TF-IDF e quindi utilizzato un metodo di raggruppamento gerarchico per classificare 100 gruppi di documenti. Per trovare le tendenze nel tempo con ciascuno dei 100 cluster, ho utilizzato un secondo rouind di clustering in cui ho utilizzato l'anno come ID attributo, il cluster LCA come ID oggetto e raggruppato in base alla frequenza del cluster LCA. Questo approccio di clustering gerarchico trova gruppi di documenti con le stesse tendenze di frequenza nel tempo (figure 2 e 3).
Utilizzando la classificazione e l'approccio a cluster, abbiamo ristretto la nostra ricerca di trend in 4.167 documenti a 283 e possiamo classificare quei documenti con tre Time Trend Cluster e un totale di sette gruppi di Document Cluster (LCA) (Tabella 1).
Con i documenti raggruppati per andamento temporale, il problema successivo consiste nel cercare di comprendere il contenuto dei documenti che abbiamo individuato. Potrei leggere le 283 lunghe descrizioni e, ancora una volta, potrebbe essere interessante ma noioso. Torno invece all'analisi del testo per cercare di capire di cosa trattano queste citazioni. A quanto pare, la frequenza delle parole, spesso rappresentata in una nuvola di parole, è un metodo rapido per ricavare intuizioni e quindi lasciare che il nostro cervello elabori il pretesto in base alla nostra familiarità con il contesto. In queste nuvole di parole la dimensione della parola è proporzionale alla frequenza con cui si presenta e l'oscurità della parola indica la frequenza del documento. Se la parola è più scura era presente in più documenti, ma se è più grande, ricorre più frequentemente nei documenti. L'analisi del testo utilizzata in questo contesto è imperfetta, ma è più pratica dell'alternativa di elaborare manualmente ogni singolo documento (Figure 4, 5 e 6).
Conclusione
L'obiettivo di questo esercizio di analisi era cercare di scoprire se ci sono o meno tendenze nell'applicazione durante le ispezioni in loco. In questa analisi la tendenza all'aumento più importante è stata correlata alla lavorazione asettica e alla contaminazione. Questa tendenza può rappresentare una maggiore attenzione da parte dell'agenzia o può anche rappresentare un aumento della lavorazione asettica da parte dell'industria farmaceutica, o anche un aumento del numero di farmaci trattati in modo asettico. Distinguere tra una maggiore applicazione e una maggiore possibilità di errore non è possibile senza aggiungere ulteriori ricerche sostanziali; tuttavia, il messaggio, per coloro che effettuano lavorazioni asettiche, dovrebbe essere chiaro. Fai attenzione ai tuoi processi, alle tue attività di convalida e al modo in cui tali attività sono progettate per monitorare la prevenzione della contaminazione. (come consumatore, penso davvero che anche questa dovrebbe essere una priorità assoluta!)
In generale, l'agenzia sembra essere generalmente coerente nell'applicazione dell'intera serie di regolamenti 210 e 211 21CFR (dove si trova la maggior parte dei regolamenti specifici sui farmaci). Esaminando tutti gli altri gruppi di documenti, emerge una chiara tendenza secondo cui chiaramente non si verificano picchi annuali di citazioni per un'area piuttosto che per un'altra. Ciò tende a fornire prove contro la leggendaria ipotesi del "focus dell'anno".
Figura 2. Dendrogrammi da operazioni di clustering. Tutti i 4167 documenti del Drug Center sono stati raggruppati in 100 gruppi di documenti utilizzando la Latent Class Analysis (LCA) (1 st pannello). Per trovare gruppi di documenti che si verificano con frequenze simili, è stato eseguito un secondo ciclo di clustering. I 100 gruppi di documenti sono stati riassunti in 9 gruppi Time Trend (2 nd pannello). I cluster 3, 4 e 8 hanno modelli che iniziano ad aumentare negli ultimi anni sul grafico.
Cluster di tendenza temporale
|
Conteggio documenti
|
Cluster di documenti
|
Conteggio documenti
|
3
|
146
|
26
|
55
|
|
|
45
|
39
|
|
|
56
|
35
|
|
|
90
|
17
|
4
|
97
|
11
|
72
|
|
|
74
|
25
|
8
|
39
|
46
|
39
|
Tavolo 2. Contenuti dei cluster Time Trend e Document. L'attuale
numero di documenti da elaborare è piuttosto elevato, ma utilizzando il file Latent
Classe documento clustering seguito dal Time Trend Clustering il
problema è sostanzialmente ridotto.
Figura 3. Cluster di documenti all'interno di ciascun cluster di tendenza temporale. La maggior parte delle volte i cluster di tendenza sono piuttosto piatti o hanno basse frequenze come i cluster 1 e 2. Ma i cluster 3, 4 e 8 hanno alcune interessanti tendenze al rialzo negli ultimi due anni. (nota che le linee sono colorate in base al gruppo di documenti e il colore non ha nulla a che fare con la distanza del gruppo.)
Figura 4. Cluster di tendenza temporale 8. La tendenza più grande è in Time Trend Cluster 8, dove i documenti sono correlati al trattamento sterile e alla contaminazione.
Figura 5. Cluster di tendenza temporale 4. Time Cluster 4 ha il secondo maggiore aumento nella frequenza delle citazioni. I documenti nel gruppo di documenti 11 sono nuovamente correlati al trattamento asettico. Il gruppo di documenti 74 è correlato a livelli appropriati di autorizzazione e controllo dei record controllati.
Figura 6. Cluster di tendenza temporale 3. Il cluster di trend temporali con le tendenze al rialzo più piccole è il cluster 3. I gruppi di documenti 26 e 45 sono relativi ai metodi di prova e alla loro generale mancanza di robustezza rispetto a procedure, standard, gestione dei campioni e relativi standard e controlli. Il gruppo di documenti 56 è correlato alle citazioni sulla segnalazione di cose come eventi avversi in più fasi di sviluppo e licenza di un farmaco. Infine, il gruppo di documenti 90 è correlato alla mancanza di controllo degli errori e al modo in cui sono stati affrontati.
Il sottoinsieme dei dati relativo ai farmaci è allegato. Si noti che alcune delle analisi richiedono JMP Pro.
I Dati sono anche su public.jmp.com Qui
