Wenn Sie an der Herstellung eines Produkts beteiligt sind, das von der Food and Drug Administration (FDA) reguliert wird, und eine Inspektion vor Ort durchgeführt haben, ist es sehr wahrscheinlich, dass Sie damit vertraut sind FDA-Formular 483 und die Konsequenzen, wenn man eine erhält. Bei einer Inspektion Ihrer Einrichtung prüfen die FDA-Vertreter, ob die Vorschriften korrekt eingehalten werden. Während ich an der Inspektion teilnahm, empfand ich die meisten Beobachtungen als nahezu völlig irrational; Da ich jedoch als Verbraucher die Beobachtungen anderer Leute lese, bin ich wirklich froh, dass sich die Agentur um mich kümmert.
Jedes Jahr gibt es zahlreiche Artikel, die über neue Trends bei FDA-Inspektionen berichten. Infolgedessen gibt es jedes Jahr, je nachdem, welchem Gerücht Ihr Regulierungsteam zustimmt, eine Flut von Aktivitäten, um die nächste Inspektionsrunde zu übertreffen. Ich habe mich gefragt, ob die FDA wirklich jedes Jahr ihren Fokus geändert hat.Gibt es konkretere Hinweise auf eine jährliche Schwerpunktverlagerung?Aufgrund der im Jahr 2009 ins Leben gerufenen Open Government Initiative begann die FDA, der Öffentlichkeit einige Erkenntnisse und Ergebnisse der Standortinspektionen zur Verfügung zu stellen. Ziel war es, das öffentliche Verständnis für die Durchsetzungsmaßnahmen der FDA zu verbessern. Die Zitierdaten werden in leicht zugänglichen Tabellen bereitgestellt, die direkt aus den elektronischen Inspektionstools der FDA stammen. Es gibt einige ziemlich strenge Vorbehalte das geht mit den Daten einher: Es ist nicht jeder Datensatz enthalten , manuelle Aufzeichnungen sind nicht enthalten, und es handelt sich möglicherweise nur um vorläufige Ergebnisse, nicht um das endgültige Formular.
Ich denke, dass man aus dem verfügbaren Teildatensatz viel lernen kann. In diesem Artikel werde ich besprechen, wie ich mich in die Inspektionsdatenbank vertieft habe und was ich mit JMP Pro herausgefunden habe.
Die Daten, über die ich sprechen werde, sind hier:
https://www.fda.gov/ICECI/Inspections/ucm250720.htm
Und mein Datenwörterbuch stammt von hier:
https://www.fda.gov/iceci/inspections/ucm250729.htm
Tabelle 1. Datenwörterbuch
Name des Zentrums
|
Programmbereich
|
Zitierungs-ID
|
Die Zitat-ID ist eine eindeutige Kennung für jedes Zitat
|
CFR-Referenznr.
|
Die Referenz zum Code of Federal Regulations für das Zitat
|
kurze Beschreibung
|
Kurzbeschreibung oder Kategorietypbeschreibung
|
Lange Beschreibung
|
Die lange Beschreibung wird auf dem FDA-Formular 483 eingetragen
|
Frequenz
|
Die Häufigkeit, mit der das Zitat während des Geschäftsjahres auf einem 483 für den Center Program Area verwendet wurde
|
Jahr
|
Abgeleiteter Begriff für das Jahr der Tabelle
|
Der erste Schritt bestand darin, alle Daten zusammenzutragen. Ich stelle mir vor, man könnte einfach alle Excel-Arbeitsmappen herunterladen, dann alle Arbeitsblätter öffnen und sie dann alle zusammenfügen, in einer Art Kopier- und Einfügeansatz.Das ist mir viel zu mühsam und fehleranfällig, also habe ich JMP verwendet.
Bei der Arbeit mit den Dateien sind mir mehrere Probleme aufgefallen. Es gibt zwei Arten von Excel-Dateien (.xls und .xlsx). Die Spaltennamen ändern sich, wenn sich der Dateityp ändert, und die neueren .xlsx-Dateien müssen etwa 7 Millionen leere Zeilen verarbeiten.Wenn Sie mein JMP-Skript ausführen, um den Datenimport durchzuführen, dauert der Datenimport aufgrund der Größe dieser großen Dateien einige Minuten.Das JMP-Skript zum Öffnen der Daten bereinigt die leeren Zeilen, fügt eine Jahresspalte hinzu, korrigiert die sich ändernden Spaltennamen und vereinfacht im Allgemeinen den ersten Schritt. (Skript unten angehängt)
Allein die Rohdaten mit 18.737 Zeilen sind zugänglich und interessant anzusehen (Abbildung 1). Ich habe die Y-Achse an eine logarithmische Skala angepasst, um alle Trends zusammen zu visualisieren. Die Erstellung des Diagramms erfordert die Verwendung der Häufigkeitsspalte. Es gibt einige potenzielle Trends in den Programmbereichen des Zentrums, zum Beispiel sind die Zitierungen im Bereich Strahlenschutz in den Jahren 2009 und 2010 sprunghaft gestiegen, während die Zitierungen für menschliches Gewebe und Biologika rückläufig sind.Seien Sie sehr vorsichtig bei der Zuordnung von Ursachen zu Trends. Bei Biologika könnte es zu Rückschlägen kommen, weil sich die Lieferanten von Blutprodukten konsolidiert haben und es weniger Standorte zu inspizieren gibt, oder vielleicht ist die Branche besser geworden (ich hoffe es).
Abbildung 1. Zählungen von 483 nach Zentrum für 2006 bis 2017. Diagramm des Rohmaterials
aus den Datenbankdateien importiert
Da ich hauptsächlich mit Pharmaunternehmen zusammenarbeite, interessiere ich mich am meisten für die 483 für Arzneimittel, daher habe ich nur eine Teilmenge der Zitate des Drug Center erstellt. Ich möchte alle ähnlich langen Beschreibungen zusammenfassen. Wenn viele von ihnen einzigartig wären, wäre das kein Problem, aber das ist nicht der Fall. Ich fing an, die langen Beschreibungen durchzulesen, um sie zu kategorisieren, aber schnell wurde mir klar, dass das bei 4.167 Datensätzen eine heroische Aufgabe sein würde. Eine Möglichkeit, Dokumente zu kategorisieren, ist die Verwendung eines Text-Mining-Tools namens Latent-Class-Analyse. Diese Methode bewertet die Worthäufigkeit innerhalb von Dokumenten, sodass ähnliche Dokumente gruppiert werden können.
Text Mining ist kein vollautomatischer Prozess, es sei denn, Sie haben Zugriff auf die SAS Text Mining-Lösung und ein paar Experten, aber selbst dann erfordert es einige Arbeit, Dokumente vor der Analyse zu bereinigen.
Die Terminologie für den Umgang mit Text ändert sich etwas. In dieser Richtung wird jede lange Beschreibung als Dokument bezeichnet und jedes „Wort“ oder Token ist ein Begriff. Ich begann mit einer kleinen Textbereinigung.Zum Beispiel mit dem JMP Recode-Tool:
- ENTFERNT " . , ; : [ ] * -- - ”
- Entfernt (s), (S), 's
- „Speziell“ vom Ende der Beschreibungen entfernt
- Neu kodiert, Kleinschreibung, Leerraum kürzen, Leerraum reduzieren
- „Wort/Wort“ in „Wort/Wort“ geändert
Der nächste Schritt war eine extremere Anwendung von Recode. Ich wollte Recode Wort für Wort verwenden, nicht für die gesamte Zeichenfolge zusammen, also habe ich alle Wörter mit Leerzeichen als Trennzeichen in separate Spalten getrennt und die Wörter dann mit einem Komma-Trennzeichen kombiniert. Ich habe diese Spalte als Datentyp „Mehrfachantwort“, sodass ich mit Recode alle Wörter separat betrachten kann. Dadurch konnte ich neben einigen anderen Dingen auch einige fehlerhafte Wörter und Wörter mit mehr als einer Schreibweise korrigieren. Ziel war es, die Unähnlichkeit zwischen Begriffen zu verringern, die auf Merkmalen basieren, die für die Textanalyse nicht relevant wären.
Dies ist keine vollständige oder perfekte Bereinigung, aber es war gut genug, um mit der nächsten Stufe der „Bereinigung“ für die Texterkundung zu beginnen.Das JMP Text Explorer-Tool enthält eine Stemming-Option, mit der ich ähnliche Wörter zu demselben Wort machen kann. Beispielsweise werden „verfälschen“, „verfälscht“, „verfälschend“ alle zu „verfälschend-“. Jedes Wort wird durch sein Stammwort ersetzt, sodass Verbform und Pluralformen eines Wortes alle dasselbe Wort sind. JMP findet auch häufige Phrasen, sodass diese als Begriffe hinzugefügt werden können. Einige Ausdrücke kommen häufig vor, etwa „Behälterverschluss“, „Qualitätskontrolle“ oder „schriftliche Verfahren“.
Ich habe mit der Texterkundung begonnen. Hierbei handelt es sich um einen Worthäufigkeitsansatz (Bag-of-Words), um zu verstehen, was in den Dokumenten steht. Um ähnliche Dokumente zu gruppieren, habe ich eine Singularwertzerlegung für eine latente semantische Analyse (Latent Class Analysis oder LCA) verwendet. Ich habe die Vektoren zentriert und skaliert, die TF-IDF-Gewichtung verwendet und dann eine hierarchische Clustering-Methode verwendet, um 100 Dokumentencluster zu klassifizieren. Um Trends im Zeitverlauf für jeden der 100 Cluster zu ermitteln, habe ich eine zweite Clustering-Runde verwendet, bei der ich das Jahr als Attribut-ID und den LCA-Cluster als Objekt-ID verwendet und nach der Häufigkeit des LCA-Clusters geclustert habe. Dieser hierarchische Clustering-Ansatz findet Gruppen von Dokumenten mit denselben Häufigkeitstrends im Zeitverlauf (Abbildungen 2 und 3).
Mithilfe des Klassifizierungs- und Cluster-Ansatzes haben wir unsere Suche nach Trends in 4.167 Dokumenten auf 283 eingegrenzt und können diese Dokumente mit drei Time Trend Clusters und insgesamt sieben Document Cluster (LCA)-Gruppen klassifizieren (Tabelle 1).
Da die Dokumente nach Zeittrend gruppiert sind, besteht das nächste Problem darin, den Inhalt der von uns identifizierten Dokumente zu verstehen. Ich konnte die 283 langen Beschreibungen lesen, und auch das könnte interessant, aber ermüdend sein. Stattdessen werde ich zur Textanalyse zurückkehren, um zu verstehen, worum es in diesen Zitaten geht. Wie sich herausstellt, ist die Worthäufigkeit, die oft in einer Wortwolke dargestellt wird, eine schnelle Methode, um Erkenntnisse abzuleiten und dann unser Gehirn auf der Grundlage unserer Vertrautheit mit dem Kontext den Vorwand erarbeiten zu lassen. In diesen Wortwolken ist die Größe des Wortes proportional zur Häufigkeit seines Vorkommens und die Dunkelheit des Wortes gibt die Häufigkeit des Dokuments an. Wenn das Wort dunkler ist, kam es in mehr Dokumenten vor, ist es jedoch größer, kommt es in Dokumenten häufiger vor. Die in diesem Zusammenhang verwendete Textanalyse ist unvollständig, aber praktischer als die Alternative, jedes Dokument einzeln manuell zu bearbeiten (Abbildung 4, 5 und 6).
Abschluss
Das Ziel dieser Analyse bestand darin herauszufinden, ob es Trends bei der Durchsetzung bei Standortinspektionen gibt. In dieser Analyse bezog sich der deutlichste Anstiegstrend auf die aseptische Verarbeitung und Kontamination. Dieser Trend kann auf einen verstärkten Fokus der Behörde oder auch auf eine Zunahme der aseptischen Verarbeitung durch die Arzneimittelindustrie oder sogar auf einen Anstieg der Anzahl aseptisch verarbeiteter Arzneimittel zurückzuführen sein. Die Unterscheidung zwischen verstärkter Durchsetzung und erhöhter Fehlerwahrscheinlichkeit ist ohne umfangreiche zusätzliche Forschung nicht möglich. Für diejenigen, die eine aseptische Verarbeitung durchführen, sollte die Botschaft jedoch klar sein. Seien Sie vorsichtig mit Ihren Prozessen, Ihren Validierungsaktivitäten und der Gestaltung dieser Aktivitäten zur Überwachung und Vermeidung von Kontaminationen. (Als Verbraucher denke ich wirklich, dass dies auch eine hohe Priorität haben sollte!)
Im Allgemeinen scheint die Behörde bei der Durchsetzung aller 21CFR 210- und 211-Vorschriften (wo es sich um die meisten drogenspezifischen Vorschriften handelt) im Allgemeinen konsistent zu sein. Betrachtet man alle anderen Dokumentencluster, so lässt sich ein klarer Trend erkennen, der darin besteht, dass jährliche Spitzen bei den Zitierungen für einen Bereich im Vergleich zu einem anderen eindeutig nicht auftreten. Dies ist tendenziell ein Beweis gegen die legendäre „Fokus des Jahres“-Hypothese.
Figur 2. Dendrogramme aus Clustering-Operationen. Alle 4167 Dokumente des Drug Center wurden mithilfe der Latent Class Analysis (LCA) (1) in 100 Dokumentgruppen gruppiert st Panel). Um Gruppen von Dokumenten zu finden, die mit ähnlicher Häufigkeit vorkommen, wurde eine zweite Clustering-Runde durchgeführt. Die 100 Dokumentgruppen wurden in 9 Zeittrendgruppen (2) zusammengefasst nd Panel). Die Cluster 3, 4 und 8 weisen Muster auf, die in den letzten Jahren in der Grafik zuzunehmen beginnen.
Zeittrend-Cluster
|
Anzahl der Dokumente
|
Dokumentencluster
|
Anzahl der Dokumente
|
3
|
146
|
26
|
55
|
|
|
45
|
39
|
|
|
56
|
35
|
|
|
90
|
17
|
4
|
97
|
11
|
72
|
|
|
74
|
25
|
8
|
39
|
46
|
39
|
Tabelle 2. Inhalte der Cluster „Zeittrend“ und „Dokument“. Das Tatsächliche
Die Anzahl der zu verarbeitenden Dokumente ist ziemlich groß, aber durch die Verwendung des Latent
Klassendokument-Clustering, gefolgt vom Zeittrend-Clustering
Das Problem wird erheblich reduziert.
Figur 3. Dokumentcluster innerhalb jedes Zeittrendclusters. Meistens sind Trendcluster ziemlich flach oder haben niedrige Frequenzen wie Cluster 1 und 2. Aber die Cluster 3, 4 und 8 weisen in den letzten Jahren einige interessante Aufwärtstrends auf. (Beachten Sie, dass die Linien je nach Dokumentcluster gefärbt sind und die Farbe nichts mit der Clusterentfernung zu tun hat.)
Figur 4. Zeittrend-Cluster 8. Der größte Trend ist im Zeittrend-Cluster 8 zu verzeichnen, wo sich die Dokumente auf sterile Verarbeitung und Kontamination beziehen.
Abbildung 5. Zeittrend-Cluster 4. Zeitcluster 4 weist den nächstgrößten Anstieg der Zitationshäufigkeit auf. Die Dokumente im Dokumentencluster 11 beziehen sich wiederum auf die aseptische Verarbeitung. Der Dokumentencluster 74 bezieht sich auf geeignete Autorisierungs- und Kontrollebenen kontrollierter Datensätze.
Abbildung 6. Zeittrend-Cluster 3. Der Zeittrendcluster mit den kleinsten Aufwärtstrends ist Cluster 3. Die Dokumentencluster 26 und 45 beziehen sich auf Testmethoden und deren allgemeine mangelnde Robustheit in Bezug auf Verfahren, Standards, Probenhandhabung sowie deren Standards und Kontrollen. Dokumentencluster 56 bezieht sich auf Zitate rund um die Meldung von Dingen wie unerwünschten Ereignissen in mehreren Phasen der Entwicklung und Zulassung eines Arzneimittels. Schließlich hängt Dokumentencluster 90 mit der mangelnden Kontrolle von Fehlern und der Art und Weise, wie mit ihnen umgegangen wurde, zusammen.
Die Arzneimittelteilmenge der Daten ist beigefügt. Beachten Sie, dass für einige Analysen JMP Pro erforderlich ist.
Die Daten sind auch auf public.jmp.com verfügbar Hier
