Si vous êtes impliqué dans la fabrication d'un produit réglementé par la Food and Drug Administration (FDA) et que vous avez fait inspecter le site, il est très probable que vous connaissiez les Formulaire 483 de la FDA et les conséquences d'en recevoir un. Lors d'une inspection de votre établissement, les représentants de la FDA vérifient que les réglementations sont correctement suivies. Pendant que j'étais impliqué dans l'inspection, j'ai trouvé que la plupart des observations étaient presque complètement irrationnelles ; cependant, en tant que consommateur, lisant les observations des autres, je suis vraiment heureux que l'agence veille sur moi.
Chaque année, de nombreux articles pontifient les nouvelles tendances dans les inspections de la FDA. En conséquence, chaque année, selon la rumeur à laquelle votre équipe de réglementation souscrit, il y a une vague d'activités pour essayer de battre la prochaine série d'inspections. Je me suis demandé si la FDA changeait vraiment d'orientation chaque année ?Plus précisément, y a-t-il des preuves d'un changement d'orientation annuel ?En raison de l'Open Government Initiative qui a été déclarée en 2009, la FDA a commencé à fournir au public certaines des conclusions et des résultats des inspections du site. L'objectif était d'aider à améliorer la compréhension du public des mesures d'application de la FDA. Les données de citation sont fournies dans des feuilles de calcul faciles d'accès qui sont extraites directement des outils d'inspections électroniques de la FDA. Il y en a d'assez sévères mises en garde qui accompagnent les données : Chaque enregistrement n'est pas inclus , les enregistrements manuels ne sont pas inclus, et il peut s'agir de résultats préliminaires, et non du formulaire final.
Je pense qu'il y a beaucoup à apprendre avec l'ensemble de données partiel qui est disponible. Dans cet article, je vais expliquer comment j'ai creusé dans la base de données d'inspection et ce que j'ai découvert en utilisant JMP Pro.
Les données dont je vais parler sont ici :
https://www.fda.gov/ICECI/Inspections/ucm250720.htm
Et mon dictionnaire de données vient d'ici:
https://www.fda.gov/iceci/inspections/ucm250729.htm
Tableau 1. Dictionnaire de données
Nom du centre
|
Zone de programme
|
Citer l'identifiant
|
Cite ID est un identifiant unique pour chaque citation
|
Numéro de référence CFR
|
La référence du Code of Federal Regulations pour la citation
|
brève description
|
Description courte ou type de catégorie
|
longue description
|
La description longue est inscrite sur le formulaire 483 de la FDA
|
Fréquence
|
Le nombre de fois au cours de l'exercice, la citation a été utilisée sur un 483 pour le domaine de programme du Centre
|
Année
|
Terme dérivé, pour l'année du tableau
|
La première étape consistait à rassembler toutes les données. J'imagine que l'on pourrait simplement télécharger tous les classeurs Excel, puis ouvrir toutes les feuilles de calcul, puis les combiner toutes ensemble, dans une sorte d'approche copier-coller.C'est beaucoup trop fastidieux et sujet aux erreurs pour moi, j'ai donc utilisé JMP.
J'ai rencontré plusieurs problèmes lors de l'utilisation des fichiers. Il existe deux types de fichiers Excel (.xls et .xlsx), les noms de colonne changent lorsque le type de fichier change, et les nouveaux fichiers .xlsx ont environ 7 millions de lignes vides à traiter.Si vous exécutez mon script JMP pour effectuer l'importation de données, cela prend quelques minutes en raison de la taille de ces fichiers volumineux.Le script JMP d'ouverture des données nettoie les lignes vides, ajoute une colonne d'année, corrige les noms de colonne changeants et facilite généralement la première étape. (Script joint ci-dessous)
Les données brutes, avec 18 737 lignes, sont à elles seules accessibles et intéressantes à regarder (Figure 1). J'ai ajusté l'axe des y à une échelle logarithmique pour visualiser toutes les tendances ensemble. La construction du graphique nécessite l'utilisation de la colonne des fréquences. Il existe quelques tendances potentielles dans les domaines de programme du Centre, par exemple, les citations de santé radiologique ont bondi vers 2009 et 2010, et les citations pour les tissus humains et les produits biologiques ont tendance à baisser.Soyez très prudent lorsque vous attribuez une cause aux tendances. Les produits biologiques pourraient être en baisse parce que les fournisseurs de produits sanguins se sont regroupés et qu'il y a moins de sites à inspecter, ou peut-être que l'industrie s'est améliorée (je l'espère).
Figure 1. Dénombrement de 483 par centre de 2006 à 2017. Graphique du brut
importé des fichiers de la base de données
Je travaille principalement avec des sociétés pharmaceutiques, donc je suis plus intéressé par les 483 pour les médicaments, j'ai donc créé un sous-ensemble uniquement des citations du Drug Center. Je voudrais regrouper toutes les longues descriptions similaires ensemble. Si beaucoup d'entre eux étaient uniques, ce ne serait pas un problème, mais ce n'est pas le cas. J'ai commencé à lire les longues descriptions afin de pouvoir commencer à les catégoriser, mais il est rapidement devenu clair qu'avec 4 167 enregistrements, ce serait une tâche héroïque. Une façon de catégoriser les documents consiste à utiliser un outil d'exploration de texte appelé analyse de classe latente. Cette méthode évalue la fréquence des mots dans les documents afin que des documents similaires puissent être regroupés.
L'exploration de texte n'est pas un processus massivement automatique, sauf si vous avez accès à la solution d'exploration de texte SAS et à quelques experts, mais même dans ce cas, il faut du travail pour nettoyer les documents avant de procéder à l'analyse.
La terminologie pour traiter le texte change un peu. Dans ce sens, chaque longue description est appelée un document, et chaque « mot », ou jeton, est un terme. J'ai commencé par un petit nettoyage de texte.Par exemple, avec l'outil JMP Recode :
- Supprimé " . , ; : [ ] * -- - ”
- Supprimé (s), (S), 's
- Suppression de "spécifiquement" à la fin des descriptions
- Recodé, minuscule, rogner l'espace blanc, réduire l'espace blanc
- Changement de "mot/mot" en "mot/mot"
L'étape suivante était une application plus extrême de Recode. Je voulais utiliser Recode mot par mot, pas sur toute la chaîne ensemble, j'ai donc séparé tous les mots en colonnes séparées en utilisant l'espace comme délimiteur, puis j'ai combiné les mots avec un délimiteur virgule. J'ai cette colonne en tant que type de données "Réponse multiple" afin que Recode me permette de regarder tous les mots séparément. Cela m'a permis de corriger certains mots cassés et des mots qui avaient plus d'une orthographe ainsi que quelques autres choses. L'objectif était de réduire la dissemblance entre les termes basés sur des caractéristiques qui ne seraient pas pertinentes pour l'analyse de texte.
Ce n'est pas un nettoyage complet ou parfait, mais c'était assez bon pour commencer avec le prochain niveau de "nettoyage" pour l'exploration de texte.L'outil JMP Text Explorer inclut une option Stemming qui me permet de faire en sorte que des mots similaires deviennent le même mot. Par exemple, "adultère", "adultéré", "adultère" deviennent tous "adultère-". Chaque mot est remplacé par son mot radical afin que le temps verbal et les pluriels d'un mot soient tous le même mot. JMP trouve également des expressions fréquentes afin qu'elles puissent être ajoutées en tant que termes. Certaines phrases apparaissent assez souvent, comme « fermeture du conteneur », « contrôle de la qualité » ou « procédures écrites ».
J'ai commencé par l'exploration de texte. Il s'agit d'une approche de fréquence de mots (sac de mots) pour essayer de comprendre ce qui se trouve dans les documents. Pour regrouper des documents similaires, j'ai utilisé une Décomposition en Valeurs Singulières pour une Analyse Sémantique Latente (Latent Class Analysis ou ACV). J'ai centré et mis à l'échelle les vecteurs et utilisé la pondération TF-IDF, puis utilisé une méthode de regroupement hiérarchique pour classer 100 groupes de documents. Pour trouver des tendances au fil du temps avec chacun des 100 clusters, j'ai utilisé un deuxième tour de clustering où j'ai utilisé l'année comme ID d'attribut, le cluster LCA comme ID d'objet et regroupé par la fréquence du cluster LCA. Cette approche de regroupement hiérarchique trouve des groupes de documents avec les mêmes tendances de fréquence dans le temps (Figures 2 et 3.)
En utilisant l'approche de classification et de cluster, nous avons réduit notre recherche de tendances dans 4 167 documents à 283, et nous pouvons classer ces documents avec trois clusters de tendances temporelles et un total de sept groupes de clusters de documents (LCA) (tableau 1).
Les documents étant regroupés par tendance temporelle, le problème suivant consiste à essayer de comprendre le contenu des documents que nous avons identifiés. Je pouvais lire les 283 longues descriptions, et encore une fois, cela pourrait être intéressant mais fastidieux. Au lieu de cela, je vais revenir à l'analyse de texte pour essayer de comprendre de quoi parlent ces citations. Il s'avère que la fréquence des mots, souvent représentée dans un nuage de mots, est une méthode rapide pour obtenir des informations et laisser ensuite notre cerveau élaborer le prétexte en fonction de notre familiarité avec le contexte. Dans ces nuages de mots, la taille du mot est proportionnelle à la fréquence à laquelle il se produit et l'obscurité du mot indique la fréquence du document. Si le mot est plus sombre, il figurait dans plus de documents, mais s'il est plus gros, il apparaît plus fréquemment dans les documents. L'analyse de texte utilisée dans ce contexte est imparfaite, mais elle est plus pratique que l'alternative consistant à traiter manuellement chaque document individuellement (Figure 4, 5 et 6.)
Conclusion
Le but de cet exercice d'analyse était d'essayer de découvrir s'il y a ou non des tendances dans l'application lors des inspections de sites. Dans cette analyse, la tendance à la hausse la plus importante était liée au traitement aseptique et à la contamination. Cette tendance peut représenter une concentration accrue de l'agence ou elle peut également représenter une augmentation du traitement aseptique par l'industrie pharmaceutique, voire une augmentation du nombre de médicaments traités de manière aseptique. Il n'est pas possible de faire la différence entre une application accrue et une plus grande possibilité d'erreur sans effectuer d'importantes recherches supplémentaires ; cependant, le message, pour ceux qui effectuent un traitement aseptique, doit être clair. Soyez prudent avec vos processus, vos activités de validation et la façon dont ces activités sont conçues pour surveiller et prévenir la contamination. (en tant que consommateur, je pense vraiment que cela devrait aussi être une priorité!)
En général, l'agence semble être généralement cohérente dans l'application de l'ensemble des réglementations 21CFR 210 et 211 (où se trouvent la plupart des réglementations spécifiques aux médicaments). En examinant tous les autres groupes de documents, une tendance claire se dégage en ce sens que les pics annuels de citations pour un domaine plutôt qu'un autre ne se produisent manifestement pas. Cela tend à fournir des preuves contre l'hypothèse légendaire du « focus de l'année ».
Figure 2. Dendrogrammes des opérations de clustering. Tous les 4 167 documents du Drug Center ont été regroupés en 100 groupes de documents à l'aide de l'analyse des classes latentes (ACV) (1 St panneau). Pour trouver des groupes de documents qui se produisent avec des fréquences similaires, un deuxième cycle de regroupement a été effectué. Les 100 groupes de documents ont été résumés en 9 groupes de tendances temporelles (2 nd panneau). Les groupes 3, 4 et 8 ont des modèles qui commencent à augmenter au cours des dernières années sur le graphique.
Cluster de tendance temporelle
|
Nombre de documents
|
Groupe de documents
|
Nombre de documents
|
3
|
146
|
26
|
55
|
|
|
45
|
39
|
|
|
56
|
35
|
|
|
90
|
17
|
4
|
97
|
11
|
72
|
|
|
74
|
25
|
8
|
39
|
46
|
39
|
Tableau 2. Contenu des clusters Tendance temporelle et Document. L'actuel
nombre de documents à traiter est assez important, mais en utilisant le Latent
Regroupement de documents de classe suivi de la tendance temporelle Regroupement du
problème est considérablement réduit.
Figure 3. Documentez les clusters dans chaque cluster de tendance temporelle. La plupart du temps, les clusters de tendance sont assez plats ou ont des fréquences basses comme les clusters 1 et 2. Mais les groupes 3, 4 et 8 ont des tendances à la hausse intéressantes au cours des deux dernières années. (notez que les lignes sont colorées par groupe de documents et que la couleur n'a rien à voir avec la distance du groupe.)
Figure 4. Groupe de tendance temporelle 8. La tendance la plus importante se trouve dans le Time Trend Cluster 8 où les documents sont liés au traitement stérile et à la contamination.
Figure 5. Groupe de tendance temporelle 4. Le groupe temporel 4 a la deuxième augmentation la plus importante de la fréquence des citations. Les documents dans le groupe de documents 11 sont à nouveau liés au traitement aseptique. Le groupe de documents 74 est lié aux niveaux appropriés d'autorisation et de contrôle des enregistrements contrôlés.
Figure 6. Groupe de tendance temporelle 3. Le cluster de tendance temporelle avec les plus petites tendances à la hausse est le cluster 3. Les groupes de documents 26 et 45 sont liés aux méthodes d'essai et à leur manque général de robustesse en ce qui concerne les procédures, les normes, la manipulation des échantillons et leurs normes et contrôles. Le groupe de documents 56 est lié aux citations concernant le signalement d'éléments tels que les événements indésirables à plusieurs étapes du développement et de l'homologation d'un médicament. Enfin, le groupe de documents 90 est lié au manque de contrôle des erreurs et à la manière dont elles ont été traitées.
Le sous-ensemble de données sur les médicaments est joint. Notez que certaines analyses nécessitent JMP Pro.
Les données sont également sur public.jmp.com ici
