Si está involucrado en la fabricación de un producto que está regulado por la Administración de Alimentos y Medicamentos (FDA) y ha tenido una inspección en el sitio, es muy probable que esté familiarizado con el Formulario 483 de la FDA y las consecuencias de recibir uno. Durante una inspección de sus instalaciones, los representantes de la FDA verifican que las reglamentaciones se sigan correctamente. Mientras estaba involucrado en ser inspeccionado, encontré que la mayoría de las observaciones eran casi completamente irracionales; sin embargo, como consumidor, al leer las observaciones de otras personas, estoy muy feliz de que la agencia me cuide.
Cada año hay numerosos artículos que pontifican las nuevas tendencias en las inspecciones de la FDA. Como resultado, cada año, dependiendo del rumor al que se suscriba su equipo regulador, hay una ráfaga de actividad para tratar de superar la próxima ronda de inspecciones. Me he preguntado, ¿realmente la FDA cambió su enfoque cada año?Más específicamente, ¿hay evidencia de un cambio de enfoque anual?Debido a la Iniciativa de Gobierno Abierto que se estableció en 2009, la FDA comenzó a brindarle al público algunos de los hallazgos y resultados de las inspecciones del sitio. El objetivo era ayudar a mejorar la comprensión pública de las acciones de cumplimiento de la FDA. Los datos de las citas se proporcionan en hojas de cálculo de fácil acceso que se extraen directamente de las herramientas de inspección electrónica de la FDA. Hay algunos bastante severos advertencias que van junto con los datos: Todos los registros no están incluidos. , los registros manuales no están incluidos y estos pueden ser solo resultados preliminares, no el formulario final.
Creo que se puede aprender mucho con el conjunto de datos parciales que está disponible. En este artículo, voy a discutir cómo busqué en la base de datos de inspección y qué descubrí usando JMP Pro.
Los datos de los que voy a hablar están aquí:
https://www.fda.gov/ICECI/Inspections/ucm250720.htm
Y mi diccionario de datos viene de aquí:
https://www.fda.gov/iceci/inspections/ucm250729.htm
Tabla 1. Diccionario de datos
Nombre del centro
|
Área del programa
|
ID de cita
|
Cite ID es un identificador único para cada cita
|
Número de referencia CFR
|
La referencia del Código de Regulaciones Federales para la citación
|
Breve descripción
|
Descripción breve o de tipo de categoría
|
descripción larga
|
La descripción larga se ingresa en el Formulario 483 de la FDA
|
Frecuencia
|
La cantidad de veces durante el año fiscal que se usó la citación en un 483 para el Área del Programa del Centro
|
Año
|
Término derivado, por año de tabla
|
El primer paso fue reunir todos los datos. Me imagino que uno podría simplemente descargar todos los libros de Excel y luego abrir todas las hojas de trabajo y luego combinarlas todas juntas, en una especie de enfoque de copiar y pegar.Eso es demasiado tedioso y propenso a errores para mí, así que usé JMP.
Encontré varios inconvenientes al trabajar con los archivos. Hay dos tipos de archivos de Excel (.xls y .xlsx), los nombres de las columnas cambian cuando cambia el tipo de archivo y los archivos .xlsx más nuevos tienen alrededor de 7 millones de filas vacías.Si ejecuta mi secuencia de comandos JMP para realizar la importación de datos, demora unos minutos debido al tamaño de esos archivos grandes.El script JMP para abrir los datos limpia las filas vacías, agrega una columna de año, corrige los nombres de columna cambiantes y, en general, facilita el primer paso. (Guión adjunto a continuación)
Solo los datos sin procesar, con 18 737 filas, son accesibles e interesantes de ver (Figura 1). Ajusté el eje y a una escala logarítmica para visualizar todas las tendencias juntas. La construcción del gráfico requiere el uso de la columna de frecuencia. Hay un par de tendencias potenciales en las Áreas del Programa del Centro, por ejemplo, las citaciones de Radiation Health aumentaron alrededor de 2009 y 2010, y las Citaciones de Tejido Humano y Productos Biológicos tienen una tendencia a la baja.Tenga mucho cuidado al asignar la causa a las tendencias. Los productos biológicos pueden estar inactivos porque los proveedores de productos sanguíneos se han consolidado y hay menos sitios para inspeccionar, o tal vez la industria ha mejorado (eso espero).
Figura 1. Recuentos de 483 por Centro de 2006 a 2017. Gráfico de la materia prima
importado de los archivos de la base de datos
Trabajo principalmente con compañías farmacéuticas, por lo que estoy más interesado en los 483 para medicamentos, por lo que hice un subconjunto de solo las citas del Centro de Drogas. Me gustaría agrupar todas las descripciones largas similares juntas. Si muchos de ellos fueran únicos, eso no sería un problema, pero no es el caso. Empecé a leer las largas descripciones para poder clasificarlas en categorías, pero rápidamente me di cuenta de que con 4.167 registros, sería una tarea heroica. Una forma de categorizar documentos es usar una herramienta de minería de texto llamada análisis de clases latentes. Este método califica las frecuencias de las palabras dentro de los documentos para que los documentos similares se puedan agrupar.
La minería de texto no es un proceso automático masivo a menos que tenga acceso a la Solución de minería de texto de SAS y un par de expertos, pero aun así se necesita algo de trabajo para limpiar los documentos antes de realizar el análisis.
La terminología para tratar con texto cambia un poco. En este sentido, cada descripción larga se denomina documento, y cada “palabra”, o señal, es un término. Empecé con una pequeña limpieza de texto.Por ejemplo, con la herramienta JMP Recode:
- Eliminado “. , ; : [ ] * -- - ”
- Eliminado (s), (S), 's
- Se eliminó "Específicamente" del final de las descripciones.
- Recodificado, minúsculas, recortar espacios en blanco, colapsar espacios en blanco
- Se cambió “palabra/palabra” por “palabra / palabra”
El siguiente paso fue una aplicación más extrema de Recode. Quería usar Recode palabra por palabra, no en toda la cadena, así que separé todas las palabras en columnas separadas usando el espacio como delimitador y luego combiné las palabras con un delimitador de coma. Tengo esta columna como un tipo de datos de "Respuesta múltiple" para que Recode me permita ver todas las palabras por separado. Esto me permitió corregir algunas palabras rotas y palabras que tenían más de una ortografía junto con algunas otras cosas. El objetivo era disminuir la disimilitud entre los términos que se basaban en características que no serían relevantes para el análisis del texto.
Esta no es una limpieza completa o perfecta, pero fue lo suficientemente buena para comenzar con el siguiente nivel de "limpieza" para la exploración de texto.La herramienta JMP Text Explorer incluye una opción Stemming que me permite hacer que palabras similares se conviertan en la misma palabra. Por ejemplo, "adulterar", "adulterar", "adulterar" se convierten en "adulterar-". Cada palabra se sustituye por su raíz, de modo que el tiempo verbal y los plurales de una palabra son todos la misma palabra. JMP también encuentra frases frecuentes para que puedan agregarse como términos. Algunas frases aparecen con bastante frecuencia, como "cierre del contenedor", "control de calidad" o "procedimientos escritos".
Empecé con la exploración de texto. Este es un enfoque de frecuencia de palabras (bolsa de palabras) para tratar de comprender lo que hay en los documentos. Para agrupar documentos similares, utilicé una Descomposición de Valor Singular para un Análisis Semántico Latente (Análisis de Clase Latente o LCA). Centré y escalé los vectores y usé la ponderación TF-IDF y luego usé un método de agrupación jerárquica para clasificar 100 grupos de documentos. Para encontrar tendencias a lo largo del tiempo con cada uno de los 100 clústeres, utilicé una segunda ronda de agrupamiento en la que usé el año como ID de atributo, el clúster LCA como ID de objeto y agrupado por la frecuencia del clúster LCA. Este enfoque de agrupación jerárquica encuentra grupos de documentos con las mismas tendencias de frecuencia a lo largo del tiempo (Figuras 2 y 3).
Utilizando el enfoque de clasificación y clústeres, hemos reducido nuestra búsqueda de tendencias en 4167 documentos a 283, y podemos clasificar esos documentos con tres clústeres de tendencias temporales y un total de siete grupos de clústeres de documentos (LCA) (Tabla 1).
Con los documentos agrupados por tendencia temporal, el siguiente problema consiste en tratar de comprender el contenido de los documentos que hemos identificado. Podría leer las 283 descripciones largas y, de nuevo, eso podría ser interesante pero tedioso. En su lugar, voy a volver al análisis del texto para tratar de entender de qué se tratan estas citas. Resulta que la frecuencia de palabras, a menudo representada en una nube de palabras, es un método rápido para obtener información y luego dejar que nuestro cerebro resuelva el pretexto en función de nuestra familiaridad con el contexto. En estas nubes de palabras, el tamaño de la palabra es proporcional a la frecuencia con la que aparece y la oscuridad de la palabra indica la frecuencia del documento. Si la palabra es más oscura, estaba en más documentos, pero si es más grande, aparece con más frecuencia en los documentos. El análisis de texto utilizado en este contexto es imperfecto, pero es más práctico que la alternativa de procesar manualmente cada documento individualmente (Figuras 4, 5 y 6).
Conclusión
El objetivo de este ejercicio de análisis fue tratar de descubrir si existen o no tendencias en la aplicación durante las inspecciones del sitio. En este análisis, la tendencia de aumento más destacada estuvo relacionada con el procesamiento aséptico y la contaminación. Esta tendencia puede representar un mayor enfoque por parte de la agencia o también puede representar un aumento en el procesamiento aséptico por parte de la industria farmacéutica, o incluso un aumento en la cantidad de medicamentos procesados asépticamente. No es posible diferenciar entre una mayor aplicación y una mayor oportunidad de error sin agregar una investigación adicional sustancial; sin embargo, el mensaje para quienes realizan procesamiento aséptico debe ser claro. Tenga cuidado con sus procesos, sus actividades de validación y cómo esas actividades están diseñadas para monitorear y prevenir la contaminación. (¡Como consumidor, realmente creo que esto también debería ser una alta prioridad!)
En general, la agencia parece ser consistente en la aplicación de todo el conjunto de regulaciones 21CFR 210 y 211 (donde se encuentran la mayoría de las regulaciones específicas de drogas). Al observar todos los demás grupos de documentos, surge una tendencia clara en la que claramente no se producen picos anuales en las citas de un área sobre otra. Esto tiende a brindar evidencia en contra de la legendaria hipótesis del “enfoque del año”.
Figura 2. Dendogramas de Clustering Operations. Todos los 4167 documentos del Centro de Drogas se agruparon en 100 Grupos de Documentos usando Análisis de Clase Latente (LCA) (1 calle panel). Para encontrar grupos de documentos que ocurren con frecuencias similares, se realizó una segunda ronda de agrupación. Los 100 grupos de documentos se resumieron en 9 grupos de tendencia temporal (2 Dakota del Norte panel). Los clusters 3, 4 y 8 tienen patrones que comienzan a aumentar en los últimos años en el gráfico.
Clúster de tendencia temporal
|
Recuento de documentos
|
Clúster de documentos
|
Recuento de documentos
|
3
|
146
|
26
|
55
|
|
|
45
|
39
|
|
|
56
|
35
|
|
|
90
|
17
|
4
|
97
|
11
|
72
|
|
|
74
|
25
|
8
|
39
|
46
|
39
|
Tabla 2. Contenido de los clústeres de tendencia temporal y documento. El actual
número de documentos a procesar es bastante grande, pero al usar el Latente
Agrupamiento de documentos de clase seguido de Tendencia temporal Agrupamiento de
problema se reduce sustancialmente.
Figura 3. Documente los grupos dentro de cada grupo de tendencia temporal. La mayoría de las veces, los grupos de tendencias son bastante planos o tienen frecuencias bajas como los grupos 1 y 2. Pero los grupos 3, 4 y 8 tienen algunas tendencias alcistas interesantes en los últimos años. (Tenga en cuenta que las líneas están coloreadas por grupo de documentos y el color no tiene nada que ver con la distancia del grupo).
Figura 4. Clúster de tendencia temporal 8. La tendencia más grande está en Time Trend Cluster 8, donde los documentos están relacionados con el procesamiento estéril y la contaminación.
Figura 5. Clúster de tendencia temporal 4. El grupo de tiempo 4 tiene el siguiente aumento más grande en la frecuencia de citas. Los documentos en el grupo de documentos 11 están nuevamente relacionados con el procesamiento aséptico. El grupo de documentos 74 está relacionado con los niveles apropiados de autorización y control de registros controlados.
Figura 6. Clúster de tendencia temporal 3. El clúster de tendencia temporal con las tendencias ascendentes más pequeñas es el clúster 3. Los grupos de documentos 26 y 45 están relacionados con los métodos de prueba y su falta general de solidez con respecto a los procedimientos, estándares, manejo de muestras y sus estándares y controles. El grupo de documentos 56 está relacionado con citas sobre informes como eventos adversos en múltiples etapas del desarrollo y la concesión de licencias de un medicamento. Finalmente, el grupo de documentos 90 está relacionado con la falta de control de errores y cómo se trataron.
Se adjunta el subconjunto de medicamentos de los datos. Tenga en cuenta que parte del análisis requiere JMP Pro.
Los datos también están en public.jmp.com aquí
