如果您參與製造受食品藥品監督管理局 (FDA) 監管的產品並進行過現場檢查,那麼您很可能熟悉該產品FDA 的 483 表格以及收到該郵件的後果。 在檢查您的設施期間,FDA 代表會檢查以確保正確遵守法規。 當我參與檢查時,我發現大多數觀察結果幾乎完全不合理;然而,作為一名消費者,閱讀其他人的觀察結果,我真的很高興有該機構關注我。
每年都有大量文章宣揚 FDA 檢查的新趨勢。 因此,每年,根據您的監管團隊所認同的謠言,都會出現一系列活動,試圖擊敗下一輪檢查。 我想知道 FDA 真的每年都會改變其重點嗎?更具體地說,是否有證據表明每年焦點都會轉移?由於2009年提出的開放政府倡議,FDA開始向公眾提供現場檢查的一些發現和結果。 目的是幫助提高公眾對 FDA 執法行動的了解。 引文數據以易於訪問的電子表格形式提供,這些電子表格直接從 FDA 的電子檢查工具中提取。 有一些相當嚴厲的注意事項與數據一起:不包括每條記錄,不包括手工記錄,這些可能只是初步結果,而不是最終形式。
我認為通過可用的部分數據集可以學到很多東西。 在本文中,我將討論如何深入研究檢查數據庫以及使用 JMP Pro 發現了什麼。
我要講的數據在這裡:
https://www.fda.gov/ICECI/Inspections/ucm250720.htm
我的數據字典來自這裡:
https://www.fda.gov/iceci/inspections/ucm250729.htm
表格1。數據字典
中心名稱
|
項目區
|
引用ID
|
Cite ID 是每個引用的唯一標識符
|
CFR 參考編號
|
引用的聯邦法規參考
|
簡短的介紹
|
簡短或類別類型描述
|
詳細描述
|
詳細描述被輸入到 FDA 表格 483 中
|
頻率
|
在本財年中,在中心計劃領域的 483 上使用該罰單的次數
|
年
|
表中年份的派生項
|
第一步是將所有數據整合在一起。 我想人們可以下載所有 Excel 工作簿,然後打開所有工作表,然後將它們全部組合在一起,以一種複制和粘貼的方式。這對我來說太乏味而且容易出錯,所以我使用了 JMP。
我在處理這些文件時遇到了一些障礙。 Excel 文件有兩種類型(.xls 和 .xlsx),當文件類型更改時列名稱也會更改,較新的 .xlsx 文件需要處理大約 700 萬個空行。如果您運行我的 JMP 腳本來執行數據導入,由於這些大文件的大小,需要幾分鐘的時間。用於打開數據的 JMP 腳本會清理空行、添加年份列、修復更改的列名稱,並且通常使第一步變得簡單。 (腳本附在下面)
僅包含 18,737 行的原始數據就可以訪問並且看起來很有趣(圖 1)。 我將 y 軸調整為對數刻度,以可視化所有趨勢。 圖表的構建需要使用頻率列。 中心計劃領域存在一些潛在趨勢,例如,輻射健康引用量在 2009 年和 2010 年左右猛增,而人體組織和生物製劑的引用量呈下降趨勢。在為趨勢分配原因時要非常小心。 生物製品的下滑可能是因為血液製品供應商已經整合,需要檢查的場所更少,或者行業可能已經變得更好(我希望如此)。

圖1。 2006 年至 2017 年中心統計的 483 個。 原始圖
從數據庫文件導入
我主要與製藥公司合作,因此我對藥物的 483 最感興趣,因此我只製作了來自藥物中心的引用的子集。 我想將所有類似的長描述組合在一起。 如果其中許多是獨一無二的,那不會有問題,但事實並非如此。 我開始通讀冗長的描述,以便開始對它們進行分類,但很快我就清楚地意識到,擁有 4,167 條記錄,這將是一項艱鉅的任務。 對文檔進行分類的一種方法是使用稱為潛在類分析的文本挖掘工具。 該方法對文檔中的詞頻進行評分,以便相似的文檔可以聚集在一起。
除非您能夠訪問 SAS 文本挖掘解決方案和一些專家,否則文本挖掘並不是大規模自動化過程,但即便如此,在進行分析之前也需要一些工作來清理文檔。
處理文本的術語略有變化。 在這個方向上,每個長描述都稱為文檔,每個“單詞”或標記都是一個術語。 我從一些文字清理開始。例如,使用 JMP 重新編碼工具:
- 刪除了“. , ; : [ ] * -- - ”
- 刪除了 (s), (S), 's
- 從描述末尾刪除了“具體”
- 重新編碼、小寫、修剪空白、折疊空白
- 將“字/字”更改為“字/字”
下一步是 Recode 的更極端的應用。 我想逐個單詞地使用 Recode,而不是對整個字符串一起使用,因此我使用空格作為分隔符將所有單詞分隔到單獨的列中,然後使用逗號分隔符將單詞組合起來。 我將此列設置為“多重響應”數據類型,以便 Recode 可以讓我單獨查看所有單詞。 這讓我修復了一些損壞的單詞和具有多種拼寫的單詞以及其他一些內容。 目標是減少基於與文本分析不相關的特徵的術語之間的差異。
這不是一個完整或完美的清理,但它足以開始文本探索的下一個“清理”級別。JMP 文本瀏覽器工具包含一個詞幹選項,可讓我將相似的單詞變成相同的單詞。 比如“摻假”、“摻假”、“摻假”都變成了“摻假——”。 每個單詞都用其詞幹替換,以便單詞的動詞時態和復數都是同一個單詞。 JMP 還可以查找常用短語,以便將它們添加為術語。 有些短語經常出現,例如“容器封閉”、“質量控制”或“書面程序”。
我從文本探索開始。 這是一種嘗試理解文檔內容的詞頻(詞袋)方法。 為了對類似的文檔進行分組,我使用了奇異值分解來進行潛在語義分析(潛在類分析或 LCA)。 我對向量進行居中和縮放,並使用 TF-IDF 加權,然後使用層次聚類方法對 100 個文檔簇進行分類。 為了查找100 個聚類中每個聚類隨時間變化的趨勢,我使用了第二輪聚類,其中使用年份作為屬性ID,使用LCA 聚類作為對象ID,並根據LCA 聚類的頻率進行聚類。 這種層次聚類方法可以找到隨著時間的推移具有相同頻率趨勢的文檔組(圖 2 和圖 3)。
使用分類和聚類方法,我們將4,167 個文檔中的趨勢搜索範圍縮小到283 個,並且我們可以使用三個時間趨勢聚類和總共七個文檔聚類(LCA) 組對這些文檔進行分類(表1)。
將文檔按時間趨勢分組後,下一個問題涉及嘗試理解我們已識別的文檔的內容。 我可以閱讀 283 篇長描述,但同樣,這可能很有趣,但也很乏味。 相反,我將回到文本分析來嘗試理解這些引文的內容。 事實證明,詞頻(通常以詞云形式表示)是一種快速得出見解的方法,然後讓我們的大腦根據我們對上下文的熟悉程度找出藉口。 在這些詞云中,詞的大小與其出現的頻率成正比,詞的深度表示文檔的頻率。 如果單詞顏色較深,則表示它出現在更多文檔中,但如果單詞較大,則表示它在文檔中出現的頻率更高。 在這種情況下使用的文本分析並不完美,但它比單獨手動處理每個文檔的替代方案更實用(圖 4、5 和 6)。
結論
這項分析工作的目的是試圖發現現場檢查期間是否存在執法趨勢。 在此分析中,最顯著的增長趨勢與無菌加工和污染有關。 這一趨勢可能代表該機構更加關注,也可能代表製藥行業無菌加工的增加,甚至無菌加工藥物數量的增加。 如果不增加大量額外的研究,就不可能區分加強執法和增加出錯機會。然而,對於那些進行無菌加工的人來說,這個信息應該是明確的。 請謹慎對待您的流程、驗證活動以及這些活動的設計方式以監控防止污染。 (作為消費者,我真的認為這也應該是一個高度優先的事項!)
總體而言,該機構在整套 21CFR 210 和 211 法規(大多數藥品特定法規所在的法規)的執行方面似乎大體一致。 通過查看所有其他文獻集群,可以發現一個明顯的趨勢,即某個領域的引用量每年都不會出現相對於另一個領域的峰值。 這往往會為傳說中的“年度焦點”假說提供證據。


圖 2. 聚類操作的樹狀圖。 使用潛在類別分析 (LCA) 將藥物中心的所有 4167 份文檔聚類為 100 個文檔組 (1英石控制板)。 為了找到出現頻率相似的文檔組,進行了第二輪聚類。 這 100 個文檔組被歸納為 9 個時間趨勢組(2 ND控制板)。 集群 3、4 和 8 的模式在圖表上的最後幾年開始增加。
時間趨勢簇
|
文件數量
|
文檔簇
|
文件數量
|
3
|
146
|
26
|
55
|
|
|
45
|
39
|
|
|
56
|
35
|
|
|
90
|
17 號
|
4
|
97
|
11
|
72
|
|
|
74
|
25
|
8
|
39
|
46
|
39
|
表 2. 時間趨勢和文檔集群的內容。 實際上
要處理的文檔數量相當大,但是通過使用 Latent
類文檔聚類其次是時間趨勢聚類
問題大大減少。

圖 3. 每個時間趨勢集群內的文檔集群。 大多數時候,趨勢集群非常平坦或頻率較低,如集群 1 和集群 2。 但集群 3、集群 4 和集群 8 在過去幾年中出現了一些有趣的上升趨勢。 (請注意,線條按文檔簇著色,並且顏色與簇距離無關。)

圖 4. 時間趨勢集群 8. 最大的趨勢是時間趨勢集群 8,其中的文檔與無菌處理和污染相關。

圖 5. 時間趨勢集群 4. 時間簇 4 的引用頻率增幅第二大。 文件簇11中的文件再次與無菌處理相關。 文檔簇74與受控記錄的適當授權級別和控制相關。

圖 6. 時間趨勢集群3。 具有最小上升趨勢的時間趨勢簇是簇 3。 文檔簇 26 和 45 與測試方法及其在程序、標準、樣品處理及其標準和控制方面普遍缺乏穩健性有關。 文檔簇56與圍繞報告諸如藥物開發和許可的多個階段的不良事件之類的事情的引用相關。 最後,文檔簇 90 與缺乏對錯誤及其處理方式的控制有關。
附上數據的藥物子集。 請注意,某些分析需要 JMP Pro。
該數據也位於 public.jmp.com 上這裡
@rfullin因此,在這種情況下,我只查看了藥物計劃領域,而不是所有計劃領域的所有數據。 我真的很好奇你是如何分析數據以及你發現了什麼。 您能分享一下您的方法嗎?
我同意這裡顯示的數據並沒有真正顯示任何“新”趨勢(2011-2014 年無菌加工除外),但是當您查看特定程序領域時,您可以看到一種趨勢。在 10 月 2 日即將舉行的網絡研討會上,我剖析了過去幾年 FDA 醫療器械和製藥項目領域的數據,並確定確實存在最近的FDA 的焦點發生變化。謝謝,雷吉娜·富林