近期對良好臨床實踐(GCP)指南(ICH E6[R2])的更新,推動了將品質源自於設計(QbD)原則應用於製藥業臨床試驗的設計、分析和監測。該方法的三個關鍵方面是:定義、監測和報告。
我的演講主題是:基於風險的品質管理、品質風險管理、品質源自於設計、相關工具以及臨床試驗環境中的挑戰。我是克里斯威爾斯,任職於羅氏產品有限公司。在此聲明,本次演講中的觀點僅代表我個人,不一定代表羅氏產品有限公司的立場。
基於風險的品質管理(RBQM)和品質風險管理(QRM)究竟是什麼?基於風險的品質管理為臨床試驗的整體品質管理提供了一個框架。它透過識別關鍵流程和關鍵數據,確保資源主要集中在這些領域。基於風險的品質管理旨在確保在整個臨床試驗過程中,風險能夠被主動、系統地識別和管理。
品質風險管理同樣是一個系統化的過程,它旨在評估、控制和溝通可能影響臨床試驗品質的風險。品質風險管理的目的是識別潛在的品質風險,並實施適當的措施來降低這些風險。品質風險管理是綜合品質管理系統的重要組成部分,對於確保病人安全和符合監管要求至關重要。品質風險管理關注所有流程和所有潛在風險。
但為什麼這很重要?基於風險的品質管理 (RBQM) 和品質風險管理 (QRM) 都是臨床試驗中全面品質管理系統的重要組成部分。雖然它們的重點和方法可能有所不同,但它們是管理風險和確保試驗品質的互補方法。同時實施 RBQM 和 QRM 對於確保病患安全、資料完整性和法規遵循至關重要。
讓我們來了解品質源自於設計(Quality by Design)。品質源於設計是一個將品質融入臨床試驗的設計、實施和監測的框架。例如,您可能需要標準方案範本、標準電子病例報告表,以及整合先前的知識和實驗設計。
品質源自於設計包含四個主要組成部分:人員、流程、工具和文化。就人員而言,您需要具備風險管理經驗的專業人員。您需要端到端的臨床試驗品質源自於設計和品質風險管理流程。您需要一個電子系統來確保整個企業採用一致的方法。文化,即臨床試驗文化和臨床試驗質量,需要由研究團隊負責。
現在來說說ICH指南。這些指南由人用藥品註冊技術要求國際協調理事會(ICH)制定。 ICH的獨特之處在於它匯集了監管機構和製藥業,共同探討藥品的科學和技術方面,並制定ICH指南。 ICH指南共有14項,涵蓋四個要素:品質、安全性、有效性和多學科交叉。而基於風險的品質管理(RBQM)則受ICH E6 R2和即將發布的ICH E6 R3的約束。這些指南推薦採用基於風險的品質管理方法。
品質源自於設計(QbD)由ICH E8 R1規範,品質由ICH Q9規範。這些規範旨在將品質融入試驗設計中。療效由ICH E9規範。 ICH E9 (R1)中概述的關於評估指標(或實際上涉及的指標,即主要終點和次要終點,以及關鍵次要終點)的原則,適用於「任何評估治療效果或檢驗與治療效果相關的假設的情況,無論其與療效還是安全性相關」。
基於風險的品質管理(RBQM)中使用了多種工具和指標。我們的主要指標是品質容許限值(QTL)和關鍵風險指標(KRI)。它們是任何基於風險的品質管理系統的關鍵指標。 QTL旨在識別研究層面的系統性偏差,而KRI通常會在研究中心績效層面觸發風險緩解措施。例如,研究中心的平均資料輸入週期時間就是一個KRI。而QTL的例子可以是提前退出研究藥物的病人比例。
螢幕右側有兩個例子。最上面一個是貝葉斯分層模型,它是一種可用於質量公差限值的分析方法。下面還有一個關鍵風險指標 (KRI) 的例子。
統計監測是另一個常用的指標。它利用複雜的統計演算法來發現試驗過程中的資料異常值和異常情況,其結果將用於指導各種監測或升級溝通措施。 JMP Clinical 是運行統計監測的理想工具。
數據品質監管。這指的是一系列用於偵測異常或資料離群值的工具。例如,查詢管理。我們會問:某些站點的查詢次數是否高於其他站點?這些查詢是否會導致資料變化?查詢是否僅針對關鍵資料?這些問題需要解決,以便最終降低整個研究的查詢次數,並確保研究專注於那些會導致資料變化的查詢,且僅查詢關鍵資料。
RBQM實施過程中最大的挑戰在於方法論的運用。造成實施挑戰的原因有很多,例如方法論本身就多種多樣。直到最近,業界才開始真正交流各公司所使用的具體方法論,缺乏統一的標準。但最近,一些機構聯合起來,就此主題撰寫了論文,這標誌著RBQM領域開始形成更開放的共享環境。這對整個RBQM流程來說無疑是件好事。
有些方法需要用到歷史資料。這可能確實是個挑戰,因為數據可能已存檔,或者由於某種原因難以獲取,甚至可能找不到與你目前研究相符的數據。
由於研究組合中包含多種類型的研究,研究設計是一項巨大的挑戰。這些研究包括小型研究、平台研究、籃子研究和隊列研究等,其中每個組別的患者人數都很少。根據所採用的研究方法,這可能會使研究設計變得非常困難。此外,還有一些設計非常複雜且分散的試驗,這些試驗可能不會以傳統的方式使用研究中心。
關鍵風險指標 (KRI) 或數量性狀指標 (QTL) 所使用的參數類型有時也相當難以理解。但我認為,隨著 Estimand 框架的實施,團隊開始更清楚地了解審查的重點所在。最後,即使有統計學基礎,它並非總是精確的科學。
另一個困難在於缺乏高階領導的支持。這對於基於風險的品質管理(RBQM)的成功至關重要。我認為,越來越多的高階領導已經意識到RBQM在整個產業的重要性。然而,RBQM的實施和理解可能比較複雜,不像製造環境中的控製圖那樣清晰明了。工具和流程也比較複雜,難以確定哪種最佳,以及如何將其融入日常工作中。研究團隊內部常常缺乏對這些工具和流程是否真正有效的信心。
RBQM的搭建團隊面臨一系列挑戰。我的演講到此結束,接下來交給Sam。
謝謝克里斯,你概述了基於風險的品質管理在這個新框架下是如何運用關鍵風險指標和品質容差限值來實現的,以及其中面臨的一些挑戰。接下來,我將向你展示如何使用 JMP 以及 JMP Clinical 來完成這些工作。
我是JMP公司健康與生命科學領域的高級產品經理。 JMP Clinical是一款專注於臨床試驗資料審查的專業產品。我們為使用者提供開箱即用的功能,以便對研究中心和受試者層面的臨床試驗進行全面審查。該產品已被製藥業廣泛採用,並被全球多家監管機構使用。其主要功能包括安全性審查、醫學監查和研究監查。
它是我們四大主要 JMP 產品之一:JMP、JMP Pro、JMP Clinical 和 JMP Live。 JMP Clinical 是 JMP 的擴展,它基於 JMP Pro 運行,並使用 JMP 腳本語言來自動化您在 JMP Clinical 中看到的所有操作和報告。
JMP Pro 是一款功能全面的統計、資料分析和資料視覺化程式。它具有高度的靈活性,可使用 JMP 腳本語言進行自訂,從而允許您在其基礎上開發應用程式。此外,它還允許您連接到其他類型的工具,例如 SAS 和開源工具:R、Python、Matlab。
JMP Clinical 也採用資料標準。數據標準有助於制定標準化的分析方法。我們使用 CDISC 資料標準,主要包括研究資料列表模型 (SDTM) 和分析資料模型 (ADM)。這些數據標準是美國和日本監管機構強制要求新產品申報時必須採用的標準,許多其他地區也建議使用這些標準。
擁有完善的資料模型,就能發展出標準化的分析方法。 JMP Clinical 多年來一直沿用這種方法。我們最近發表了一篇文章,連結就在這裡,您可以查看一些數據標準如何實現標準化報告的範例。
接下來,我將向您展示如何在 JMP 中完成這些操作。這裡顯示的是 JMP,實際上是 JMP Clinical 版本正在運行。我特意查閱了一些數據,以便創建一個簡單的範例,說明如何建立這些關鍵風險指標並設定限值。
我們將重點放在試驗中可以產生的兩種不同類型的數據。一種是不良事件,受試者發生的有害事件,包括可能與藥物相關或無關的醫療或其他不良事件。在這種情況下,您需要了解的是,不良事件的整體發生率是多少?
我這裡有一張圖表,顯示了研究中每個研究中心的不良事件數量。在這個案例中,研究中心有好幾個研究計畫。我估計,大概有25到30個研究中心。這些是每週發生的不良事件,由試驗中的受試者每週記錄。你會注意到一些有趣的模式,一種上下波動的模式。你也會注意到,很多時候,不良事件數量會先達到高峰,然後迅速下降。
事實上,如果我進入控制面板,移除網站 ID,只繪製圖表並顯示結果,然後對平均計數進行排序,你會看到它先上升後下降。你可能會想,「這是怎麼回事?」這是因為受試者進入試驗的時間不同。研究開始後,不同部位的受試者入組速度也不同,因此,受試者人數會先從少數增加到越來越多的,然後隨著時間的推移,受試者人數又會逐漸減少。
因為不良事件的發生率與受試者人數成正比,而且可能與受試者在試驗中接觸藥物或安慰劑的程度成正比,這也具有一定的指標意義。在本例中,如果您再次查看此圖,會發現試驗的給藥週期為兩週,而這是一張週線圖。您可以看到這些小的峰值。看起來大約每兩週就會出現一次不良事件。這可能表示不良事件的發生率或數量與藥物暴露量有關。
我們可以深入分析,看看受試者接受治療的天數。暴露量指的是受試者接受治療的天數,我們可以在這裡繪製類似的圖表。我這裡只看每週的暴露量。可以看到,所有研究中心的暴露量都在上升,然後下降。如果我們按研究中心細分,並繪製與先前類似的圖表,可以看到暴露量也呈現類似的上升和下降趨勢。
這就讓人想到,如果我想準確了解不良事件的發生率,就需要根據藥物暴露量進行調整。一個簡單的方法是計算比率。用不良事件的數量除以藥物暴露量。
我做了大量的數據工作才整理出這份報告。這裡有一個數據表。我們把這兩張表放在一起,然後計算不良事件發生數與總暴露量的比值。我們可以看一下這張圖,可以看到這是所有站點資料的疊加圖。可以看到,總體而言,數據在一個範圍內,相當穩定,只有少數幾個點似乎是異常值。
假設我現在有了一個指標,我定義了一個衡量標準,即暴露調整後的不良事件發生率。現在我想給它設定限值。我該如何設定限值呢?一種方法是,如果你只從臨床角度就知道它應該是多少;如果你擁有紮實的科學知識和專業技能;你可以直接設定一個限值,並將其繪製在圖上。但很多時候,我們會查看數據,假設這是一項歷史研究,我們只想了解數據的變異情況,並根據數據的變異情況,在數據變異範圍的邊緣或某個特定位置設定限值。
在這種情況下,我們可以觀察這些結果的分佈。結果表明,如果我對經暴露調整後的不良事件發生率取對數,它看起來非常接近常態分佈。這意味著數據本身可能已經取對數並呈正態分佈,這很好。這意味著我可以擬合一個分佈來描述數據,並據此估計百分位數,或直接使用觀察到的百分位數。這裡的資料量很大,所以我們可能可以直接使用百分位數。
一種方法是,我們取第 95 個百分位數和它的第 5 個百分位數,當然,還要進行反向變換,即從對數轉換回原始尺度,並將這些值作為界限。此外,您可能還需要一些更嚴格的界限,例如警告界限。對於超出警告界限範圍的數據,您可能不會進行深入調查或過於關注,但您可能也想將其作為界限。您甚至可以使用類似第 20 到 80 百分位數這樣的界限作為警告界限。
最後一種確定合適限值的方法是,如果您希望限值能夠覆蓋大部分數據,而只關注那些極端值和超出正常數據範圍的情況,您可以計算不同覆蓋率的容差區間。在本例中,我已經計算了幾個不同的容差區間,但我將在圖中顯示 95% 覆蓋率和 95% 容差區間。
如果我回到數據表,把它畫成圖表。圖表看起來不錯。綠色區域代表警告限值內的數據,也就是第 20 和第 80 個百分位數。綠色區域的數據應該沒問題。我還把所有資料都用對數刻度繪製在 Y 軸上,因為它看起來像是對數常態分佈。
黃色區域是指…黃色區域內的任何數值都處於警告區。可能需要查看,但可能不必過於擔心。而黃色區域之外的數值則表示不合格,需要更深入的調查。您也可以使用虛線,虛線分別代表上限和下限。
這有點令人困惑,因為在ICH E6術語中,他們把這個限值稱為質量容差限值,但我說的只是容差限值,也就是統計容差限值。這裡有兩種不同的意思。統計容差限值是根據資料計算出來的,而品質容差限值本質上就是規範。你肯定不想讓它不合格。如果不合格,就需要進行調查。
這種數據視覺化方式很不錯。我們也可以直接看這裡,也許我們不想按網站細分。我們可以移除網站 ID,只看趨勢圖,就是這樣。現在你可以看到這裡發生了相當多的事件。上面的要點顯示不良事件發生率較高,或者你可能稱之為過度報告。你會想,「這是怎麼回事?」這可能與治療本身有關,但也可能與藥物的給藥方式或不良事件的記錄方式有關。導致發生率高的原因有很多。
但還有一些數值非常低,甚至異常低。這些數值分別代表不同地點在不同週的資料。這可能意味著不良事件的記錄沒有正確。你需要確保不良事件的紀錄也正確無誤。這就是不良暴露調整率。
您可能還需要考慮的是偏差。偏差是指由於某種原因,研究方案沒有被遵守。例如,可能有人沒有正確填寫表格;可能有人本應進行的實驗室檢查沒有進行,也沒有記錄;或者受試者錯過了一次例行訪視。導致偏差的原因有很多。此外,這裡統計的是每個研究中心每週的偏差數量。
如果你仔細觀察,你會發現它與曝光度關係不大,但如果我把網站 ID 去掉…我重新開始。我來看「週」這個數據,這裡我把它當作一個名義變量,就像一個類別一樣,然後查看偏差次數,並在這裡做一個柱狀圖,顯示總和。好了。你可以看到偏差次數也呈現類似的模式,先增加後減少,然後再上升,最後又下降。這可能與曝光度有關。
另一個挑戰在於,這些數據的暴露期大致就在這個區域。但之後可能會出現一些情況,例如後來發現的偏差和問題。我嘗試計算了暴露調整後的偏差率並繪製了圖表。結果看起來還不錯,但最後階段的情況是,首先,由於研究後期沒有每週的暴露數據,可能需要不同的指標。或許需要計算某個地點的累積暴露量,並在整個研究過程中使用該指標。最終,你得到的只是總暴露量。
但這次我沒有這樣做,但這將是我未來需要改進的地方。同樣,我用類似的方法,利用百分位數計算了一些限制條件,並將它們疊加到圖表上。
最後,我想提一下,關於長期監測,我目前是在 JMP 中進行的。臨床版 JMP 目前還沒有完全實現這種框架的功能;不過,我們正在努力為 JMP Clinical 開發相關功能,並計劃在未來提供一些新功能。
但JMP Clinical還有一項功能,那就是基於風險的監查報告。這項功能可以對研究進行整體評估,它會收集所有研究數據,計算關鍵風險指標,並將其與既定標準進行比較。本質上,這和我們之前的工作相同,只是方法略有不同。
但是,如果我在 JMP Clinical 中執行此報告,就會發現它出現在 18 版本中。 8 版本就有了,17 版沒有,但現在 18 版有了。我將運行此報告。它會計算幾個關鍵風險指標,並將其與對話方塊中定義的一些閾值進行比較。您已選擇了一個閾值檔案。然後,它會以清晰的總計圖表形式顯示結果。
這裡有一個基於風險指標評分的熱力圖,分為紅色、黃色和綠色。紅色基本上表示超過了質量容差限值。黃色表示處於警告區域。綠色表示可能沒問題。這裡有不同的指標。有些指標是基於安全性。例如,每位隨機受試者每週的不良事件數、每週的嚴重不良事件數、每位患者每週的死亡數、每位隨機受試者的死亡百分比以及隨機受試者的中止率。
患者中止治療是需要關注的問題,我們需要了解患者退出的原因。他們退出可能是因為藥物無效、出現不良反應,或不喜歡所在的研究中心。原因有很多。此外,入組方面也存在一些問題,例如違反試驗方案。是否有人未簽署知情同意書?有多少人未被篩選而被排除在研究之外?
然後是整體風險指標,它是各個風險指標的加權平均值。您可以查看所有站點的整體風險指標。如果您想深入了解某個特定站點,您也可以查看該站點結果的長條圖。
今天就講到這裡。但這是一個如何使用 JMP 和 JMP Clinical 進行基於風險的品質監控、產生實際報告和分析,以及如何利用它們來探索數據並找出研究中可能存在的問題的例子。謝謝。