揚聲器
|
成績單
|
| 麥克安德森 |
你好呀。 |
| |
讓我們來談談 JMP 16 中的新功能:檢測極限。 |
| |
我今天要討論的是檢測極限定義的背景。 |
| |
如果您忽略檢測極限,我想進行一些統計上的考慮。 |
| |
我環顧四周,發現一些我認為是現實世界的證據表明某些設計的產品缺乏穩健性,特別是 COVID-19 診斷測試,並且這些產品包含了檢測極限。 |
| |
最後,我將向您展示如何在 JMP 中實際使用檢測極限,我將向您展示如何輸入它們,如何在實驗設計中進行設置,以及如何使用限制來分析資料的檢測。 |
| |
我們如何知道是否有東西存在? |
| |
因此,這聽起來可能有點像一個深奧的問題,但是當您使用分析方法時,它不再是一個深奧的問題,而是一個關於您的系統有多好的問題。 |
| |
因此,舉例來說,如果我們試圖在某物中找到極少量的雜質,那麼在某些時候,我們用來檢測的系統將無法檢測到低於一定水平的雜質,並且的極限稱為檢測限。 |
| |
檢測極限有多種不同的定義。 |
| |
他們是, |
| |
FDA 表示,它們因領域和分析方法而異,因此我在這裡列出了一些,對於分子診斷測定,有限檢測是在 95% 的重複測量中可以檢測到的目標的最低濃度。 |
| |
現在,如果我們去看看化學界的說法,它將限制檢測方法定義為最小濃度或絕對量 |
| |
分析物的訊號明顯大於適當空白的訊號。 因此,在這兩個定義中,它們本質上是關於一些不同的方法。 |
| |
我查閱了更多文獻,如果您正在做諸如高效液相色譜之類的事情,當您查看曲線時,他們會談論信噪比。 |
| |
如果您要製作校準曲線,則有特定的方法,並且有許多不同的定義。 |
| |
關於檢測極限,因此我鼓勵每個人去尋找對其分析方法最有意義的方法,然後遵循您所在行業的特定指南。 |
| |
在 JMP 中, |
| |
我們定義檢測極限,因為...它是一個列屬性,超出該範圍 |
| |
響應無法測量,因此它限制了它,當我們分析數據時,它實際上會審查數據。 |
| |
因此,我之前給出的例子是尋找極少量的雜質,這將是下限,並將被審查。 |
| |
但它也可能是上限,例如,如果您向某個物體施加壓力,您的壓力表可能會停在某個上限。 |
| |
實際上,您可以對其施加更大的壓力,但您的儀表只是不會變得更高,這將是上限,並且這些數據將被正確審查,但它們在 JMP 中的處理方式完全相同。 |
| |
因此,我想透過一個例子來說明如果我們在分析數據時忽略檢測限制會發生什麼。 |
| |
所以在這個例子中, |
| |
在下面的直方圖中,您可以看到,我有一個真實的人口,這些都是我的綠色條,但我們假設我的檢測有限。 |
| |
在 10 處,我無法獲得低於該值的準確測量值,因此它不是零。 |
| |
我不知道我想要測量的東西有多少,所以有多少粒子,所以正確的統計方法再次是審查,邁克爾·克羅蒂(Michael Crotty)有一個非常好的演講2017 年 Discovery 中的 JMP |
| |
如果你想了解更多統計細節,你應該去看看他的演講。 |
| |
好吧,讓我們來看看這個例子,假設我們的檢測數量有限,為 10 和 |
| |
我們要做的就是將這部分人口視為 |
| |
我們並不真正知道它是什麼,所以 |
| |
這裡我有一個直方圖,所以右邊又是我的真實人口。 |
| |
我這裡有幾個不同的場景,所以如果假設我的偵測極限是 10 |
| |
然後又是 11 點,然後又是 12 點。 所以我在這裡所做的就是獲取這些數據,並且實際上將其推向 10。 |
| |
讓我告訴你這是什麼樣子的。 所以這不是在檢測限制下自動發生的事情,這是我建立的一個例子。 |
| |
所以,如果你看一下,例如在第 7 行,我的真實值是 9.22。 |
| |
但如果我的檢測極限是 10。 |
| |
那麼我不知道,我實際上不知道 9.22 的值,我能做的最好的事情就是把它寫下來為 10。 |
| |
或者,我可以將其設為缺失或零,但我認為 10 可能更現實一些。 |
| |
現在,如果我的有限檢測是 11,我必須將該數字移動到 11,同樣,如果我的有限檢測是 12,我會移動該數據點並將其變成 12。 |
| |
所以我們看到的是,特別是如果你在 12 點看這裡,我真的把我的資料集中在這裡了。 |
| |
這對平均值的影響是,在我的真實總體中,我的平均值約為 10.5。 |
| |
至於10,它會變成10.7,然後我的平均值越來越高,它會變成11.2,然後是12,實際上,當我取所有這些值並將它們轉換為下限時,平均值處於檢測極限。 |
| |
所以我離我的真實平均值 10.5 還很遠。 |
| |
但是看看我們的變異測量發生了什麼;我的標準差是我的真實總體中的一個, |
| |
如果檢測極限為 10,則該值變為 0.8;如果偵測極限為 11,則該值變為 0.4,然後一路下降至 0.2。 |
| |
所以我的變異測量變得越來越小,所以我實際上對我實際進行的測量越來越有信心,這與真實人口的實際情況相差甚遠。 |
| |
所以我總結了下面中間的圖表,你可以看到,我有我的真實人口。 |
| |
我正在將其他手段與我施加了這種錯誤檢測水平的手段聯繫起來,您可以看到這些手段急劇變得越來越高,並且離真相越來越遠。 |
| |
這裡的條形是標準差,你可以看到,它們越來越小,然後橙色陰影是我名字的 95% 置信區間。 |
| |
在右邊的上圖中,我實際上繪製了平均值和中位數,你可以看到,它們的行為方式類似, |
| |
這是令人驚訝的,因為您可能認為中位數會更穩健一些,但在這種情況下它實際上對您沒有幫助。 |
| |
以下是我對變化的測量,你可以看到,當我們施加越來越高的限制時,它們會變得越來越小。 |
| |
所以看起來我們做得很好,對吧? 我對自己的平均值測量的信心真的越來越大, |
| |
相當小,但事實是我離真正的人口價值越來越遠,而且離得越遠我就越有信心。 |
| |
所以這確實是一個擔心,你不一定能夠檢測到到底發生了什麼,並且你會對事情產生錯誤的信心。 |
| |
因此,當我們將檢測極限擴展到設計的實驗中時, |
| |
稍後您將在演示中看到,我們不會找到關鍵因素,也不會發現因素之間的真正關係。 |
| |
現在,在我在 JMP 中向您展示這一點之前,我確實瀏覽了文獻並試圖找到一些現實世界的證據,我認為我可以在這些證據中發現缺乏穩健性 |
| |
與設計產品的檢測極限有關。 而且,我發現與 COVID-19 診斷測試有很好的內部比較。 |
| |
於是,在2020年初, |
| |
FDA 授予了 20 多項緊急使用授權。 |
| |
它們都是即時 PCR 測試,並且測試病毒量,即病毒基因組的拷貝數。 |
| |
現在,最初,因為沒有標準——因為這是我們以前從未見過的全新東西——公司可以開發和使用自己的內部標準。 |
| |
今年晚些時候,FDA 制定了自己的標準,並發布了該標準並重新評估了診斷測試。 因此,我可以使用不同的標準來比較同一測試的這兩個不同時間點。 |
| |
所以我決定我應該做的就是按照測試的排名順序進行排序。 你怎麼知道什麼是好的測試,什麼是壞的測試? 我該如何對這些進行排序? |
| |
好吧,我們可以看看病毒量之間的分析關係,病毒量又是病毒正在製作的基因組拷貝數 |
| |
以及診斷測試的臨床敏感度。 因此,在 X 軸上,我們得到了每毫升有多少個基因組拷貝,即病毒量。 |
| |
較小的檢測輕微病例。 我們走到右邊,我們實際上只會偵測到真正超級嚴重感染的個體,也就是超級傳播者。 |
| |
然後,這裡的 y 軸是檢測到的病例的比例。 再說一遍,這是真實的證據,所以我們透過這條黑線可以看到,臨床敏感度與好壞程度有關係, |
| |
抱歉,這麼小 |
| |
我們可以偵測到病毒量。 因此,檢測到較小的病毒量是好的,這就是我用於排名的順序。 |
| |
所以我有兩個不同的時間點,4 月 2 日和 9 月 15 日,然後對於每個時間點,我根據每個標準對檢測極限進行了排序。 |
| |
因此,如果進行診斷測試,如果以穩健的方式進行,我們會期望或多或少相同的排序順序和相似的檢測限。 |
| |
如果這些測試的設計方式缺乏穩健性,那麼我們實際上會期望看到排名順序的變化和檢測限的變化。 |
| |
那我發現了什麼? |
| |
所以在這裡我將我找到的數據繪製成圖表,並且我有四個單獨的數據 |
| |
我的圖表中的面板。 |
| |
在每個面板中,我在兩個不同的日期連接相同的診斷測試。 例如,在左側的紫色線中,我正在連接 |
| |
從 4 月 2 日的排名到 9 月 15 日的排名,這項特殊的診斷測試最初排名第 16 位,然後一路升至第 1 位。 |
| |
我還繪製了最終的檢測極限。 因此,如果我繪製 4 月 2 日的初始值,那麼在不同的面板中,這個結果會更糟,所以這是最終值。 |
| |
所以這個測試變得非常非常好,我們看到還有其他一些測試大大提高了他們檢測顯著增加的能力 |
| |
檢測極限及其檢測越來越小的病毒量的能力。 |
| |
但我們也看到測試變得非常非常糟糕,而且它們再次發生了幾個數量級的變化,因此,例如,下面這個紅色的測試,它是 4 月 2 日的第三個最佳測試,但隨後它一路下滑,跌至第14 名。 |
| |
所以我認為這表明,總的來說,這只是缺乏穩健性以及這些任務最初是如何完成的。 |
| |
我不知道這些測試是如何進行的。 |
| |
我不知道他們是否使用了 JMP 以及設計好的實驗和檢測限,但我認為應用這些技術肯定可以使任何使用檢測限的東西變得更加穩健。 |
| |
那我們來看看JMP。 |
| |
那麼如何設定檢測極限呢? |
| |
好吧,您可以直接在自訂設計器中完成。 實際上現在有一個框,您只需在其中輸入檢測極限即可。 |
| |
當您在輸出表的自訂設計器中執行此操作時,它會建立一個包含檢測限的列屬性。 |
| |
當您在廣義迴歸中分析這一點時,廣義迴歸將處理, |
| |
將使用這些檢測限並將這些檢測限之外的變數視為審查值。 |
| |
讓我向您展示如何在 JMP 中執行此操作。 |
| |
這是我在實驗設計中設定的數據表的樣子,所以我是如何到達這裡的,我去了 DOE,定製設計師。 |
| |
您可以看到,這裡是我為每個回應設定檢測極限的地方。 |
| |
看我打字很無聊,所以讓我向您展示我如何為這個特定的數據表進行此設定。 |
| |
我在這裡有幾個回應。 |
| |
我有多種不同類型的檢測限,因此我的幾個回應都有檢測上限和下限。 您可以在任一方向上選擇一側。 |
| |
所以在這裡,我只有一個檢測下限,在這裡我只有一個檢測上限。 |
| |
如果沒有檢測限,當然可以將其留空。 |
| |
如果我們看的話。 |
| |
在資料表中我們可以看到,您實際上可以將其視為檢測極限。 |
| |
但我可以選擇所有這些。 |
| |
只需滾動瀏覽它們即可向您展示檢測極限。 所以它只是列屬性中的另一個項目。 這是我的上半身和下半身。 |
| |
再說一次,我有上層和下層。 |
| |
在這一項上,這只是我的下限,在下一項上,這只是我的上限。 |
| |
現在黏度根本沒有,所以如果我想返回並手動添加它,或者如果您使用檢測極限進行分析,但您沒有在設計實驗中設定它, |
| |
您只需轉到列屬性即可,它就在清單中。 因此,這些都是適用於設計實驗的色譜柱屬性。 |
| |
只需新增檢測限,然後我們就可以輸入我們想要的任何值,所以我們可以說 1300。 |
| |
和 |
| |
為單方面的限制。 |
| |
只需添加它,然後它就會在那裡。 |
| |
這就是檢測極限的方法。 |
| |
資料表和列的列屬性。 |
| |
好吧,現在我們來談談如何分析有偵測極限的數據。 |
| |
因此,為此,我想分析一個由客製化設計器設定的實驗,該實驗的目標是優化水樣本中農藥的測定。 |
| |
這是一個三因素實驗,有 32 次運行和最佳設計。 |
| |
其中 9 個觀測值低於 1% 的檢測極限。 |
| |
因此,我將向您展示如何在 JMP 中分析資料。 |
| |
但我確實也想做這個額外的比較。那如果我們不使用檢測極限或沒有檢測極限呢? |
| |
好吧,我的有限檢測率為 1%,而且我們再次不確定這些實際值是多少,所以我想,我們可以將一種情況取零,然後。 |
| |
因此,水樣本中根本不存在農藥,或者我們可以說它正好達到檢測極限並使用1的值。 這是兩種替代方案。 你將會看到如果我們不使用偵測極限, |
| |
我們不會找到所有的因素,而且我們的結果實際上會具有極大的誤導性和不準確性。 |
| |
那麼讓我向您展示如何在 JMP 中執行此操作。 |
| |
所以這就是我的。 |
| |
設計看起來像這樣,我有 Metacrate 作為回應,這是我的檢測上限和下限。 |
| |
這是我的三個因素。 |
| |
我剛剛做了一個響應面 |
| |
設計所以它是每一個 |
| |
因子,然後是二次和雙向交互,我最終做了 32 次運行的設計。 |
| |
數據如下所示。 |
| |
再說一次,這是我的實驗設計和我有的情況下的結果 |
| |
零,這就是我的機器所說的,我的機器說我沒有檢測到任何東西,但真實的情況是它被審查了,這就是我在設定實驗設計時設定的檢測極限。 |
| |
我們將用廣義迴歸來分析這一點。 |
| |
它在常規最小二乘中確實存在檢測限制,因此雖然我可以運行此腳本,但我確實想向您展示我實際上是如何設定它的。 |
| |
所以我的結果變數是 Metacrate,我們將使用廣義迴歸。 |
| |
這裡,常態分佈是符合資料的,但它會導致負預測值,而我所擁有的農藥數量不存在負值。 |
| |
因此,為了保持正值,我實際上會將其更改為正常值,這樣我的所有預測值都是正值。 |
| |
請注意,我不必輸入任何內容進行審查,我可以在此處選擇,但 JMP 會自動處理此問題。 |
| |
當我們進行實驗分析設計並推廣迴歸時,前向選擇是一個不錯的選擇,它與您可能熟悉的逐步迴歸或逐步迴歸非常相似 |
| |
在擬合模型平台中。 |
| |
因此,我們在模型摘要中可以看到,它提醒我它有偵測極限。 |
| |
我的 R 方為 0.91,所以這非常合適。 |
| |
如果我們看看這裡發生的事情的細節 |
| |
如果您不熟悉解決方案路徑並且概括回歸,那麼您所關注的是參數如何輸入模型,所以這又是前向選擇, |
| |
然後根據效果的大小進行縮放,因此第一個輸入的是我的二氯甲烷,它對結果有正面的影響。 |
| |
但接下來是二次方程,它有負數, |
| |
負面影響,其實是負面估計。 |
| |
因此,看到並與之互動很有趣,總體而言,基於最小 AIC 分數的最佳模型有五個步驟。 |
| |
現在我喜歡使用預測刻畫器視覺化方程式。 |
| |
我將簡化一下並使其更大一些。 |
| |
預測刻畫器向我們展示的是,這是我們的結果變數 Metacrate,它是 y 軸,那麼每個方塊都是我們實驗中的因素之一。 |
| |
我們正在研究的是方程,或者說關係 |
| |
以圖形方式。因此,我們可以看到相互作用,因為當我改變二氯甲烷時,其他因素的形狀會發生變化,當然可以看到這些參數中存在許多曲率。 |
| |
我也有我的實際預測 |
| |
劇情其實看起來相當不錯。 |
| |
所以我想做的是,我想最大化我可以檢測到的 Metacrate 的數量,這就是我做實驗的原因。 所以,我會要求JMP找到最大水平。 |
| |
結果發現,我能偵測到的 Metacrate 的最大數量是 38.6。 |
| |
這是針對這些因子設定的,所以對於這個量的甲醇和這個量的二氯甲烷,我的水樣本的值略低於六。 |
| |
這就是我的實驗結果,我想回去實際測試並確保它有效。 |
| |
現在,如果我忽略檢測限製而嘗試其他方法會怎麼樣? |
| |
所以在這裡,我有完全相同的數據。 |
| |
對於 Metacrate 為零,但我所做的是添加了幾列。 我說,有一列,好吧,也許它實際上處於下限,它在右邊,所以我只是將這些值更改為一,而不是零。 |
| |
然後,或者,好吧,如果這些樣本中沒有任何東西被發現怎麼辦,那麼那將是零,在這種情況下我不能使用零,因為它是對數正常的,所以我只選擇了一個很小的,一個很小的值 |
| |
所以 10 乘以負 12 右邊所以點 .00000000001 認為這是正確的零個數。 |
| |
因此,讓我們在這兩個條件下分析數據,我們不會使用檢測極限。 |
| |
因此,我將放置第一個,而不是 Metacrate,我們將在其中將所有這些值重置為檢測下限。 |
| |
我們將進行前向選擇。 |
| |
所以不存在,你可以看到這裡沒有檢測限制,就像我的 R 方剛剛低於 0.7 之前一樣。 |
| |
但是你可以從我的解決方案路徑和參數估計表中看到, |
| |
我只有三個步驟,前進到我的建模步驟,我沒有選擇很多東西,我這裡有很多空白,如果我們看看我的照片 |
| |
在分析器中的方程式中,您可以看到我實際上缺少一個因素,我們可以將其與這裡的這個因素進行比較,我完全錯過了甲醇。 |
| |
如果我最大化 |
| |
我能找到的最大數量的 Metacrate 大約只有 16 個。 |
| |
我的實際預測情節看起來不太好,看起來不太高興。 |
| |
所以這是一種情況,一次又一次,所以我們完全錯過了我們的因素之一,我們只是沒有註意到它。 |
| |
然後讓我們看看另一種情況,如果,而不是一種情況,如果它幾乎為零怎麼辦? |
| |
不完全為零,但非常非常接近。 |
| |
向前選擇。 |
| |
同樣,我們在這裡沒有使用檢測極限,但看看我的 R 平方是 0.997。 |
| |
所以它認為它找到了非常合適的選擇。 |
| |
但這裡仍然發生了一些奇怪的事情,我的模型中只有三個步驟,我還沒有真正發現太多,我發現 |
| |
我和我的二氯甲烷幾乎沒有完成,只是拿起了我的樣品量。 |
| |
如果我們看一下預測分析器。 |
| |
我再次缺少甲醇,所以我沒有我的因素之一,我的實際預測圖看起來如此,但到底發生了什麼,地球上是我的曲線的頂部。 |
| |
我將打開這個自適應 y 軸,以確保我可以看到所有內容。 |
| |
它的預測值高達數百左右,如果我只是, |
| |
我不會,我可以運行最大化意願,但你可以看到它超過 470,即使我只是手動嘗試選擇一些東西。 現在記住, |
| |
我的檢測極限是 99,所以這些數值根本沒有意義。 |
| |
和 |
| |
我錯過了一個因素,它沒有意義,但我真正想展示這個例子的部分原因是我在客戶身上看到過這個, |
| |
我無法向他們解釋發生了什麼,所以我知道如果人們不使用檢測極限,這實際上會發生, |
| |
你會得到一些非常非常奇怪的結果,因為你已經決定如何處理分析中的數據,你已經處理了它,是一還是零。 |
| |
在這種情況下,這是兩種替代方案,但它們與水中檢測這種農藥的真正能力的實際情況以及我設計實驗的結果相去甚遠。 |
| |
所以。 |
| |
我真正希望每個人留下的關鍵要點是第一,檢測極限非常重要。 |
| |
你不應該忽略它們,也不應該用高值或低值的值來替換它們,你真的 |
| |
您應該將這種不確定性納入實際分析中。 JMP 讓這一切變得非常容易。 您可以在實驗設計平台中執行此操作,也可以在列屬性中執行此操作。 |
| |
然後,一旦它們到達那裡,您就可以使用廣義回歸進行包含檢測極限的分析,它將為您提供最好的模型,您將找到您的因素以及它們之間的真正關係。 |
| |
最後,我們 JMP 確實鼓勵人們返回並重新分析數據,您可能已經看到了其中一些奇怪的結果。 |
| |
可能是這樣,您應該知道基於某種分析方法的檢測極限是什麼時候 |
| |
我們確實認為人們應該回去重新分析這些數據,並在實驗設計中使用檢測極限,這確實會讓你更快、更準確地達到你想要的目標。 |
| |
非常感謝您收聽我的演講,如果您有任何問題或需要後續跟進,請隨時與我們聯繫。 |