| 揚聲器 |
抄本 |
| 麥克安德森 |
你好呀。 |
| |
讓我們來討論一下 JMP 16 中的新功能—檢測極限。 |
| |
今天我要講的是檢測極限定義的背景。 |
| |
如果您忽略檢測極限,我想進行一些統計考慮。 |
| |
我環顧四周,發現了一些現實世界的證據,顯示某些設計產品缺乏穩健性,特別是 COVID-19 診斷測試,這些產品有檢測極限。 |
| |
最後,我將向您展示如何在 JMP 中實際使用檢測極限,我將向您展示如何輸入它們,如何在實驗設計中進行設置,以及如何使用檢測極限分析資料。 |
| |
我們怎麼知道那裡是否有東西? |
| |
所以這聽起來可能有點像一個深奧的問題,但是當你使用分析方法時,它就不再是一個深奧的問題,而是一個關於你的系統有多好的問題。 |
| |
舉例來說,如果我們試圖在某物中找到非常少量的雜質,那麼在某個時候,我們用來檢測的系統將無法檢測到低於某個水平的量,這個限度被稱為檢測限。 |
| |
檢測極限有很多種不同的定義。 |
| |
他們是, |
| |
它們因領域和分析方法而異,因此我在這裡提出了幾個,FDA 表示,對於分子診斷檢測,有限檢測是在 95% 的重複測量中可以檢測到的目標的最低濃度。 |
| |
現在,如果我們去看看化學界的說法,它將方法限制檢測定義為最小濃度或絕對量 |
| |
分析物的訊號明顯大於適當的空白訊號。所以這兩個定義本質上指的是不同的方法。 |
| |
我查閱了更多文獻,如果你正在進行高效液相層析分析之類的工作,當你查看曲線時他們會討論信噪比。 |
| |
如果您要製作校準曲線,則需要一定的方法,並且有許多不同的定義。 |
| |
關於檢測限,我鼓勵大家去尋找最適合其分析方法的方法,然後遵循您所在行業的特定指南。 |
| |
在 JMP 中, |
| |
我們將檢測極限定義為…它是一個列屬性,超出該範圍 |
| |
由於無法測量回應,因此它受到限制,而當我們分析數據時,它實際上會審查數據。 |
| |
因此,我之前給出的例子是尋找極少量的雜質,這將是一個下限,並且將被審查。 |
| |
但它也可能是一個上限,例如,如果您對物體施加壓力,您的壓力表可能會停止在某個上限。 |
| |
您實際上可以對其施加更大的壓力,但您的儀表根本就不會再升高,這將是一個上限,並且這些資料將被右刪失,但它們都在 JMP 中以完全相同的方式處理。 |
| |
所以,我想透過一個例子來說明如果我們在分析數據時忽略檢測極限會發生什麼。 |
| |
所以在這個例子中, |
| |
下面的直方圖,你可以看到,我有一個真實的人口,那些都是我的綠色條,但假設我的檢測有限。 |
| |
在 10 時我無法獲得低於該值的準確測量值,因此它不是零。 |
| |
我不知道我要測量的物質有多少,也不知道有多少粒子,所以正確的統計方法是審查,JMP 的 Michael Crotty 在 2017 年 Discovery 大會上發表了一篇非常精彩的演講 |
| |
如果您想了解更多統計細節,您應該去看看他的演講。 |
| |
好吧,讓我們來看這個例子,假設我們的偵測範圍是 10, |
| |
我們要做的是將這部分人口視為 |
| |
我們真的不知道它是什麼,所以 |
| |
這裡有一個直方圖,右邊顯示的是我的真實人口。 |
| |
這裡有幾個不同的場景,假設我的檢測極限是 10 |
| |
然後另一次是 11,然後是 12。所以我在這裡所做的是獲取這些數據,然後將其推向 10。 |
| |
我來給你們示範一下這個是什麼樣的。這不是檢測極限自動發生的,這是我自己構造的一個例子。 |
| |
因此,如果你看,例如在第 7 行,我的真實值是 9.22。 |
| |
但如果我的檢測極限是 10。 |
| |
那麼我就不知道了,我實際上不知道 9.22 的值,我能做的最好的就是把它寫下來作為 10。 |
| |
或者,我可以將其設為缺失或零,但我認為 10 可能更現實一些。 |
| |
現在,如果我的有限檢測是 11,我必須將該數字上移到 11,同樣,如果我的有限檢測是 12,我會移動該數據點並將其變成 12。 |
| |
因此,我們看到的是,特別是如果你看這裡 12,我真的把我的數據聚集在這裡。 |
| |
這對平均值的影響是,在我的真實人口中,我的平均值約為 10.5。 |
| |
對於 10,它會上升到 10.7,然後我的平均值會越來越高,它會達到 11.2,然後是 12,實際上,當我將所有這些值都放到下限中時,平均值就處於檢測極限。 |
| |
因此,我離這裡的真實平均值 10.5 還差得很遠。 |
| |
但看看我們的變異測量會發生什麼;我的標準差是真實總體中的 1, |
| |
如果偵測極限為 10,則它會上升到 0.8;如果偵測極限為 11,則它會上升到 0.4;然後一直下降到 0.2。 |
| |
因此,我的變異測量值越來越小,因此我實際上對我實際進行的測量越來越有信心,這與實際人口的實際情況相差甚遠。 |
| |
所以我在下面中間的圖表中總結了這一點,你可以看到,我有我的真實人口。 |
| |
我將其他方法的平均值與我施加的這種錯誤檢測水平相連接,你可以看到平均值急劇上升並且離真相越來越遠。 |
| |
這裡的條形是標準差,您可以看到,它們越來越小,然後橙色陰影是我名字的 95% 置信區間。 |
| |
在右邊的上面這張圖裡,我實際上畫出了平均值和中位數,你可以看到,它們的行為方式很相似, |
| |
這令人驚訝,因為您可能會認為中位數會更加穩健一些,但在這種情況下,它實際上並沒有幫助您。 |
| |
下面是我的變化測量值,你可以看到,隨著我們施加越來越高的限制,它們變得越來越小。 |
| |
看起來我們做得不錯,對吧?我對平均值的測量結果越來越有信心了。 |
| |
相當小,但事實是,我離真實的人口價值越來越遠,而且我離得越遠,就越有信心。 |
| |
所以這確實是一個令人擔憂的問題,你不一定能夠發現真正發生的事情,而且你會對事情產生錯誤的信心。 |
| |
因此,當我們將檢測極限擴展到設計實驗時, |
| |
您稍後將在 DEMO 中看到,我們不會找到關鍵因素,也不會發現因素之間的真正關係。 |
| |
現在,在我向你們展示 JMP 之前,我仔細查閱了文獻,並試圖找到一些現實世界的證據,我認為我可以在其中找到缺乏穩健性的地方 |
| |
與設計產品的檢測極限相關。我發現,它與 COVID-19 診斷測試有很好的內部對比效果。 |
| |
因此,在 2020 年初, |
| |
FDA 已授權緊急使用 20 多項測試。 |
| |
它們都是即時 PCR 測試,用於測試病毒量,即檢測您有多少個病毒基因組副本。 |
| |
現在,最初,因為沒有標準 - 因為這是我們從未見過的全新事物 - 公司可以開發和使用自己的內部標準。 |
| |
今年晚些時候,FDA 制定了自己的標準,並發布了新的標準,重新評估了診斷檢測方法。所以我可以比較同一項檢測在不同時間點使用不同標準的情況。 |
| |
所以我決定只對測試進行排序。你怎麼知道哪些測驗好,哪些測驗不好?我該如何對這些測試進行排序? |
| |
好吧,我們可以看看病毒量與病毒基因組拷貝數之間的分析關係 |
| |
以及診斷測試的臨床敏感度。所以,在X軸上,我們表示每毫升有多少個基因組拷貝,也就是病毒量。 |
| |
較小的數值檢測的是輕度病例。而我們在這裡最右邊,我們實際上只會偵測到感染非常嚴重的個體,也就是超級傳播者。 |
| |
這裡的 y 軸代表偵測到的病例比例。再次強調,這是真實的證據。因此,我們可以透過這條黑線看到,臨床敏感性與療效好壞之間存在著關係。 |
| |
對不起,對於這麼小的 |
| |
我們能檢測到的病毒量是多少。所以,檢測到較小的病毒量是好的,我用它來進行排序。 |
| |
所以我有兩個不同的時間點,4 月 2 日和 9 月 15 日,然後對於每個時間點,我根據每個標準對檢測極限進行了排序。 |
| |
因此,如果進行診斷測試,並且以穩健的方式進行,我們會期望或多或少相同的排序順序和相似的檢測限。 |
| |
如果這些測試的設計缺乏穩健性,那麼我們實際上會看到排名順序和檢測極限的變化。 |
| |
那我發現了什麼? |
| |
所以我在這裡繪製了找到的數據,我有四個獨立的 |
| |
我的圖表中的面板。 |
| |
在每個面板中,我連接了兩個不同日期的相同診斷測試。例如,在左側的紫色線中,我連接了 |
| |
4 月 2 日的排名上升到 9 月 15 日的排名,而這項特定的診斷測試最初排名第 16 位,然後一路上升到第一位。 |
| |
我還畫了最終的檢測極限。如果我畫的是4月2日的初始值,那麼在其他面板上的結果會更差,所以這是最終值。 |
| |
所以這個測試變得更好了,我們看到的是,還有其他一些測試也大大提高了檢測能力,大大提高了 |
| |
檢測極限及其檢測越來越小的病毒量的能力。 |
| |
但我們也看到測試結果變得越來越糟糕,而且它們的變化幅度達到了幾個數量級,例如,下面這個紅色的測試,在 4 月 2 日是第三好的測試,但後來它一路下降到第 14 位。 |
| |
所以我認為這表明總體而言它只是缺乏穩健性以及這些任務最初是如何完成的。 |
| |
我不知道這些測試是如何進行的。 |
| |
我不知道他們是否使用了 JMP 和設計實驗以及檢測限,但我認為應用這些技術肯定可以使使用檢測限的任何東西都更加穩健。 |
| |
那麼讓我們來看看 JMP。 |
| |
那我該如何設定檢測極限呢? |
| |
嗯,你可以直接在自訂設計器裡操作。現在有一個框,你可以直接在裡面輸入檢測極限。 |
| |
當您在輸出表的自訂設計器中執行此操作時,它會建立一個包含檢測限的列屬性。 |
| |
當你在廣義迴歸中分析這個問題時,廣義迴歸將會處理, |
| |
將使用這些檢測限,並將這些檢測限之外的變數視為刪失值。 |
| |
讓我向您展示如何在 JMP 中執行此操作。 |
| |
這是我在實驗設計中設定的數據表,我得到這個數據表的方法是,我去了 DOE,定製設計師。 |
| |
您可以看到這裡是我為每個回應設定檢測極限的地方。 |
| |
看我打字很無聊,所以讓我向你展示我如何為這個特定的數據表進行設定。 |
| |
我在這裡有幾個回應。 |
| |
我有各種不同類型的檢測限,所以對於我的一些反應,我既有檢測上限,也有檢測下限。你可以選擇任意方向的單側。 |
| |
所以這裡,我只有一個較低的檢測極限,這裡我只有一個較高的檢測極限。 |
| |
如果沒有檢測限,當然可以將其留空。 |
| |
如果我們看一下。 |
| |
在數據表中我們可以看到,您實際上可以將其視為檢測限制。 |
| |
但我可以選擇所有這些。 |
| |
只要捲動瀏覽它們,就能看到檢測極限的樣子。所以它只是列屬性中的另一個項目。這是我的上限和下限。 |
| |
再說一次,我有上部和下部。 |
| |
對於這個,這只是我的下限;對於下一個,這只是我的上限。 |
| |
現在黏度根本沒有這個,所以如果我想回去手動添加它,或者如果你使用檢測極限進行分析,但你沒有在設計實驗中設定它, |
| |
你可以直接進入列屬性,它就在清單中。這些都是適用於設計實驗的列屬性。 |
| |
只需新增檢測限,然後我們就可以輸入我們想要的任何值,所以我們可以說 1300。 |
| |
和 |
| |
為單側極限。 |
| |
只需添加它,它就會出現在那裡。 |
| |
這就是獲得檢測極限的方法。 |
| |
資料表和列的列屬性。 |
| |
好的,現在我們來討論如何分析具有檢測限的資料。 |
| |
因此,我想分析一個使用客製化設計器設定的實驗,該實驗的目標是優化水樣本中農藥的測定。 |
| |
這是一個三因素實驗,進行了 32 次運行,並且是最優設計。 |
| |
其中九項觀測結果低於 1% 的檢測極限。 |
| |
因此我將向您展示如何在 JMP 中分析資料。 |
| |
但我確實也想做這個額外的比較。那如果我們不使用或沒有檢測極限會怎麼樣呢? |
| |
嗯,我的檢測限是 1%,而且我們不確定這些實際值是多少,所以我想,我們可以對一種情況取零,然後。 |
| |
所以,水樣本中根本沒有農藥,或者我們可以說它正好處於檢測極限,並且使用1的值。所以這是兩種可能的情況。如果我們不使用檢測極限,你會看到, |
| |
我們不會找出所有的因素,這實際上會對我們的結果造成極大的誤導和不準確。 |
| |
那麼讓我向您展示如何在 JMP 中執行此操作。 |
| |
這就是我的。 |
| |
設計看起來像所以我有 Metacrate 作為回應,這是我的檢測上限和下限。 |
| |
以下是我的三個因素。 |
| |
我剛剛做了一個響應面 |
| |
設計,所以它是每一個 |
| |
因素,然後是二次和雙向交互,最後我完成了 32 次運行的設計。 |
| |
數據如下。 |
| |
這是我實驗設計的結果,也是我所遇到的狀況 |
| |
零,這就是我的機器所說的,我的機器說我沒有檢測到任何東西,但真實的情況是它被審查了,這就是我從設定實驗設計開始就存在的檢測極限。 |
| |
我們將使用廣義迴歸來分析這一點。 |
| |
它是否在常規最小二乘法中存在檢測極限,因此,雖然我可以運行這個腳本,但我確實想向您展示我實際上是如何設定它的。 |
| |
所以我有 Metacrate 是我的結果變量,我們將使用廣義回歸。 |
| |
這裡的常態分佈是可以接受的,它適合數據,但它會產生負的預測值,而我所擁有的農藥數量並不存在負值。 |
| |
因此,為了保持正態性,我實際上要將其更改為對數正態性,這樣我的所有預測值都是正態的。 |
| |
請注意,我不需要輸入任何內容進行審查,這裡有選項,但 JMP 會自動處理這個問題。 |
| |
當我們進行實驗設計分析和推廣迴歸時,前向選擇是一個不錯的選擇,它非常類似於您可能熟悉的逐步迴歸或逐步 |
| |
在適合的模型平台中。 |
| |
因此,我們可以在我的模型摘要中看到它提醒我它有偵測極限。 |
| |
我的 R 方是 0.91,所以這非常合適。 |
| |
如果我們看看這裡發生的細節, |
| |
如果你不熟悉解決方案路徑和泛化回歸,你所關注的是參數如何進入模型,所以再次強調這是前向選擇, |
| |
然後根據它們的影響程度進行縮放,因此第一個進入的是我的二氯甲烷,它對結果有正面的影響。 |
| |
但接下來出現的是二次方程,它有一個負數, |
| |
這是一種負面影響,因此實際上是一個負面估計。 |
| |
因此,這很有趣,值得一看並與之互動,總的來說,基於最小 AIC 分數的最佳模型有五個步驟。 |
| |
現在我喜歡用預測分析器來將方程式視覺化。 |
| |
我將暫時簡化它,並讓它稍微大一點。 |
| |
預測分析器向我們展示的是我們的成果變數 Metacrate,它是這裡的 y 軸,每個方塊都是我們實驗中的一個因素。 |
| |
我們正在研究的是方程式,或是關係 |
| |
圖形上。所以我們可以看到相互作用,因為當我改變二氯甲烷時,其他因素的形狀也會發生變化,當然可以看到這些參數中存在很大的曲率。 |
| |
我也有我的實際預測 |
| |
情節其實看起來相當不錯。 |
| |
所以我想要做的是,最大限度地提高我能檢測到的 Metacrate 的量,這就是我做實驗的原因。我會用 JMP 來找到最大水平。 |
| |
結果發現,我能偵測到的 Metacrate 的最大數量是 38.6。 |
| |
這就是這些因子的設置,所以我的水樣本中甲醇的含量和二氯甲烷的含量剛好低於六。 |
| |
這是我的實驗的結果,我想回去實際測試一下,確保它有效。 |
| |
現在,如果我忽略檢測極限並嘗試其他方法會怎麼樣? |
| |
所以在這裡,我有完全相同的數據。 |
| |
在 Metacrate 中,數值為零,但我做的是添加了幾列。有一列,我說,嗯,也許它實際上處於下限,在右邊 1 的位置,所以我把這些值從 0 改為 1。 |
| |
然後,或者,如果這些樣本中沒有發現任何東西,那麼它將是零,在這種情況下我不能使用零,因為它是對數正態的,所以我只選擇了一個很小的值 |
| |
所以 1 乘以 10 的負 12 次方對,所以點 .00000000001 認為這是正確的零的數量。 |
| |
因此,讓我們根據這兩種條件來分析數據,同樣,我們不會使用檢測極限。 |
| |
因此,我將使用第一個而不是 Metacrate,我們將在其中重置所有這些值,使這些值處於檢測的下限。 |
| |
我們將進行前瞻性選擇。 |
| |
所以沒有,你可以看到這裡沒有偵測極限,就像之前我的 RSquare 略低於 0.7 一樣。 |
| |
但是你可以從我的解決方案路徑和參數估計表中看到, |
| |
我只有三個步驟,前進到我的建模步驟,我沒有撿起很多東西,我這裡有很多空白,如果我們看看我的圖片 |
| |
在分析器下面的方程中,您可以看到我實際上缺少了一個因素,我們可以將它與這裡的這個進行比較,我完全錯過了甲醇。 |
| |
如果我最大化 |
| |
我能找到的最大數量的 Metacrate 也只有 16 個左右。 |
| |
而我實際預測的情節看起來不太好,也不太令人滿意。 |
| |
所以這是一種情況,對吧,我們只是完全忽略了其中一個因素,我們只是沒有發現它。 |
| |
然後我們看看另一種情況,如果不是一個,如果它幾乎為零怎麼辦? |
| |
雖然不完全是零,但已經非常接近了。 |
| |
前向選擇。 |
| |
再次,我們這裡不使用檢測限,但看看我的 RSquared 是 0.997。 |
| |
所以它認為它找到了一個非常好的契合點。 |
| |
但這裡仍然有一些奇怪的事情發生,我的模型中只有三個步驟,我並沒有發現太多,我發現 |
| |
我的二氯甲烷和我剛完成,就拿起了我的樣品量。 |
| |
如果我們看一下預測分析器。 |
| |
再次,我缺少甲醇,所以我沒有我的一個因素,我的實際預測圖看起來如此,但這裡到底發生了什麼,我的曲線的頂部到底在哪裡。 |
| |
我要打開這個自適應 y 軸,以確保我能看到所有內容。 |
| |
它的預測值大約是幾百,如果我 |
| |
我不會,我可以運行最大化可取性,但你可以看到它超過了470,即使我只是手動嘗試選擇一些東西。現在記住, |
| |
我的檢測極限是 99,所以這些值甚至沒有意義。 |
| |
和 |
| |
我忽略了一個因素,這沒有意義,但我真正想展示這個例子的部分原因是我在客戶那裡看到過這種情況, |
| |
我無法向他們解釋發生了什麼,所以我知道如果人們沒有使用檢測極限,這種情況就會發生, |
| |
你會得到一些非常非常奇怪的結果,因為你已經決定瞭如何處理分析中的數據,你要么將其視為一,要么將其視為零。 |
| |
在這種情況下,這是兩種替代方案,但它們與在水中檢測這種農藥的真正能力的實際情況以及我的設計實驗的結果相差甚遠。 |
| |
所以。 |
| |
我真正希望大家記住的關鍵點是,第一,檢測極限非常重要。 |
| |
你不應該忽略它們,也不要用高值或低值的替換它們,你真的 |
| |
你應該把不確定性納入實際分析中。 JMP 讓這變得非常容易。你可以在實驗設計平台中完成,也可以在列屬性中完成。 |
| |
然後,一旦它們存在,使用廣義回歸,您可以進行包含檢測極限的分析,它將為您提供最好的模型,您將找到您的因素以及它們之間的真正關係。 |
| |
最後,在 JMP,我們確實鼓勵人們回去重新分析數據,您可能會看到一些奇怪的結果。 |
| |
可能是這樣,你應該知道什麼時候基於某種分析方法的檢測極限 |
| |
我們確實認為人們應該回頭重新分析這些數據,並在實驗設計中使用檢測極限,這樣可以更快、更準確地達到你想要的目的。 |
| |
非常感謝您聆聽我的演講,如果您有任何問題或想了解後續內容,請隨時與我們聯繫。 |