揚聲器
|
成績單
|
| 邁克·安德森 |
你好呀。 |
| |
讓我們談談 JMP 16 中的新功能,即檢測限。 |
| |
我今天要討論的是檢測限定義的背景。 |
| |
如果您忽略檢測限,我想通過一些統計考慮。 |
| |
我環顧四周,發現了一些真實世界的證據,證明某些設計產品缺乏穩健性,特別是 COVID-19 診斷測試,這些產品包含檢測限制。 |
| |
最後,我將向您展示如何在 JMP 中實際使用檢測限,我將向您展示如何輸入它們,如何在實驗設計中進行設置,以及如何使用限制分析數據的檢測。 |
| |
我們如何知道某物是否存在? |
| |
所以這聽起來有點像一個深奧的問題,但是當你使用分析方法時,它不是一個深奧的問題,而是一個關於你的系統有多好的問題。 |
| |
因此,例如,如果我們試圖在某物中找到非常少量的雜質,那麼在某些時候,我們正在檢測的系統將無法檢測到低於某個水平的雜質,並且極限,稱為檢測極限。 |
| |
檢測限有很多不同的定義。 |
| |
他們是, |
| |
它們因領域和分析方法而異,因此我在這裡提出了一些,FDA 說,對於分子診斷測定,有限的檢測是在 95% 的重複測量中可以檢測到的目標的最低濃度。 |
| |
現在,如果我們去看看化學界怎麼說,它定義了一種方法限制檢測,即最小濃度或絕對量 |
| |
分析物的信號明顯大於來自合適空白的信號。 所以在這兩個定義中,它們本質上是關於一些不同的方法。 |
| |
我查閱了更多的文獻,如果你正在做類似高效液相色譜的事情,當你查看曲線時,他們會談論信噪比。 |
| |
如果您正在製作校準曲線,則有某些方法可以用於此,那裡有許多不同的定義。 |
| |
關於檢測限,所以我鼓勵每個人去尋找最適合他們的分析方法的方法,然後也遵循您的行業特定指南。 |
| |
在 JMP 中, |
| |
我們定義了檢測極限,因為...它是一個列屬性,超過它 |
| |
響應無法測量,所以它限制了它,當我們分析數據時,它實際上在做的是它會審查數據。 |
| |
所以我之前給出的例子是尋找極少量的雜質,這將是一個下限並且將被審查。 |
| |
但它也可能是一個上限,例如,如果您正在向一個物體施加壓力,您的壓力表可能會停在某個上限。 |
| |
您實際上可能會對其施加更大的壓力,但您的儀表只是不會更高,這將是一個上限,並且這些數據將被正確審查,但它們在 JMP 中都以完全相同的方式處理. |
| |
所以,我想通過一個例子來說明如果我們在分析數據時忽略檢測極限會發生什麼。 |
| |
所以在這個例子中, |
| |
下面的直方圖,你可以看到,我有一個真實的人口,這些都是我的綠色條,但假設我的檢測有限。 |
| |
在 10 時,我無法獲得低於該值的準確測量值,因此它不是零。 |
| |
我不知道我要測量的東西有多少,所以有多少粒子,所以正確的統計方法再次是審查,Michael Crotty 的演講非常好2017 年發現中的 JMP |
| |
如果你想要更多的統計細節,你應該去看看他的演講。 |
| |
好的,讓我們來看看這個例子,假設我們有這個有限的檢測 10 和 |
| |
我們要做的就是把那部分人當作 |
| |
我們真的不知道它是什麼,所以 |
| |
這裡我有一個直方圖,所以在右邊這裡是我的真實人口。 |
| |
我在這裡有幾個不同的場景,所以假設我的檢測限是 10 |
| |
然後又是 11 點,然後是 12 點。 所以我在這裡所做的是我正在獲取這些數據,實際上我正在將它推向 10。 |
| |
讓我告訴你這是什麼樣子的。 所以這不是檢測極限自動發生的事情,這是我構建的一個例子。 |
| |
所以,如果你看一下,例如在第 7 行,我的真實值是 9.22。 |
| |
但是,如果我的檢測限為 10。 |
| |
那我不是,我實際上不會知道 9.22 的值,我能做的最好的就是我可以把它寫成 10。 |
| |
或者,我可以將其設為缺失或零,但我認為 10 可能更現實一些。 |
| |
現在,如果我的有限檢測是 11,我必須將該數字移動到 11,同樣,如果我的有限檢測是 12,我將移動該數據點並將其變成 12。 |
| |
所以我們看到的是,特別是如果你在 12 點看這裡,我真的把我的數據集中在這裡。 |
| |
這對平均值的影響是,在我的真實人口中,我的平均值約為 10.5。 |
| |
至於 10,它達到 10.7,然後我的平均值越來越高,它達到 11.2,然後是 12,當我將所有這些值轉換為下限時,實際上平均值處於檢測限。 |
| |
所以我離我的真實平均值10.5還很遠。 |
| |
但是看看我們的變異測量會發生什麼;我的標準偏差是我真實人口中的一個, |
| |
如果檢測限為 10,它會變為 0.8,然後在 11 處變為 0.4,然後一直下降到 0.2。 |
| |
所以我對變異的測量越來越小,所以我實際上對我實際進行的測量更有信心,這與真實人口的實際情況相去甚遠。 |
| |
所以我總結了在下面中間的圖表中,你可以看到,我有我的真實人口。 |
| |
我將這些手段與我強加了這種錯誤檢測水平的其他手段聯繫起來,你可以看到這些手段正在急劇地變得越來越高,越來越遠離真相。 |
| |
這裡的條形是標準偏差,你可以看到,它們越來越小,然後橙色陰影是我名字的 95% 置信區間。 |
| |
在右邊,在上圖中,我實際上繪製了平均值和中位數,你可以看到,它們的行為方式相似, |
| |
這令人驚訝,因為您會認為中位數會更穩健一些,但並非在這種情況下它真的對您沒有幫助。 |
| |
在此之下,我有我的變化度量,你可以看到隨著我們施加越來越高的限制,它們變得越來越小。 |
| |
所以看起來我們做得很好,對吧? 我對自己測量平均值的信心真的越來越大, |
| |
很小,但事實是我離真正的人口價值越來越遠,我越走越自信。 |
| |
所以這確實是一個問題,您不一定能夠檢測到真正發生的事情,並且您會對事情產生錯誤的信心。 |
| |
因此,當我們將檢測限擴展到設計的實驗中時, |
| |
稍後您將在 DEMO 中看到的是,我們不會找到我們的關鍵因素,我們也不會發現我們的因素之間的真正關係。 |
| |
現在,在我在 JMP 中向您展示這一點之前,我真的翻閱了文獻並試圖找到一些真實世界的證據,我認為我可能會發現缺乏穩健性 |
| |
與設計產品的檢測限有關。 而且,我所做的是我發現與 COVID-19 診斷測試有很好的內部比較。 |
| |
所以,在 2020 年初, |
| |
FDA 授予了 20 多項緊急使用授權。 |
| |
它們都是實時 PCR 測試,它們正在測試病毒載量,所以你有多少病毒基因組拷貝。 |
| |
現在,最初,因為沒有標準——因為這是我們以前從未見過的全新事物——公司可以開發和使用他們自己的內部標準。 |
| |
現在在今年晚些時候,FDA 制定了自己的標準,並將其發布並重新評估了診斷測試。 因此,我可以使用不同的標準比較同一測試的這兩個不同時間點。 |
| |
所以我決定我應該做的只是做測試的排名。 你怎麼知道什麼是好測試和壞測試? 我將如何排列這些? |
| |
好吧,我們可以看看病毒載量之間的分析關係,這又是病毒正在製造的基因組拷貝數 |
| |
以及診斷測試的臨床敏感性。 所以,在 X 軸上,我們有每毫升有多少基因組拷貝,也就是病毒載量。 |
| |
更小的檢測輕度病例。 我們走到最右邊,我們真的只會檢測到真正超重度感染的個體,所以是超級傳播者。 |
| |
然後,這裡的 y 軸是檢測到的病例的比例。 再說一次,這是這裡的真實證據,所以我們可以通過這條黑線看到,臨床敏感性關係到有多好, |
| |
對不起,到多麼小的一個 |
| |
我們可以檢測到的病毒載量。 所以它檢測到較小的病毒載量是好的,這就是我用於排名順序的方法。 |
| |
所以我有兩個不同的時間點,4 月 2 日和 9 月 15 日,然後對於每個時間點,我根據每個標準做了檢測限的排序。 |
| |
因此,如果進行診斷測試,如果它們以穩健的方式進行,我們將期望或多或少相同的等級順序和相似的檢測限。 |
| |
如果這些測試的設計方式缺乏穩健性,那麼我們實際上會期望看到排名順序的變化和不同的檢測限。 |
| |
那麼我發現了什麼? |
| |
所以在這裡我繪製了我找到的數據,我有四個獨立的 |
| |
我的圖表中的面板。 |
| |
在每個面板中,我在兩個不同的日期連接相同的診斷測試。 所以,例如,在左邊的紫色線上,我正在連接 |
| |
從 4 月 2 日到 9 月 15 日的排名,這個特殊的診斷測試最初排名第 16 位,然後一路上升到第 1 位。 |
| |
而且我正在繪製,我繪製了最終檢測限。 所以,如果我從 4 月 2 日開始繪製初始值,那麼在另一個面板中這個值會更糟,所以這是最終值。 |
| |
所以這個測試變得好多了,我們看到的是還有一些其他的測試顯著提高了他們的檢測能力顯著增加 |
| |
檢測極限及其檢測越來越小的病毒載量的能力。 |
| |
但是我們也看到測試變得非常非常糟糕,而且它們再次發生了幾個數量級的變化,所以,例如,這個底部的紅色是紅色的,它在 4 月 2 日是第三好的測試,但隨後它下降了,一直下降到第 14 位。 |
| |
所以我認為這表明,總的來說,這只是缺乏穩健性以及這些任務最初是如何完成的。 |
| |
我不知道這些測試是如何進行的。 |
| |
我不知道他們是否使用了 JMP 以及設計的實驗和檢測限,但我認為應用這些技術肯定可以使任何使用檢測限的東西變得更加穩健。 |
| |
所以讓我們去看看JMP。 |
| |
那麼如何設置檢測限呢? |
| |
好吧,您可以直接在自定義設計器中完成。 現在實際上有一個框,您可以在其中簡單地輸入檢測限。 |
| |
當您在輸出表的自定義設計器中執行此操作時,它會創建一個包含檢測限的列屬性。 |
| |
當您在廣義回歸中對此進行分析時,廣義回歸將處理, |
| |
將使用這些檢測限並將這些檢測限之外的變量視為刪失值。 |
| |
讓我向您展示如何在 JMP 中執行此操作。 |
| |
所以這就是我在實驗設計中設置的數據表的樣子,所以我是怎麼到這裡的,我去了 DOE,定制設計師。 |
| |
你可以看到這裡是我為我的每一個回答設置我的檢測限的地方。 |
| |
看我打字很無聊,所以讓我告訴你我是如何為這個特定的數據表設置這個設置的。 |
| |
在這裡,我有幾個回應。 |
| |
而且我有各種不同類型的檢測限,所以我的幾個反應都有上限和下限。 您可以在任一方向有一方。 |
| |
所以在這裡,我只有一個檢測下限,在這裡我只有一個檢測上限。 |
| |
如果您沒有檢測限,您當然可以將其留空。 |
| |
如果我們看。 |
| |
在數據表中,我們可以看到您實際上可以將其視為檢測限。 |
| |
但我可以選擇所有這些。 |
| |
只需滾動瀏覽它們,即可向您展示檢測限的樣子。 所以它只是列屬性中的另一個項目。 所以這是我的上限和下限。 |
| |
再一次,我有一個上下。 |
| |
在這個上,這是我的,只是我的下限,在下一個,這只是我的上限。 |
| |
現在粘度根本沒有,所以如果我想回去手動添加它,或者如果您使用檢測限進行分析,但您沒有在設計實驗中設置它, |
| |
您只需轉到列屬性,它就在列表中。 因此,這些都是適用於設計實驗的列屬性。 |
| |
只需添加檢測限,然後我們就可以輸入我們想要的任何值,所以我們可以說 1300。 |
| |
和 |
| |
為單邊限制。 |
| |
那應該只是添加它,然後它就會在那裡。 |
| |
這就是你如何獲得檢測極限的方法。 |
| |
數據表和列列屬性。 |
| |
好的,現在讓我們談談如何分析具有檢測限的數據。 |
| |
因此,為此,我想分析一個由定制設計器設置的實驗,該實驗的目標是優化水樣中農藥的測定。 |
| |
這是一個三因素實驗,有 32 次試驗和 I 最優設計。 |
| |
其中九個觀察值低於 1% 的檢測限。 |
| |
因此,我將向您展示如何在 JMP 中分析數據。 |
| |
但是我也想進行這個額外的比較。那麼如果我們不使用或沒有檢測限怎麼辦? |
| |
好吧,我的有限檢測是 1%,我們再次不確定這些實際值是多少,所以我猜,我們可以對一個案例取零,然後。 |
| |
所以水樣中根本沒有農藥,或者我們可以說它正好在那個檢測極限,並使用一個的值。 所以這是兩種替代方案。 你會看到如果我們不使用檢測限, |
| |
我們不會找到我們所有的因素,它實際上會在我們的結果中產生極大的誤導和不准確。 |
| |
因此,讓我向您展示如何在 JMP 中執行此操作。 |
| |
所以這就是我的。 |
| |
設計看起來像所以我有 Metacrate 作為響應,這是我的檢測上限和下限。 |
| |
這是我的三個因素。 |
| |
我只是做了一個響應面 |
| |
設計,所以它是每個 |
| |
因子,然後是二次和雙向交互,我最終做了 32 次運行設計。 |
| |
這是數據的樣子。 |
| |
再說一次,這是我的實驗設計和我有的情況下的結果 |
| |
零,所以這就是我的機器所說的,我的機器說我沒有檢測到任何東西,但真正的情況是它被審查了,這就是我在設置實驗設計時的檢測限。 |
| |
我們將使用廣義回歸來分析這一點。 |
| |
它是否在常規最小二乘中進行檢測限制所以雖然我可以運行這個腳本,但我確實想向您展示我是如何實際設置它的。 |
| |
所以我有 Metacrate 是我的結果變量,我們將使用廣義回歸。 |
| |
這裡的正態分佈是可以擬合數據的,但它會導致負預測值,並且我擁有的農藥數量沒有負值。 |
| |
所以為了保持積極,我實際上要把它改成正常的,所以我所有的預測值都是積極的。 |
| |
請注意,我不必輸入任何內容進行審查,我可以在此處選擇,但 JMP 會自動處理此問題。 |
| |
當我們做實驗分析和泛化回歸的設計時,前向選擇是一個不錯的選擇,它與你可能熟悉的逐步回歸或逐步回歸非常相似 |
| |
在擬合模型平台中。 |
| |
所以我們可以在我的模型摘要中看到它提醒我它有檢測限。 |
| |
我的 Rsquare 是 0.91,所以非常合適。 |
| |
如果我們看看這裡發生了什麼的細節, |
| |
如果您不熟悉解決方案路徑並概括回歸,那麼您正在查看的是參數如何進入模型,所以再次選擇前向選擇, |
| |
然後根據它們的影響程度對它們進行縮放,所以第一個輸入的是我的二氯甲烷,它對結果有積極的影響。 |
| |
但二次方緊隨其後,它有一個負數, |
| |
負面影響,因此實際上是負面估計。 |
| |
因此,看到並與之交互很有趣,總體而言,基於最低 AIC 分數的最佳模型有五個步驟。 |
| |
現在我喜歡使用預測分析器可視化方程。 |
| |
我將把它簡化一分鐘,讓它變得更大一些。 |
| |
所以預測分析器向我們展示了什麼,這是我們的結果變量 Metacrate,它是這裡的 y 軸,然後每個正方形都是我們實驗中的因素之一。 |
| |
我們正在研究的是等式,或關係 |
| |
以圖形方式。所以我們可以看到相互作用,因為當我改變二氯甲烷時,其他因素的形狀會發生變化,你當然可以看到這些參數中有很多曲率。 |
| |
我也有我的實際預測 |
| |
情節,實際上看起來很不錯。 |
| |
所以我想做的是,我想最大化我能檢測到的 Metacrate 數量,這就是我做實驗的原因。 所以,我會要求 JMP 找到最高級別。 |
| |
它發現我能檢測到的最大 Metacrate 數量是 38.6。 |
| |
這就是這些因素的設置,所以對於這個量的甲醇和這個量的二氯甲烷,我的水樣不到六。 |
| |
所以這是我實驗的結果,我想回去實際測試它並確保它有效。 |
| |
現在,如果我忽略了檢測極限,我只是嘗試了其他方法。 |
| |
所以在這裡,我有完全相同的數據。 |
| |
Metacrate 為零,但我所做的是添加了幾列。 有一列,我說,好吧,也許它實際上是在下限,它在右邊,所以我只是將這些值改為一而不是零。 |
| |
然後,或者,好吧,如果在這些樣本中沒有任何東西可以找到怎麼辦,然後那將是零,在這種情況下我不能使用零,因為它是正常的,所以我只選擇了一個小, 一個很小的值 |
| |
所以一次 10 到負 12 對所以點 .00000000001 認為這是正確的零數。 |
| |
因此,讓我們用這兩個條件來分析數據,同樣我們不會使用檢測限。 |
| |
因此,我將放入第一個而不是 Metacrate,我們將在其中將所有這些值重置為正確的檢測下限。 |
| |
我們將進行前向選擇。 |
| |
所以沒有,你可以看到這裡沒有檢測限制,就像我的 Rsquare 低於 0.7 之前一樣。 |
| |
但是你可以從我的解決方案路徑和我的參數估計表中看到, |
| |
我只有三個步驟,向前邁出建模的步驟,我沒有挑選很多東西,我這裡有很多空白,如果我們看一下我的照片 |
| |
在分析器下面的方程式你可以看到我實際上錯過了我的一個因素,我們可以將它與這裡的這個進行比較,我完全錯過了甲醇。 |
| |
如果我最大化 |
| |
找到最大數量的 Metacrate 我能找到的只有大約 16 個。 |
| |
而我的實際預測情節看起來不太好,看起來不太開心。 |
| |
所以這是一個又一次的情況,所以我們完全錯過了我們只是沒有抓住它的因素之一。 |
| |
然後讓我們看看另一種情況,如果不是一個,如果它幾乎為零怎麼辦? |
| |
不完全為零,但非常非常接近。 |
| |
前向選擇。 |
| |
同樣,我們在這裡沒有使用檢測限,但看看我的 Rsquared 是 0.997。 |
| |
所以它認為它找到了一個非常合適的選擇。 |
| |
但是這裡仍然發生了一些奇怪的事情,我的模型中只有三個步驟我並沒有真正找到太多,我發現 |
| |
我的二氯甲烷和我幾乎沒有完成,只是拿起了我的樣品量。 |
| |
如果我們看一下預測預測分析器。 |
| |
我再次錯過了甲醇,所以我沒有我的一個因素我的實際預測情節看起來如此,但到底發生了什麼,在地球上是我曲線的頂部。 |
| |
我將打開這個自適應 y 軸,以確保我能看到所有這些。 |
| |
它的預測值大約有數百個,如果我只是, |
| |
我不會,我可以運行最大化期望值,但你可以看到它超過 470,即使我只是手動嘗試選擇一些東西。 現在記得, |
| |
我的檢測限是 99,所以這些值甚至沒有意義。 |
| |
和 |
| |
我錯過了一個因素,這沒有意義,但我真正想展示這個例子的部分原因是我在客戶那裡看到了這個, |
| |
我無法向他們解釋發生了什麼,所以我知道如果人們不使用檢測限,這實際上會發生, |
| |
你會得到一些非常非常奇怪的結果,因為你已經決定如何處理分析中的數據,你已經處理了它,是 1 還是 0。 |
| |
在這種情況下,這是兩種替代方案,但它們與在水中檢測這種農藥的真正能力以及我的設計實驗的結果相去甚遠。 |
| |
所以。 |
| |
我真正希望每個人都留下的關鍵要點是第一,檢測限非常重要。 |
| |
而且你不應該忽視它們,不要用價值高或低的替代它們,你真的 |
| |
您應該將這種不確定性納入實際分析。 JMP 讓這一切變得非常容易。 你可以在實驗平台的設計中做到這一點,你可以在一個列屬性中做到這一點。 |
| |
然後,一旦它們在那裡,使用廣義回歸,您可以進行包含檢測限的分析,它將為您提供最佳模型,您將找到您的因素以及它們之間的真實關係。 |
| |
最後,我們 JMP 確實鼓勵人們返回並重新分析數據,您可能已經看到了其中一些奇怪的結果。 |
| |
可能是這樣,您應該知道基於某種分析方法的檢測限何時 |
| |
我們確實認為人們應該回去重新分析這些數據,並在你的實驗設計中使用檢測限,這真的會讓你更快、更準確地到達你想要去的地方。 |
| |
非常感謝您收聽我的演講,如果您有任何問題或想要跟進,請隨時與我們聯繫。 |