你好每個人。 我是卡羅爾公司。
我是A統計員在DLH。
今天，我將要演講關於A專案我曾經從事過
在創造A時間-高效率的策略為了選擇A測試放
在這驗證的一個影像偵測演算法.
這工作曾是完畢在與科學家的合作
從這國家的環境健康科學研究所，
病理學家從實驗性的病理實驗室，
和我的同胞合作夥伴在DLH。
在囓齒動物毒理學，進步在數字中影像分析
提供機會為了定量的組織病理學評估。
一個例子的在哪裡數位的影像分析可以是有用
正在評估中測試文章-誘導免疫毒性作用
在囓齒動物脾臟。
通常，病理學家使用A顯微鏡
到評價無論那裡是脾臟免疫毒性
和製作判斷在無論脾臟從接受治療的動物
是不同的從這控制團體。
這工作流程是易於到間和評價者內部變化性
在表徵差異之內這學習
和也穿過不同的學習。
這是一個例子的A放大-在橫斷面看法的A囓齒動物脾。
這裡，我是只是指點出去
具體特徵的興趣到我們的合作者那我們想到捕獲。
我們的問題。
什麼時候我們得到涉及在這專案,
我們的病理學家合作者已經接受過培訓一個演算法
那措施這些特徵的興趣。
這問題那曾是擺出姿勢到我們曾是如何做我們證實這演算法?
驗證是A非常廣闊學期。
到狹窄的我們的重點，
我們想法關於什麼是一些的這主要的問題那我們通緝到地址。
第一的，這演算法曾是由少數人進行培訓，
所以我們通緝到看無論來自不同實驗室的不同病理學家
會同意和這演算法輸出。
第二，那裡是多種的特徵
在哪裡這演算法曾是訓練有素的到措施。
我們通緝到看如果那裡是任何具體功能
在哪裡表現是更好的或者更差。
然後，我們也通緝到看
如果這個演算法能抓住向上到反對A寬的範圍的案例。
如果那裡是任何瞎的斑點,能我們尋找他們？
患病的也提到那從這裡向前，
我會參考到這影像演算法作為這人工智慧.
一解決方案那我們想法的是同時擁有人類和人工智慧
註解這相同的圖片和比較這輸出。
這是如何它會工作。
A組織樣本得到掃描的所以它輪流進入A數位的影像
或整張投影片影像 WSI，
和那影像得到聯準會進入這人工智慧為了加工。
然後為了人類，他們看法這影像使用一個影像軟體
在哪裡他們能手動註解特徵的興趣。
一的這問題我們得到問的是如何許多圖片做我們需要到證實？
作為統計學家，
我們的回答是總是作為許多作為你能或者做你有數百？
你有數千？
但後說到他們，
你意識到有很多操作限制條件到實施這。
這第一的約束曾是那
有一個需要為了每個影像到是評價的經過三不同的人們。
擁有三人們曾是有用
以便我們能也估計這變化性之間評估者。
它也輪流出去那這流程的註解是非常時間-消耗。
後說到這病理學家，這最大限度數位的圖片
他們願意到註解曾是關於24每人。
然後，最後，一的這目標的這個項目
是到得到買-在或者支援從病理學家從其他實驗室。
它意思是我們需要的多個實驗室的參與
和多種的人們從每個實驗室。
在這學習，我們得到三個中心的參與
和我們有三病理學家代表每個中心。
在全部的，我們有九病理學家被招募在這學習。
基於在全部的這些約束條件，
我們已經決定那我們能證實僅有的72圖片。
這取樣計劃。
現在我們知道我們的樣本尺寸。
如何做我們選擇這72？
隨機的選擇是好的，但能我們做更好的？
什麼我們來了向上和曾是
自從這成本每影像為了這人工智慧相對較低，
我們得到這人工智慧到過程A更大放的圖片
然後從那裡，
使用資訊從這人工智慧輸出到更好的選擇我們的72樣品。
我們使用A回覆服務模型到選擇我們的點
RSM 將選擇點
向這邊界和中心的這輸入空間。
它是A模型含有你的主要的二-方式交互作用效果和二次的影響。
這模型曾是特別有用到我們的驗證問題
因為我們想要到看為了地區在哪裡協定失敗之間人類和人工智慧.
一般來說，蟲趨向到發生在這邊界和邊緣的這空間。
這類型的模型適合這問題那我們有。
現在，我們有A計劃到選擇這圖片。
這問題現在是如何做我們分配這些72圖片穿過九評估者？
我們預計這樣品到有A寬的範圍的複雜。
我們通緝到製作當然那每個人得到A均衡混合的幻燈片。
這複雜或者這案件混合
決心，決意，決定經過這輸出那我們得到從這人工智慧.
我們也需要的到滿足約束條件
的製作當然那每個影像是見過經過三不同的人們。
這裡是我的工作流程。
我將要展示你如何我已創建這滿意的抽樣計劃
全部的我們的操作限制條件在 JMP 中。
我有三腳步在這工作流程。
第一的，我是去到展示你如何我們已選擇這72圖片
從A更大放。
第二是如何我們複製的這72圖片三次，
所以我們有216運行。
我們需要這樣做
因為我們希望每張圖像是見過經過三評估者。
這最後的步，
患病的展示你如何我們將 216 次運行分配給 9 位評分者
所以那每個人有確切地24圖片。
在每個的這些腳步，我將要實際上是使用這美國能源部平台。
現在，我是只是去到移動超過到JMP。
我有我的聯合管理計劃文件在那裡。
我的JMP 雜誌。
我是去到打開A樣本數據放，
和我說樣本因為我們的數據有不是到過發表然而。
為了這目的的這示範，我將要是使用A偽造的數據放。
這數據放有這相同的特徵到這原來的數據那我們集。
這是什麼這數據看起來喜歡。
我有我的滑動ID，哪個是只是A數位多變的去從1到100.
去從1到100正確的這裡。
我有四變數那我是看著為了。
那是到過集經過這人工智慧.
特徵1、 2、 3、和4.
三的他們是連續的和一是帳戶多變的。
如果你看在在下面分析，多變數方法，多變量，
如果我們只是展示這散點圖您將看到的所有變數的矩陣，
全部的他們是不相關的。
這是這傳播的這範圍的我們的變數。
步一。
在下面美國能源部，有A風俗設計，這就是我點擊的。
我們能離開這回應是這裡。 只是離開它獨自的。
這因素這裡，有實際上二方法到做這。
一方式是到點選在這按鈕這裡那說添加因素。
我思考關於第五的這方式和有A協變數選擇。
如果你點選那，
它會問你哪個列協變數你想到包括在這設計。
在我的案件，它是這些四特徵。
我是只是選擇他們和你點選好的。
聯合管理計劃將要自動地填充最小值和最大值
為了每個的這些變數。
你會看這裡那他們是全部治療過的作為協變量。
那看起來好的。
患病的只是迅速地關閉這
和然後展示你其他方式的正在做這相同的事物。
再次，在美國能源部風俗設計。
什麼我顯示你曾是添加它使用這方式這裡。
其他方式到做它是到只是使用這按鈕正確的這裡
上面寫著“選擇協變量”因素
和它會給你這精確的相同的事物。
再次，我是採摘這因素那我是有興趣的在
它會自動人口稠密的這因素窗戶。
我是只是捲動向下到這底部和點選繼續。
這是在哪裡我們能放在這模型那我們想。
為了我們，我們通緝一個RSM或者回覆服務模型。
那裡是再次A捷徑按鈕正確的這裡。
我是只是去到點選那。
什麼那做過是它新增...
我們已經有我們的主要的因素在那裡，
但它添加我們的二次方程式和二-方式交互作用影響。
然後，最後，在這底部這裡在哪裡它說數位的運行，
我們不想100因為我們實際上只是想到選擇72出去的100.
我是只是去到改變這到72.
這全部看起來好的到我。
患病的點選製作設計。
讓我們只是給聯合管理計劃A很少秒到創造這設計為了我們。
這裡我們去。
這是這設計那它已創建為了我們。
作為你能看，如果你捲動向下，
它僅有的給了我們72行，哪個是什麼我們有問為了。
我是只是去到說，轉動這進入A數據桌子。
我是只是去到打製作桌子正確的這裡在這底部左邊。
我是去到關閉這為了現在。
現在，前我展示你什麼這設計看起來喜歡，
我實際上想到去後退到這原來的桌子，
只是所以你可以看...
我們能比較什麼發生在所選的觀察結果上
相對觀察那是不是摘了。
如果你去後退到這原來的數據桌子，這那些那是選擇的，
那72是實際上突出顯示。
什麼ID喜歡到做在這觀點是ID喜歡到創造A新的柱子
那會確認哪個列是已選擇和哪個那些不是。
到做那，你去在下面行。
在下面排選擇，
那裡是這最後的選項在這裡說姓名選擇在柱子。
什麼它會做會嗎標籤這目前選定的行
和節省任何價值觀你分配為了那柱子。
我是去到點選那。
這柱子姓名。
是歐得到到創造A該列的名稱。
時間他列那是突出顯示，我是給它們一個值 1。
這那些那是不是選定的，我想到給他們A價值的零。
我是去到按 O凱，和那已創建這柱子正確的這裡。
全部的我的想要，有72...
有72列為了這那些那被選中
和然後28為了這那些那是不是已選擇。
我想到去後退到我的散點圖矩陣到看回應
或者到看哪個觀察是挑選的和哪個那些不是。
但前我們做我確實想對它們進行顏色編碼
所以那什麼時候你看在這圖形，
我能立即地點哪個那些是挑選的和哪個那些不是。
一個快速方式的正在做那是到做行，顏色或者標記經過柱子。
然後，這裡，我想到使用這名為「選定」的列
所以那全部這零點將要是由橙色圓圈標識
和全部這那些將要是已確定經過A藍色的圓圈。
我們使用A標記作為出色地。
那可能製作它更輕鬆到確認這觀察。
患病的只是單擊O凱。
現在，全部的我的列是標記的經過這加或者這界。
如果我回到我的...
如果我去後退到我的散點圖矩陣，
再次，它是在下面多變數方法，多元，和我只是打記起。
我是正在做這相同的事物作為我做過最初。
讓我按一下“確定”。
我是只是去到製作這A小的位元大。
你會現在看那這藍色的優點是這觀察那是選定的，
和橘子界是這那些那不是。
這那些那是已選擇
傾向於發生更多的在這邊界和邊緣的我們的空間。
這是確切地什麼我們通緝。
這看起來偉大的到我。
讓我們結束這個。
只是到說服你自己
那這模型是正在做什麼它是應該到是正在做，
我實際上做過這相同的設定,
但這時間，反而的採摘72、我是僅有的採摘24.
讓我們製作它A小的位元更多的極端。
只是到展示你一個例子的什麼那看起來喜歡。
再次，現在我的選擇。
現在，有僅有的24列那是已選擇在這裡。
讓我們做這相同的事物。
製作這A小的位元大。
現在，你看更少藍色的優點因為那裡應該僅有的是24.
但然後你會看如何那些觀察結果正在被挑選
相對這那些那是不是摘了。
他們做趨向到發生更多的在外部邊界，
但仍然一些在這中心。
讓我們去後退到我們的原來的問題。 出色地只是關閉這。
這曾是我們的原來的數據桌子。
被創建的那個這設計是這一。
什麼做我們有這裡？
是仍然保持這相同的變數那我們問JMP 至包括。
我們有我們的特徵1 2、 3、和4.
為什麼我們的回覆是仍然丟失的？
我們現在有這新的柱子那說協變數排指數。
基本上，這只是連結你後退到你的原來的桌子。
如果這說88、它會是排88在你的原來的桌子那得到被捕獲。
這一。
這排這裡應該是這相同的作為這排正確的這裡。
前我們移動，我是實際上只是去到改名這到我的滑動ID。
在我的案件，這滑動ID，哪個是只是A數位從1到100,
它是實際上只是這相同的作為這協變數行指數。
那曾是全部為了步一。
步二是現在複製這72圖片。
如何做我們做那？
A快的方式的正在做那是到去到美國能源部。
這第二選擇是增加設計。
然後這窗戶將要流行音樂向上詢問你什麼是你的回應和因素？
我知道為什麼我們不真的有回應，
但我思考你仍然需要到放在某物在這裡。
那是好的。
你只是放它在那裡甚至儘管它是全部遺失的價值觀。
然後，為了這因素，是去到選擇我們的特徵1到4.
這時間，我們會也需要到選擇我們的滑動ID。
點選好的。
這新的窗戶持久性有機污染物向上和全部的我們的因素。
再一次，JMP汽車-填充這範圍的全部的我們的變數。
在這底部這裡，在下面增強選擇，
有A複製按鈕，和那是確切地什麼我們需要。
點選那和然後他們會問你，
如何許多數位的次做你想到執行每個跑步？
這預設是二，但我們實際上想它到是三
因為我們需要的每個影像到展示向上三次在我們的設計。
然後我們點選好的。
現在，什麼你會看是那在我們的設計，
反而的只是72、我們現在有72次三。
出色地只是捲動全部這方式到這底部。
我們現在有216行。
患病的只是點選製作桌子到轉動那進入A數據桌子。
出色地關閉這。
A很少更多的事物那我想到查看。
A夫妻更多的事物我想到查看前我們移動在到步三。
那是，每一個時間你是正在做這些腳步，
你想到製作當然那它是實際上正在做什麼你思考它應該是正在做。
在這案件，
我通緝到查看那每個滑動ID實際上發生三次。
是去到使用製表到做那。
製表，S萊德ID，和我應該有A數數的三為了每個ID。
那是什麼我們有。
那看起來偉大的。
那是它為了步二。
讓我們移動在到這最後的步，哪個是這最多令人興奮的步。
現在，我們有216列和我們有這滑動身份證。
現在，我們想到散佈這到九不同的人們。
如何會我們做那在A方式那每個人得到A均衡混合？
A涼爽的方式到做它是使用美國能源部再次。
美國能源部，點擊在美國能源部客製設計。
喜歡什麼我們做過前，
是仍然去到使用我們的協變數作為因素。
只是選擇特徵1到4和我們的滑動ID。
聯合管理計劃將要汽車-填充這分分鐘和最大限度。
現在，全部的這排這裡是他們是全部列出作為協變量。
但在這觀點，我實際上想到添加二更多的因素。
一因素是A絕對的具有三個水平的因子，
和那是這中心或者這實驗室因為你有九病理學家，
但他們是全部未來從三不同的中心。
我是只是去到改名他們A，乙和C。
然後我想到做...
在每個中心，我們也有三不同的人們參與。
我想到添加其他絕對的因素再次和三水平。
這是去到是我們的評估者。
這些是喜歡這人們。
讓我們姓名他們1、 2和3.
基本上，什麼我是說是那中心A將要有評分者1、2 和 3，
中心乙有評分者1、 2和3、和所以在。
在全部的，我們有九不同的人們，
九不同的組合的中心和評價者在這裡。
我是去到最小化這。
這實際上只是節目這數據桌子在哪裡我們拉我們的協變數從。
然後打繼續這裡。
現在，我們得到到告訴JMP什麼種類的模型做我們想。
有A夫妻的事物在這裡。
第一的，我實際上通緝到添加在。
聯合管理計劃將要自動地放在你的主要的影響。
這些是全部這因素那是在我的模型。
我通緝到放在一個交互作用學期之間中心和評估者,
和那是因為我通緝到製作當然那
所有組合的中心和評價者出現在我們的設計。
那保證那。
這其他事物到知道是那
我們實際上不有足夠的運行到估計滑動ID。
記住，滑動ID去從...
有72清楚的滑動ID在這裡，
但我們實際上不想一個影響， A滑動ID影響。
我們只是想要JMP到拿那進入帳戶什麼時候它是建造這設計。
我們不真的想到估計滑動ID。
低於估計能力這裡，你能改變...
這可估計性為了滑動ID，
出於必要，你能改變它到如果可能的。
然後，最後，這數位的運行。
我思考t他數位的運行他們計算出的為了我曾是18.
但我們實際上通緝到使用向上全部的我們的運行
因為我們有216運行和現在是只是看著到看...
我們要到得到JMP 至告訴我們如何做我們分配這些216.
製作設計。
它只是可能拿A小的位元更長。
患病的去進入例如，我們如何檢查設計
和然後演講A小的位元關於這跑步命令。
這是什麼這設計看起來喜歡。
我們有我們的原來的特徵，特徵1到4在這裡，這滑動ID，
現在它添加了中心和評價者分配的為了每個滑動ID。
什麼這是說是那評價者B1 必須對第 27 號投影片進行註釋，
A1將要註解滑動96、和所以在。
那裡應該是216運行在這裡。
那看起來好的。
這最後的部分這裡在下面數據桌子選項，
那裡是A查看標記為了包括運行順序列。
我是去到點選是的因為在我們的案例，
為了註解，如果你預計那裡到是一些類型的時間影響
在任何過程那你是正在做。
在我們的案件，我們是或許擔心關於
將要那裡是A學習曲線，將要那裡是A疲勞影響？
我們想到製作當然那並非每個人都以幻燈片 ID 開頭
那是喜歡編號較低的投影片 ID
和結尾和這更高-編號的滑動身份證。
我是只是去到點擊“製作”桌子。
我是去到關閉這窗戶為了現在。
這是什麼現在我們的設計看起來喜歡。
前我們做我們的檢查，我是只是去到創造A新的柱子
在哪裡我能連接這中心和評估者。
我是只是突出顯示這些二列，右鍵單擊。
新F下奧爾穆拉特點，
我只是想到連接他們和A逗號。
這是去到是我們的中心、評估者多變的。
那裡你去。
三事物那是檢查這裡。
第一的是讓我們做製表。
我們想到製作當然那每個人有確切地24圖片。
那是我的中心，R吃飯了，這裡有 24 個。
那是偉大的。
這其他事物那我們想到查看為了是那那裡是不重複。
我們不想...
為了例子，我們不想滑動ID 1存在分配的到這相同的人兩次
因為那會不是是樂趣為了那人。
如果我做A交叉表的滑動按中心、評估者 ID、
我應該看只是A柱子的1秒。
那方法每個滑動ID曾是分配的到三不同的人們。
我是只是捲動透過這裡
和看著在這桌子到看那那裡是不2秒或3秒在這裡。
那看起來偉大的。
然後，最後，我做想到查看，
如何做這案件混合看喜歡穿過這些九評估者？
一方式的想法的在最少目視檢查
是到只是做A平行線陰謀使用圖形建造者。
我要延長這。
我是去到強調特徵1、2、3 和 4
因為那些是我的原來的變數。
然後，我的中心和評估者,我是拖曳它到這裡在我的X-軸。
我是去到打這平行線陰謀選項正確的這裡在這頂部正確的圖示.
我得到那。
A事實上，你不想中心、評估者在那裡。
我是只是去到轉動那離開。
或許什麼我想是中心，老鼠呃和它是自己的控制板。
什麼這節目我們是我們有這作業從這九人們，
所以A1全部這方式到C3。
這是這案件混合的這圖片那他們得到分配的到。
A獲得，是只是正在做這視覺上。
什麼我是看著為了是沒有...
什麼時候你看在他們總共那他們全部看差不多，
那他們是有些混合和沒有發生結塊現象
和他們看到是好的。
其他方式到做它是到，我猜測你能覆蓋。
它得到A小的位元難的因為我做有九不同的顏色在這裡。
但再次，你是只是看著為了...
你不想那裡到是任何圖案在這裡。
你不想那裡到是團塊的這裡或下面綠色
或者無論在哪裡在這空間。
你可以也查看它經過中心。
我猜我的顏色是不是這最好的。
你有黃色的，布魯斯,和青菜。
他們全部看到是出色地-混合的。
然後，我做過提到關於這跑步命令。
什麼它是，是那你只是想確定
那什麼時候你是講述人們如何到做他們的註解，
你想到製作當然那那是也隨機化
因此，如果存在時間效應，那是採取進入帳戶已經。
什麼我是繪圖這裡是這滑動ID。
A獲得，這是順序的。 它從 1 到 100。
然後這是這跑步命令，
這順序的什麼時候這病理學家會速度這些圖片。
這看起來隨機的。
我們可以也陰謀它經過中心和評估者。
這是為了每個個人人。
他們看好的。
我只是去到關閉那。
現在，患病的只是去返回我的 PowerPoint 投影片
和只是結尾和一些結論這裡。
我們能使用美國能源部在選擇樣品或者測試案例
在哪裡你有先前的資訊。
如果你有數據或者協變數那您可以用來通知選擇，
為什麼不是使用他們？
一個回應表面模型有優勢
如果你是有興趣的在這邊界或者邊緣案例。
第二觀點是那你能使用增加美國能源部複製
如果你有A情況在哪裡你每個樣本需要多個評估者。
這工作或者這設計已經給你一個機會
到因素跑步命令在你的計劃。
那可以是真的有用如果你預計會有時間效應
這樣的作為A學習曲線或者疲勞。
我有A夫妻的連結這裡到A部落格
那演講更多的或者討論更多的關於什麼是A協變數在設計的實驗。
請查看那出去如果你想到學習更多的關於這技術。
然後，最後，我只是通緝到說
感謝你到全部我的合作者世界衛生組織幫助了製作這專案可能的。
謝謝。
