你好
每個人。
我是
卡羅爾
公司
我是 a 統計學家 在 債務。
今天， I 將要 演講 關於 a 專案 我曾
在 創造 a 時間- 高效率的 策略 為了 選擇 a 測試 放
在 這 驗證 的 一個 影像 偵測 演算法.
這 工作 曾是 完畢 在 與科學家合作
從 這 國家的 環境健康科學研究所，
病理學家 從 實驗 病理實驗室，
和 我的 同伴 同事 在 債務。
在 囓齒動物 毒理學， 進步 在數位領域 影像分析
提供 機會 為了 定量 組織病理學 評估。
一個 例子 的 在哪裡 數位的 影像 分析 可以 是 有用
正在評估 測試 文章- 誘導的免疫毒性作用
在 囓齒動物 脾臟。
通常， 病理學家 使用 a 顯微鏡
到 評價 無論 那裡 是 脾臟免疫毒性
和 製作 判斷 在 無論 脾臟 從 接受治療的動物
是 不同的 從 這 控制 團體。
這 工作流程 是 易於 到 間 和 評分者內部 變異性
在 表徵 差異 之內 這 學習
和 也 穿過 不同的 研究。
這是 一個 例子 的 a 放大- 在 橫斷面 看法 的 a 囓齒動物 脾。
這裡， 我是 只是 指向 出去
具體特徵 的 興趣 到 我們的 合作者 那 我們 想 到 捕獲。
我們的 問題。
什麼時候 我們 得到 涉及 在 這 專案,
我們的病理學家合作者已經接受過培訓 一個 演算法
那 措施 這些 特徵 的 興趣。
這 問題 那 曾是 擺姿勢 到 我們 曾是 如何 做 我們 證實 這 演算法?
驗證 是 a 非常 廣闊 學期。
到 狹窄的 我們的 重點，
我們 想法 關於 什麼 是 一些 的 這 主要的 問題 那 我們 通緝 到 地址。
第一的， 這 演算法 曾是 由少數人訓練，
所以 我們 通緝 到 看 無論 不同實驗室的不同病理學家
會 同意 和 這 演算法 輸出。
第二， 那裡 是 多種的 特徵
在哪裡 這 演算法 曾是 受過訓練 到 措施。
我們 通緝 到 看 如果 那裡 是 任何具體特徵
在哪裡 表現 是 更好的 或者 更糟。
然後， 我們 也 通緝 到 看
如果這個演算法 能 抓住 向上 到 反對 a 寬的 範圍 的 案例。
如果 那裡 是 任何 瞎的 斑點， 能 我們 尋找 他們？
患病的 也 提到 那 從 這裡 以後，
我會 參考 到 這 影像 演算法 作為 這 人工智慧.
一 解決方案 那 我們 想法 的 是同時擁有人類和人工智慧
註解 這 相同的 圖片 和 比較 這 輸出。
這 是 如何 它 會 工作。
A 組織 樣本 獲取 掃描 所以 它 轉彎 進入 a 數位的 影像
或整張投影片 WSI 的圖像，
和 那 影像 獲取 聯準會 進入 這 人工智慧 為了 加工。
然後 為了 人類， 他們 看法 這 影像 使用 一個 影像軟體
在哪裡 他們 能 手動 註解 特徵 的 興趣。
一 的 這 問題 我們 得到 問的是 如何 許多 圖片 做 我們 需要 到 證實？
作為統計學家，
我們的 回答 是 總是 作為 許多 作為 你 能 或者 做 你 有 數百？
你 有 數千？
但 後 說 到 他們，
你知道有很多 操作 約束 到 實施 這。
這 第一的 約束 曾是 那
有一個 需要 為了 每個 影像 到 是 評估 經過 三 不同的 人們。
擁有 三 人們 曾是 有用
以便 我們 能 也 估計 這 變異性 之間 評估員。
它 也 轉彎 出去 那 這 過程 的 註解 是 非常 時間- 消耗。
後 說 到 這 病理學家， 這 最大限度 數位 的 圖片
他們願意 到 註解 曾是 關於 24 每 人。
然後， 最後， 一 的 這 目標 的 這個項目
是 到 得到 買- 在 或者 支援 從 病理學家 從 其他 實驗室。
它 意味著 我們 需要 多個實驗室的參與
和 多種的 人們 從 每個 實驗室。
在 這 學習， 我們 得到 三個中心的參與
和 我們 有 三 病理學家 代表 每個 中心。
在 全部的， 我們 有 九 病理學家 招募 在 這 學習。
基於 在 全部 的 這些 約束，
我們已經 決定 那 我們 能 證實 僅有的 72 圖像。
這 取樣 計劃。
現在 我們 知道 我們的 樣本 尺寸。
如何 做 我們 選擇 這 72？
隨機的 選擇 是 好的， 但 能 我們 做 更好的？
什麼 我們 來了 向上 和 曾是
自從 這 成本 每 影像 為了 這 人工智慧 相對較低，
我們 得到 這 人工智慧 到 過程 a 更大 放 的 圖片
然後從那裡，
使用 資訊 從 這 AI輸出 到 更好的 選擇 我們的 72 樣品。
我們 使用 a 回覆 服務 模型 到 選擇 我們的 點
RSM 將選擇點
向 這 邊界 和 中心 的 這 輸入 空間。
它是 a 模型 包含 你的 主要的 二- 方式 交互作用 效果 和 二次函數 效果。
這 模型 曾是 特別 有用 到 我們的 驗證 問題
因為我們想要 到 看 為了 區域 在哪裡 協定 失敗 之間 人類 和 人工智慧.
一般來說， 錯誤 趨向 到 發生 在 這 邊界 和 邊緣 的 這 空間。
這 類型 的 模型 適合 這 問題 那 我們 有。
現在， 我們 有 a 計劃 到 選擇 這 圖像。
這 問題 現在 是 如何 做 我們 分配 這些 72 圖片 穿過 九 評分者？
我們 預計 這 樣品 到 有 a 寬的 範圍 的 複雜。
我們 通緝 到 製作 當然 那 每個人 得到 a 均衡 混合 的 幻燈片。
這 複雜 或者 這 案件 混合
已確定 經過 這 輸出 那 我們 得到 從 這 人工智慧.
我們 也 需要 到 滿足約束
的 製作 當然 那 每個 影像 是 見過 經過 三 不同的 人們。
這裡 是 我的 工作流程。
I 將要 展示 你 如何 I 創建 這 滿足的抽樣計劃
全部 的 我們的 操作 約束 在 JMP 中。
I 有 三 步驟 在 這 工作流程。
第一的， 我是 去 到 展示 你 如何 我們 已選擇 這 72 圖片
從 a 更大 放。
第二 是 如何 我們 複製 這 72 圖片 三 次，
所以我們 有 216 運行。
我們需要這樣做
因為我們希望每張圖片 是 見過 經過 三 評估員。
這 最後的 步，
患病的 展示 你 如何 我們將 216 次運行分配給 9 位評分員
所以 那 每個 人 有 確切地 24 圖像。
在 每個 的 這些 步驟， I 將要 實際上 是 使用 這 美國能源部 平台。
現在， 我是 只是 去 到 移動 超過 到 跳轉。
I 有 我的 跳轉 文件 在 那裡。
我的 JMP 日誌。
I 是 去 到 打開 a 樣本 數據 放，
和 I 說 樣本 因為 我們的 數據 有 不是 到過 已發布 然而。
為了 這 目的 的 這 示範， I 將要 是 使用 a 偽造的 數據 放。
這 數據 放 有 這 相同的 特徵 到 這 原來的 數據 那 我們 集。
這 是 什麼 這 數據 看起來 喜歡。
I 有 我的 滑動 ID， 哪個 是 只是 a 數位 多變的 去 從 1 到 100.
去 從 1 到 100 正確的 這裡。
I 有 四 變數 那 我是 尋找 為了。
那是 到過 集 經過 這 人工智慧.
特徵 1、 2、 3、以及 4.
三 的 他們 是 連續的 和 一 是 帳戶 多變的。
如果 你 看 在 在下面 分析， 多變數 方法，多變量，
如果 我們 只是 展示 這 散點圖 你將看到的所有變數的矩陣，
全部 的 他們 是 不相關。
這 是 這 傳播 的 這 範圍 的 我們的 變數。
步 一。
在下面 美國能源部， 有 a 風俗 設計，這就是我所點擊的。
我們 能 離開 這 回應 Y 這裡。 只是 離開 它 獨自的。
這 因素 這裡， 有 實際上 二 方法 到 做 這。
一 方式 是 到 點選 在 這 按鈕 這裡 那 說 添加 因素。
I 思考 關於 第五 的 這 方式 和 有 a 協變數 選擇。
如果 你 點選 那，
它會 問 你 哪個 列 協變數 你 想 到 包括 在 這 設計。
在 我的 案件， 它是 這些 四 特徵。
我是 只是 選擇 他們 和 你 點選 好的。
跳轉 將要 自動地 填充最小值和最大值
為了 每個 的 這些 變數。
你會 看 這裡 那 他們是 全部 治療 作為 協變量。
那 看起來 好的。
患病的 只是 迅速地 關閉 這
和 然後 展示 你 其他 方式 的 正在做 這 相同的 事物。
再次， 在 美國能源部 風俗 設計。
什麼 I 顯示 你 曾是 添加 它 使用 這 方式 這裡。
其他 方式 到 做 它 是 到 只是 使用 這 按鈕 正確的 這裡
其中說選擇協變量 因素
和 它會 給 你 這 精確的 相同的 事物。
再次， 我是 採摘 這 因素 那 我是 有興趣的 在
並且它自動 人口稠密 這 因素 窗戶。
我是 只是 捲動 向下 到 這 底部 和 點選 繼續。
這 是 在哪裡 我們 能 放 在 這 模型 那 我們 想。
為了 我們， 我們 通緝 一個 RSM 或者 回覆 服務 模型。
那裡 是 再次 a 捷徑 按鈕 正確的 這裡。
我是 只是 去 到 點選 那。
什麼 那 做過 是 它 額外...
我們 已經 有 我們的 主要的 因素 在 那裡，
但 它 額外 我們的 二次方程式 和 二- 方式 交互作用 效果。
然後， 最後， 在 這 底部 這裡 在哪裡 它 說 數位 的 跑步，
我們 不 想 100 因為 我們 實際上 只是 想 到 選擇 72 出去 的 100.
我是 只是 去 到 改變 這 到 72.
這 全部 看起來 好的 到 我。
患病的 點選 製作 設計。
讓我們 只是 給 跳轉 a 很少 秒 到 創造 這 設計 為了 我們。
這裡 我們 去。
這 是 這 設計 那 它 創建 為了 我們。
作為 你 能 看， 如果 你 捲動 向下，
它 僅有的 給了 我們 72 行， 哪個 是 什麼 我們 有 問 為了。
我是 只是 去 到 說， 轉動 這 進入 a 數據 桌子。
我是 只是 去 到 打 製作 桌子 正確的 這裡 在 這 底部 左邊。
我是 去 到 關閉 這 為了 現在。
現在， 前 I 展示 你 什麼 這 設計 看起來 喜歡，
I 實際上 想 到 去 後退 到 這 原來的 桌子，
只是 所以 你 可以 看...
我們 能 比較 什麼 發生在所選的觀察結果上
相對 觀察 那 是 不是 摘了。
如果 你 去 後退 到 這 原來的 數據 桌子， 這 一 那 是 被選中，
那 72 是 實際上 突出顯示。
什麼 ID 喜歡 到 做 在 這 觀點 是 ID 喜歡 到 創造 a 新的 柱子
那 會 確認 哪個 列 是 已選擇 和 哪個 一 不是。
到 做 那， 你 去 在下面 行。
在下面 排 選擇，
那裡 是 這 最後的 選項 在 這裡 說 姓名 選擇 在 柱子。
什麼 它會 做 它會 標籤 這 目前選定的行
和 節省 任何 價值觀 你 分配 為了 那 柱子。
我是 去 到 點選 那。
這 柱子 姓名。
Y 或者 得到 到 創造 a 該列的名稱。
T 他 列 那 是 突出顯示， 我是 將賦予它們 1 的值。
這 一 那 是 不是 選定， I 想 到 給 他們 a 價值 的 零。
我是 去 到 按 O 因為， 和 那 創建 這 柱子 正確的 這裡。
全部 的 我的 想要， 有 72…
有 72 列 為了 這 一 那 被選中
和 然後 二十八 為了 這 一 那 是 不是 選擇。
I 想 到 去 後退 到 我的 散點圖 矩陣 到 看 回應
或者 到 看 哪個 觀察 是 挑選 和 哪個 一 不是。
但 前 我們 做 我確實想用顏色編碼它們
所以 那 什麼時候 你 看 在 這 圖形，
I 能 立即地 點 哪個 一 是 挑選 和 哪個 一 不是。
快速 方式 的 正在做 那 是 到 做 行， 顏色 或者 標記 經過 柱子。
然後， 這裡， I 想 到 使用 這 名為「選定」的列
所以 那 全部 這 零 將要 是 以橙色圓圈標識
和 全部 這 一 將要 是 已識別 經過 a 藍色的 圓圈。
我們 使用 a 標記 作為 出色地。
那 可能 製作 它 更輕鬆 到 確認 這 觀察結果。
患病的 只是 點擊O 因為。
現在， 全部 的 我的 列 是 標記 經過 這 加 或者 這 界。
如果我回到我的...
如果 I 去 後退 到 我的 散點圖 矩陣，
再次， 它是 在下面 多變數 方法， 多變量， 和 I 只是 打 記起。
我是 正在做 這 相同的 事物 作為 I 做過 最初。
讓 我 按一下“確定”。
我是 只是 去 到 製作 這 a 小的 位元 大。
你會 現在 看 那 這 藍色的 優點 是 這 觀察 那 是 選定，
和 橘子 界 是 這 一 那 不是。
這 一 那 是 已選擇
傾向於 發生 更多的 在 這 邊界 和 邊緣 的 我們的 空間。
這 是 確切地 什麼 我們 通緝。
這 看起來 偉大的 到 我。
讓我們結束這個。
只是 到 說服 你自己
那 這 模型 是 正在做 什麼 它是 假定 到 是 正在做，
I 實際上 做過 這 相同的 設定,
但 這 時間， 反而 的 採摘 72， 我是 僅有的 採摘 24.
讓我們 製作 它 a 小的 位元 更多的 極端。
只是 到 展示 你 一個 例子 的 什麼 那 看起來 喜歡。
再次， 現在 我的 選擇。
現在， 有 僅有的 24 列 那 是 已選擇 在 這裡。
讓我們 做 這 相同的 事物。
製作 這 a 小的 位元 大。
現在， 你 看 更少 藍色的 優點 因為 那裡 應該 僅有的 是 24.
但 然後 你會 看 如何 那些 觀察結果正在被採納
相對 這 一 那 是 不是 摘了。
他們 做 趨向 到 發生 更多的 在 外部邊界，
但 仍然 一些 在 這 中心。
讓我們 去 後退 到 我們的 原來的 問題。 出色地 只是 關閉 這。
這 曾是 我們的 原來的 數據 桌子。
由 這 設計 是 這 一。
什麼 做 我們 有 這裡？
是 仍然 保持 這 相同的 變數 那 我們 問 跳到 包括。
我們 有 我們的 特徵 1 2、 3、以及 4.
為什麼 我們的 回覆 是 仍然 丟失的？
我們 現在 有 這 新的 柱子 那 說 協變數 排 指數。
基本上， 這 只是 連結 你 後退 到 你的 原來的 桌子。
如果 這 說 88， 它 會 是 排 88 在 你的 原來的 桌子 那 得到 被捕獲。
這 一。
這 排 這裡 應該 是 這 相同的 作為 這 排 正確的 這裡。
前 我們 移動， 我是 實際上 只是 去 到 重新命名 這 到 我的 滑動 ID。
在 我的 案件， 這 滑動 ID， 哪個 是 只是 a 數位 從 1 到 100，
它是 實際上 只是 這 相同的 作為 這 協變數行 指數。
那 曾是 全部 為了 步 一。
步 二 是 現在 複製 這 72 圖像。
如何 做 我們 做 那？
A 快的 方式 的 正在做 那 是 到 去 到 美國能源部。
這 第二 選擇 是 增強 設計。
然後 這 窗戶 將要 流行音樂 向上 詢問 你 什麼 是 你的 回應 和 因素？
I 知道 為什麼 我們 不 真的 得到回應，
但 I 思考 你 仍然 需要 到 放 在 某物 在 這裡。
那是 好的。
你 只是 放 它 在 那裡 甚至 儘管 它是 全部 遺失的 值。
然後， 為了 這 因素， 是 去 到 選擇 我們的 特徵 1 到 4.
這 時間， 我們 會 也 需要 到 選擇 我們的 滑動 ID。
點選 好的。
這 新的 窗戶 爆米花 向上 和 全部 的 我們的 因素 .
再一次，JMP 汽車- 填充 這 範圍 的 全部 的 我們的 變數。
在 這 底部 這裡， 在下面 增強 選擇，
有 a 複製 按鈕， 和 那是 確切地 什麼 我們 需要。
點選 那 和 然後 他們會 問 你，
如何 許多 數位 的 次 做 你 想 到 執行 每個 跑步？
這 預設 是 二， 但 我們 實際上 想 它 到 是 三
因為 我們 需要 每個 影像 到 展示 向上 三 次 在 我們的 設計。
然後 我們 點選 好的。
現在， 什麼 你會 看 是 那 在 我們的設計，
反而 的 只是 72， 我們 現在 有 72 次 三。
出色地 只是 捲動 全部 這 方式 到 這 底部。
我們 現在 有 216 行。
患病的 只是 點選 製作 桌子 到 轉動 那 進入 a 數據 桌子。
出色地 關閉 這。
A 很少 更多的 事物 那 I 想 到 查看。
A 夫妻 更多的 事物 I 想 到 查看 前 我們 移動 在 到 步 三。
那 是， 每一個 時間 你是 正在做 這些 步驟，
你 想 到 製作 當然 那 它是 實際上 正在做 什麼 你 思考 它 應該 是 正在做。
在 這 案件，
I 通緝 到 查看 那 每個 滑動 ID 實際上 發生 三 次。
是 去 到 使用 製表 到 做 那。
製表，S 遭受 ID， 和 I 應該 有 a 數數 的 三 為了 每個 ID。
那是 什麼 我們 有。
那 看起來 偉大的。
那是 它 為了 步 二。
讓我們 移動 在 到 這 最後的 步， 哪個 是 這 最多 令人興奮的 步。
現在， 我們 有 216 列 和 我們 有 這 滑動 身份證。
現在， 我們 想 到 散佈 這 到 九 不同的 人們。
如何 會 我們 做 那 在 a 方式 那 每個 人 獲取 a 均衡 混合？
A 涼爽的 方式 到 做 它 是 使用 美國能源部 再次。
DOE，點擊 在 DOE定制 設計。
喜歡 什麼 我們 做過 前，
是 仍然 去 到 使用 我們的 協變數 作為 因素。
只是 選擇 特徵 1 到 4 和 我們的 滑動 ID。
跳轉 將要 汽車- 填充 這 分分鐘 和 最大限度。
現在， 全部 的 這 排 這裡 是 他們是 全部 上市 作為 協變量。
但 在 這 觀點， I 實際上 想 到 添加 二 更多的 因素。
一 因素 是 a 分類 有三個水平的因素，
和 那 是 這 中心 或者 這 實驗室 因為你 有 九 病理學家，
但 他們是 全部 未來 從 三 不同的 中心。
我是 只是 去 到 重新命名 他們 一個， B 和 C.
然後 I 想 到 做...
在每個中心，我們 也 有 三 不同的 人們 參加。
I 想 到 添加 其他 分類 因素 再次 和 三 水平。
這 是 去 到 是 我們的 評級者。
這些 是 喜歡 這 人們。
讓我們 姓名 他們 1、 2、以及 3.
基本上， 什麼 我是 說 是 那 中心 A 將要 有 評分者 1、2 和 3，
中心 B 有 評分者 1、 2、以及 3、以及 所以 在。
在 全部的， 我們 有 九 不同的 人們，
九 不同的 組合 的 中心 和 評分者 在 這裡。
我是 去 到 最小化 這。
這 實際上 只是 節目 這 數據 桌子 在哪裡 我們 拉 我們的 協變數 從。
然後 打 繼續 這裡。
現在， 我們 得到 到 告訴 JMP什麼 種類 的 模型 做 我們 想。
有 a 夫妻 的 事物 在 這裡。
第一的， I 實際上 通緝 到 添加 在。
跳轉 將要 自動地 放 在 你的 主要的 效果。
這些 是 全部 這 因素 那 是 在 我的 模型。
I 通緝 到 放 在 一個 交互作用 學期 之間 中心 和 評分者，
和 那是 因為 I 通緝 到 製作 當然 那
所有組合 的 中心 和 評分者 出現 在 我們的 設計。
那 擔保 那。
這 其他 事物 到 知道 是 那
我們實際上 不 有 足夠的 運行 到 估計 滑動 ID。
記住， 滑動 ID 去 從...
有 72 清楚的 滑動 ID 在 這裡，
但 我們 實際上 不 想 一個 影響， a 滑動 ID 影響。
我們 只是 想要 JMP 到 拿 那 進入 帳戶 什麼時候 它是 建構 這 設計。
我們 不 真的 想 到 估計 滑動 ID。
不被尊重 能力 這裡， 你 能 改變...
這 可估計性 為了 滑動 ID，
從必要起，你 能 改變 它 到 如果 可能的。
然後， 最後， 這 數位 的 運行。
I 思考 t 他 數位 的 運行 他們 計算 為了 我 曾是 18.
但 我們 實際上 通緝 到 使用 向上 全部 的 我們的 運行
因為 我們 有 216 運行 和 現在 是 只是 尋找 到 看...
我們想要 到 得到 跳到 告訴 我們 如何 做 我們 分配 這些 216.
製作 設計。
它 只是 可能 拿 a 小的 位元 更長。
患病的 去 進入 例如，我們如何檢查設計
和 然後 演講 a 小的 位元 關於 這 跑步 命令。
這 是 什麼 這 設計 看起來 喜歡。
我們 有 我們的 原來的 特徵， 特徵 1 到 4 在 這裡， 這 滑動 ID，
現在它又添加了 中心 和 評分者 已分配 為了 每個 滑動 ID。
什麼 這 是 說 是 那 評分者 B1 必須註記投影片編號 27，
A1 將要 註解 滑動 96， 和 所以 在。
那裡 應該 是 216 運行 在 這裡。
那 看起來 好的。
這 最後的 部分 這裡 在下面 數據 桌子 選項，
那裡 是 a 查看 標記 為了 包括運行順序列。
我是 去 到 點選 是的 因為 在 我們的案例
為了 註解， 如果 你 預計 那裡 到 是 一些 類型 的 時間 影響
在 任何 過程 那 你是 正在做。
在 我們的 案件， 我們 是 或許 擔心 關於
將要 那裡 是 a 學習 曲線， 將要 那裡 是 a 疲勞 影響？
我們 想 到 製作 當然 那 並非每個人都從幻燈片 ID 開始
那是 喜歡 較低編號的投影片 ID
和 結束 和 這 更高- 編號 滑動 身份證。
我是 只是 去 到 點擊“製作” 桌子。
我是 去 到 關閉 這 窗戶 為了 現在。
這 是 什麼 現在 我們的 設計 看起來 喜歡。
前 我們 做 我們的 檢查， 我是 只是 去 到 創造 a 新的 柱子
在哪裡 I 能 連接 這 中心 和 評級者。
我是 只是 突出顯示 這些 二 列，右鍵單擊。
根據新 F 公式 特點，
I 只是 想 到 連接 他們 和 a 逗號。
這 是 去 到 是 我們的 中心，評分者 多變的。
那裡 你 去。
三 事物 那 是 檢查 這裡。
第一的 是 讓我們 做 製成表格。
我們 想 到 製作 當然 那 每個 人 有 確切地 24 圖像。
那是 我的 中心，R ater，這裡有 24 個。
那是 偉大的。
這 其他 事物 那 我們 想 到 查看 為了 是 那 那裡 是 不 重複。
我們 不 想...
為了 例子， 我們 不 想 滑動 ID 1 存在 已分配 到 這 相同的 人 兩次
因為 那 會 不是 是 樂趣 為了 那 人。
如果 I 做 a 交叉表 的 滑動 按中心、評估者、
I 應該 看 只是 a 柱子 的 1秒。
那 方法 每個 滑動 ID 曾是 已分配 到 三 不同的 人們。
我是 只是 捲動 透過 這裡
和 尋找 在 這 桌子 到 看 那 那裡 是 不 2秒或3秒 在 這裡。
那 看起來 偉大的。
然後， 最後， I 做 想 到 查看，
如何 做 這 案件 混合 看 喜歡 穿過 這些 九 評分者？
一 方式 的 想法 的 在 至少檢查一下
是 到 只是 做 a 平行線 陰謀 使用 圖形 建造者。
我要延長 這。
我是 去 到 強調 特徵 1、2、3 和 4
因為 那些 是 我的 原來的 變數。
然後， 我的 中心 和 評分者， I 是 拖曳 它 到 這裡 在 我的 x- 軸。
我是 去 到 打 這 平行線 陰謀 選項 正確的 這裡 在 這 頂部 正確的 圖示.
I 得到 那。
A 事實上， 你 不 想 中心，評分者 在 那裡。
我是 只是 去 到 轉動 那 離開。
或許 什麼 I 想 是 中心，大鼠 是 和 它是 自己的 控制板。
什麼 這 節目 我們 是 我們 有 這 作業 從 這 九 人們，
所以 A1 全部 這 方式 到 C3。
這 是 這 案件 混合 的 這 圖片 那 他們 得到 已分配 到。
A 獲得， 是 只是 正在做 這 視覺上。
什麼 我是 尋找 為了 是沒有...
什麼時候 你 看 在 他們 總計 那 他們 全部 看 差不多，
那 他們是 有些 混合 和 沒有發生結塊
和 他們 看 到 是 好的。
其他 方式 到 做 它 是 到， I 猜測 你 能 覆蓋。
它 獲取 a 小的 位元 難的 因為 I 做 有 九 不同的 顏色 在 這裡。
但 再次， 你是 只是 尋找 為了...
你 不 想 那裡 到 是 任何 模式 在 這裡。
你 不 想 那裡 到 是 團塊 的 這裡是綠色還是這裡是綠色
或者 無論 在 這 空間。
你 可以 也 查看 它 經過 中心。
我猜 我的 顏色 是 不是 這 最好的。
你 有 黃色的， 布魯斯， 和 青菜。
他們 全部 看 到 是 出色地- 混合。
然後， I 做過 提到 關於 這 跑步 命令。
什麼 它 是， 是 那 你 只是 想確定
那 什麼時候 你是 告訴 人們 如何 到 做 他們的 註解，
你 想 到 製作 當然 那 那 是 也 隨機
所以如果有時間效應， 那是 採取 進入 帳戶 已經。
什麼 我是 密謀 這裡 是 這 滑動 ID。
A 獲得， 這 是 順序的。從 1 到 100。
然後 這 是 這 跑步 命令，
這 順序 的 什麼時候 這 病理學家 會 速度 這些 圖像。
這 看起來 隨機的。
我們 可以 也 陰謀 它 經過 中心 和 評級者。
這 是 為了 每個 個人 人。
他們 看 好的。
我只是 去 到 關閉 那。
現在， 患病的 只是 去 返回我的 PowerPoint 投影片
和 只是 結尾 和 一些 結論 這裡。
我們 能 使用 美國能源部 在 選擇 樣品 或者 測試 案例
在哪裡 你 有 先前的資訊。
如果 你 有 數據 或者 協變數 那 你可以用它來指導選擇，
為什麼 不是 使用 他們？
回應 表面 模型 是有利的
如果 你是 有興趣的 在 這 邊界 或者 邊緣 案例。
第二 觀點 是 那 你 能 使用 增強 DOE複製
如果 你 有 a 情況 在哪裡 你 每個樣本需要多位評估員。
這 工作 或者 這 設計 已經 給你一個機會
到 因素 跑步 命令 在 你的 計劃。
那 可以 是 真的 有用 如果 你預計會有時間效應
這樣的 作為 a 學習 曲線 或者 疲勞。
我有 a 夫妻 的 連結 這裡 到 a 部落格
那 演講 更多的 或者 討論 更多的 關於 什麼 是 a 協變數 在 設計 的 實驗。
請 查看 那 出去 如果 你 想 到 學習 更多的 關於 這 技術。
然後， 最後， I 只是 通緝 到 說
感謝 你 到 全部 我的 合作者 世界衛生組織 幫助 製作 這 專案 可能的。
謝謝。
