如果你錯過了上週的從統計學上來說與洛斯阿拉莫斯國家實驗室 (LANL) 退休研究科學家、發表廣泛文章並屢獲殊榮的 Christine Anderson-Cook 一起，您錯過了一次關於設計數據收集、大數據及其協同作用的精彩之旅。 設計數據收集為涉及大數據的項目增加更多價值的潛力是巨大的。 事實上，與會者非常渴望了解有關該主題的更多信息，以至於我們沒有時間回答他們所有的許多有趣的問題。 因此，我們將這些問題發送給了 Christine，她很樂意花時間回答這些問題。 您可以看到她的講話並聽到她在點播錄音。
您是否認為過分強調觀察（和事務）數據，這些數據通常信息稀疏，而不是有意收集可以更好地為決策提供信息的數據？ 這主要是由於獲取更多信息豐富的數據的“成本”嗎？
我認為，對於許多公司來說，早期都有一種“大量數據可以解決所有問題”的情緒。這可能會導致人們認為僅僅收集數據本身就是一種解決方案。 然而，現在大數據已經出現了一段時間，很多企業可能都有過一些不成功的經歷，數據無法給他們所需要的答案。 因此，不幸的是，隨著現實的逐漸顯現，經驗可能是最有說服力的老師之一，低成本的方便數據不一定比更昂貴的有意選擇的數據更可取。
在 QREI 論文的討論部分[1]關於無意收集數據時經常發生的情況，勞拉·弗里曼(Laura Freeman) 引用了一句精彩的話：“最終結果通常是分析師精疲力盡，決策者感到失望，因為數據從來就不是為了回答他們試圖解決的問題而設計的。 ” [2]為了回答許多具體和重要的問題，在收集數據之前將數據與感興趣的問題進行匹配是無可替代的。
最重要的是，對觀察或交易數據的依賴可能會產生好壞參半的結果。 如果沒有經過深思熟慮或僅僅因為方便而收集數據，那麼與數據收集團隊的專家對數據用途有認識和計劃的情況相比，失望的可能性更高。
您是否知道衡量某些事物的成本超過其收益的情況？
我在 LANL 參與過一些項目，這些項目獲取數據的成本非常高，通常是因為一開始不知道收集所需數據的方式。 在這些情況下，有時需要進行一些研究和開發才能獲得所需的數據。 當然，一旦您能夠收集數據，您可能偶爾會對從這些數據中學到的東西感到失望。 然而，一旦開發出新功能並建立了數據收集平台，這項投資可能會在其他應用程序中獲得回報。 如果您可能處於這樣的情況，需要花費資源來獲取新類型的數據，那麼重要的是要真正考慮它對當前項目可能帶來的好處，以及從長遠來看，它的風險失望，以及是否有替代替代品可以更容易或更便宜地獲得類似信息。
許多新公司正在推廣規範性模型來告訴實驗人員下一步該做什麼。 您能否評論一下這種實驗方法與設置設計實驗的比較？
規範性模型無疑正在成為許多不同領域的首選方法。 對於那些不熟悉它們所涉及內容的人，這裡有兩個鬆散的定義，可能有助於澄清更傳統的模型和這些特定模型之間的區別：
- 預測模型基於使用先前數據估計的模型來預測新輸入組合的結果。
- 規定模型就如何應對新數據提出具體的可行建議。
預測工具旨在幫助理解，而規範性模型則將這種理解自動化為計劃的行動。
我認為重要的是要記住，規範模型背後的算法的好壞取決於創建它們的人。 漢娜·弗萊[3]在談論自動化與算法的優點和缺點以及將人類排除在外的努力方面做得非常出色。
對於以下情況，考慮規範性模型可能是有利的：做出決策所需的數量或速度（想想自適應設計，其中等待分配治療的新受試者不斷且頻繁地滾滾而來）使得人類決策者無法做出決策趕上。 話雖這麼說，我認為將實驗設計作為一項由有思想的人指導的任務有巨大的優勢。 人們會注意到條件何時從用於設置算法設計的實驗的範式發生變化。 人類更擅長提取知識和問題的關鍵方面。 他們更擅長找到以最能反映研究優先事項的方式適當平衡多個目標的解決方案。 因此，我的建議是，實驗設計應該是大多數實驗的起點，但如果實驗要重複多次，或者速度或體積規定，那麼從初始實驗中獲得的經驗可以轉化為規定的模型以減輕人類的負擔。
對於序貫實驗，當從試點研究、探索和模型構建等幾個階段獲得數據時，如何構建和估計模型？ 如果無法獲得新數據用於模型細化，會產生什麼後果？
儘管順序實驗具有所有優點，但如何管理分析是更大的複雜性之一。 如果數據以非隨機順序分組收集，那麼分析幾乎總是反映這種情況。 需要調整分析的一個例外是計算機實驗，其中相同的代碼針對所有輸入組合運行並且與運行順序無關。 有時不需要將數據合併到單個分析中，每個階段都有單獨的模型和解釋。 例如，如果在試點階段進行測量系統分析，則其與旨在專注於探索和模型構建的後續數據之間可能沒有直接聯繫。
一般來說，將實驗不同階段（試點、探索、模型構建等）的運行組視為塊提供了一種承認階段之間事物可能發生變化的方法。 探索性方法可以幫助檢查區塊的影響，並查看區塊之間的響應是否出現重大變化。 在核取證示例中，對較大實驗的三個階段進行了分析，並添加了塊效應。 通過檢查這種效應，我們能夠發現隨著時間的推移，某些特徵的測量存在一些差異。
如果無法獲得新的數據進行模型細化，那麼初始模型的精度就無法進一步提高。 在許多情況下，模型細化的目標是針對模型當前估計或預測較弱的區域。 通過額外的跑步來增強可以幫助緩解這種弱點並提高整體表現。 如果沒有用於此模型細化的預算，則估計和預測將取決於可用數據。 這可能會失去一個機會——因此，只要有可能，最好考慮在不同階段進行有效的資源分配。
現在我們有大量來自醫院電子病歷的數據，收集和分析這些數據的人可能在 DOE 方面的技能有限。 有哪些方法可以應用您與我們分享的一些要點？
醫院記錄包含大量信息，但很可能隱藏在待處理的大量記錄中。 考慮到醫療的性質和倫理考慮，改變其觀察性質很可能非常困難。 因此，我們可能無法控制所收集數據的“輸入”，並且在大數據階段更有可能受到限制，只能對記錄進行戰略抽樣以幫助我們回答問題。
以下是關於可能存在機會的一些想法：
- 如果要將新類型的數據添加到數據庫中，則可能有機會執行測量系統分析以幫助了解變異性的來源。 例如，執行測試的人員是否是變異的重要組成部分？ 使用哪台機器進行測試重要嗎？或者它們都經過類似的校準嗎？ 鑑於要收集的數據量可能很大，一項了解變異性來源的小型研究可能會為如何解釋結果提供非常豐富的信息。
- 如果測量成本高昂，那麼在大數據之前的階段，可能有機會使用較小的數據集來檢查測量之間的相關性，以了解哪些數據主要與結果相關，以及是否可能存在代價高昂的信息冗餘。
- 回答不同查詢的一個關鍵方面是確保有易於實現的方法將數據劃分為相關和不太相關的類別。 能夠根據關鍵字段對子群體的記錄進行採樣將允許與類似受試者進行更精確的比較。
- 按日期或地點對數據進行採樣可能可以跨時間或設備比較結果。 這樣做可以突出趨勢或減少由於外部因素而不是患者變化而得出的錯誤結論的數量。
- 最後，在大數據之後的階段，可能有機會以確認實驗的形式使用一些小型的、設計好的實驗來驗證假設或檢查效果是否適用於更廣泛的人群。
自適應設計（A/B 測試）方法是否會將結果偏向於一開始就領先的模型？ 如果 A 在 75% 的時間內顯示，則 A 的點擊次數的基線預期就會高於 B。
自適應設計領域有許多選擇來實現決定如何響應新觀察的算法。 通常，實驗者可以選擇算法以多快的速度改變接受每種治療的新受試者的比例。 如果你進化得太慢，那麼可能會有更大比例的受試者接受不太理想的選擇，從而產生機會成本。 如果你進化得太快，那麼序列的開始就“不幸”（非代表性），你可能會首先將太多的受試者引導到不太理想的選擇。
與許多決策一樣，存在兩種類型的錯誤，實驗者需要權衡它們的相對風險和後果。 在許多實現中，選擇探索和利用之間的平衡是為了最大限度地減少過快發展到錯誤解決方案的機會，同時通過做出謹慎的選擇來容忍一些機會的損失。 這些算法通常設計用於處理每個選項的成功比例，而不是觀察到的成功的絕對數量。
以數據競賽數據集為例，JMP可以從總體設計上分為三個階段來選擇哪個運行屬於哪個階段，還是只是隨意確定的？
我們沒有創建一個更大的數據集並將其分為訓練、公共測試和私有測試數據，而是採用自下而上的方法，針對不同場景生成具有不同特徵的較小數據集，然後將它們組合起來生成最終的比賽數據。
以下是有關訓練、公共測試和私人測試數據集構建的更多詳細信息。 為每個場景構建了一組密集的候選點（想想要發現、屏蔽或未屏蔽的放射源之一）。 由於比賽的最高結果在於私人測試數據集的結果，因此首先使用非均勻空間填充（NUSF）設計構建它[4] ,選擇不均勻性是為了強調最困難的區域（這裡，快速移動的探測器尋找少量的放射性物質），但仍然對整個空間有一定的覆蓋。 一旦該設計最終確定，則使用減少的候選集（原始減去已選擇的點）來構建公共測試數據集。 在這種情況下，重點是中等難度，但同樣對整個空間進行了一定的覆蓋。 最後一次重複該過程以構建訓練數據，並進一步減少候選集（從公共和私人測試數據集中選擇的點從原始候選集中刪除）。 這樣就可以為每個放射源 x 屏蔽組合創建三個設計數據集。
接下來，這些設計將所有場景組合起來，並隨機分為三個最終數據集（整體訓練、整體公開測試和整體私人測試），然後提供給參賽者。 我和同事寫了一些論文，是關於如何思考構建數據競賽數據集的[5]或者我們如何針對輻射檢測問題實施這些策略[6] 。 目前，JMP 不具備直接構建 NUSF 設計的自動功能，但可以構建使用順序方法來改變設計均勻程度的功能[7]快速靈活的空間填充設計[8]在 JMP 中。 或者，我論文的補充材料中提供了可用於構建這些設計的 R 代碼[4] 。
我有一個關於在訓練算法之前處理異常值的問題。 排除它們是有危險的，特別是在狀態空間存在稀疏性的情況下。 您是否可能使用自適應測量的實驗設計來區分是否包含或排除這些異常值？ 是否還有其他方法來確定異常值管理？
識別異常值和高槓桿點值得注意，因為它們對結果和我們對模式的解釋有不成比例的影響。 為了更準確地定義這些概念，異常值是響應不遵循其他數據趨勢的觀察結果。 高槓桿點是輸入組合相對於數據集的其餘部分極端的觀察結果（隨著輸入空間的維度變高，這可能很難評估）。
實驗設計可能會以不同的方式對這些問題有所幫助。 對於異常值，在觀察到極端響應值的區域進行小型局部實驗可能有助於澄清該區域是否具有不同行為或可能具有高於典型變化的區域。 每一個一旦得到證實，都需要不同的反應。 對於高槓桿點，在將高槓桿點與輸入空間的其餘部分連接起來的區域進行有意的實驗可以幫助表徵輸入和響應之間的關係，而沒有大的差距。 它可以幫助提供有關兩個輸入位置區域的轉換的信息。 當然，這兩種策略都取決於實驗者對輸入設置的控製程度。
對於消除異常值，我的做法相當老派。 除非有主題專業知識來指導納入或排除，否則我極不願意刪除這些數據點。 集成模型（基於整個數據集並刪除異常值的模型組合）可以提供另一種方法來校準這些觀察結果對理解變異性和模型不確定性的影響。
我們感謝克里斯汀花時間分享她關於這一戰略主題的更多智慧。 感謝所有出席並提出如此重要問題的人！ 我們讚揚為收集信息豐富的數據所做的一切努力！ 我們還強烈推薦 Christine 的論文，為什麼以及如何提出好問題。
參考：
[1] 安德森-庫克，CM， Lu, L. (2023)“設計數據收集在大數據時代仍然相關嗎？ 國際質量與可靠性工程39(4) 1085-1101。
[2] Freeman, L. (2023)“評論：設計數據收集在大數據時代仍然重要嗎？ 機器學習的擴展”國際質量與可靠性工程39(4) 1102-1106。
[3] 弗萊，H. (2018)你好世界：算法時代的人類, WW 諾頓公司。
[4] 盧麗， 安德森-庫克，CM， Ahmed, T. (2021)“非均勻空間填充設計”質量技術雜誌53（3）309-330。
[5] 安德森-庫克，CM， 盧，L.， 邁爾斯，K.， 昆蘭，K.， Pawley, N. (2019)“通過戰略性生成信息數據集來改進數據競賽中的學習”品質工程31（4）564-580。
[6] 安德森-庫克，CM， 邁爾斯，K.， 盧，L.， 富蓋特，ML， 昆蘭，K.， Pawley, N.（2019）“數據競賽：從戰略設計和賽后分析中獲得更多”統計分析與數據挖掘12271-289。
[7] 盧麗， Anderson-Cook，CM (2022)“利用您所知道的：多功能空間填充設計”品質工程https://doi.org/10.1080/08982112.2022.2161394
[8] Lekivetz, R., 和 B. 瓊斯. 2015年。 “非矩形區域的快速靈活的空間填充設計”國際質量與可靠性工程31（5）：829-37。 doi：10.1002/qre.1640。
