JMP 中的模擬與 Bootstrap 方法：何時使用以及為何使用大家好，
我希望 JMP 的某人能夠提供解釋，以解釋評估模型估計時模擬與 Bootstrap 方法的差異/相似之處。 （JMP 專業版）
可以找到 Gotwalt 和其他人之前在 Discovery Summit 上的演講的一些鏈接這裡,這裡， 和這裡。 這些方法之間的一個明顯區別是，模擬要求您將一個列公式替換為另一個列公式，而引導則不需要。 我理解重新計算參數估計時引導的概念，但我不清楚為什麼在模擬相同數據時需要交換分數隨機加權列。 例如，請參閱上面的第一個鏈接和相應的演示文稿，該演示文稿使用自動驗證設置解釋了這種方法（在本例中，他們正在使用 DOE 結果）。
我想更好地了解兩種方法的優點/缺點以及一種方法何時比另一種方法更好。 我有一個又寬又高的數據表，其中有幾個過程變量和產品質量測量值。 我想縮小可能影響結果的可能過程變量的範圍，以便為生產提供一些關於在哪裡進行調查的想法。 為此，我從他們的演示中汲取了“零因子”的想法，並將其作為真正的隨機變量包含在模型中。 然後，我對因子和 Y 輸出運行一個非常基本的 GenReg 模型，然後右鍵單擊估計列並對參數估計運行引導程序或模擬選項。
我兩種方式都沒有得到相同的結果，我想了解原因。 另外，由於這不是能源部，因此一種方法是否比另一種方法更合適？
下面是帕累托圖上的結果示例，其中引入模型次數少於空因子的任何因子都會被簡單地刪除。 第一張圖顯示了使用模擬方法的結果，其中帕累托圖最右側的因子是空因子。 同樣，第二張圖顯示了使用 Bootstrap 方法的結果，其中空因子再次位於最右側。
為什麼這兩種方法會得到兩個截然不同的結果？ 一個比另一個更“值得信賴”嗎？ 為什麼我要使用一種方法而不是另一種？ 一種方法比另一種方法更穩健嗎？ 如果確實得到不同的結果，為什麼 JMP Pro 有這兩個選項？
對此的任何見解都非常感激。
謝謝！，
DS
高級統計建模實驗設計預測建模和機器學習回复：JMP 中的模擬與 Bootstrap 方法：何時使用以及為何使用哪個方法引導或重採樣嘗試憑經驗取代基礎分佈。 人們普遍認為布拉德利·埃夫隆發明並開發了這種方法。 他也探討了其缺點。 然後，引導樣本可以根據經驗確定樣本統計數據和間隔。 沒有假設人口分佈。 這些估計的準確性和穩定性取決於原始樣本的大小和重採樣的數量。
該模擬方法假設一個分佈模型，從中生成重採樣。 估計很大程度上取決於模型假設。
這個答案很高級，並不詳細。 您可以想像這兩種方法的實例以及它們如何可能成功或失敗。
回复：JMP 中的模擬與 Bootstrap 方法：何時使用以及為何使用哪個方法你好@馬克貝利,
感謝您的反饋和想法。
因此，聽起來（從高層次來看）主要區別在於模擬或引導程序如何假設或不假設人口分佈。 由於人口分佈要求的差異，兩種方法的估計過程不同，這導致模擬方法需要另一列來換入和換出。
我仍然想更好地了解一種方法是否比另一種方法更強大，以及何時使用一種方法而不是另一種方法。 例如，模擬方法的人口分佈要求是什麼？ 當您不應該使用一種方法而不是另一種方法時，是否存在限制/限制。
在上面的示例中，對於每種方法中比空因子更頻繁地進入模型的因子，我得到了截然不同的答案。 哪種方法能夠真正為模型中應保留的因素和模型中真正無用的因素提供最準確的估計？ 我可以“相信”哪個結果？
JMP 在線幫助的解釋有限，並且沒有真正討論使用一種或另一種方法。
謝謝！，
DS
回复：JMP 中的模擬與 Bootstrap 方法：何時使用以及為何使用哪個方法請原諒我的困惑......
在我提出我的想法（可能會引起爭議）之前，您的帖子的最終目標是什麼？ 您的一些問題（例如，其中一個比另一個更“值得信賴”嗎？ 為什麼我要使用一種方法而不是另一種？ 一種方法比另一種方法更穩健嗎？）提出一個目標。 其他人（例如，為什麼這兩種方法會獲得兩個截然不同的結果？、為什麼 JMP Pro 有這兩個選項？）建議有些不同。您是否正在嘗試確定哪種方法將得出一個模型來解釋已經存在的變化（在過程或數據集中）或一個對預測有用的模型（用戴明的術語來說是分析）？ 或者您只是對這兩種方法的技術討論感興趣？
回复：JMP 中的模擬與 Bootstrap 方法：何時使用以及為何使用哪個方法你好@statman ,
很抱歉造成混亂，說實話，這只是其中的一點點，但還沒有達到“最終”模型。 更多的是找到最可能的一組因素來進一步調查——有點像預測篩選平台。
我正在使用一種修改後的方法，類似於 2018 年卡里探索峰會上提出的方法（我原始帖子中的第一個鏈接），嘗試從一組非常大（>130）的可能生產標籤（例如泵速度、流量、烘箱溫度和空氣流量），這些因素對QC 中測量的結果Y 有貢獻。 使用 GenReg 方法（例如，前向選擇或修剪前向選擇），您可以獲得模型中項的估計 - 這是一個非常簡單的模型，僅查看主要因素，沒有交互作用，沒有其他任何內容。 其中許多估計值的係數為零或接近於零。
然後，您可以對估計值執行模擬或引導分析 - 通常這樣做是為了更好地了解所述估計值的可能值範圍。 然而，您可以從任一方法的分佈統計中得到的另一件事是該估計值非零的次數比例。 通過比較每個估計值的非零值與空因子的比例，您可以了解該因子是否比空因子更頻繁地出現在模型中。 由於空因子是完全隨機的，並且與實際生產標籤沒有相關性，因此如果標籤出現的頻率低於空因子，則可以將其排除在未來的建模工作之外。 這使您可以將超過 130 個可能的因素縮小到更易於管理的一組，大約有十幾個。 此時可以在比以前少得多的因素集上進行進一步的調查、實驗或建模。
我想更好地理解為什麼模擬和引導方法會產生不同的結果。 這是馬克·貝利所說的分配問題嗎？ 使用默認的 2500 次重新採樣是否還不夠，我需要更多嗎？ 或者是否有一些更根本的原因導致這兩種方法提供不同的結果？
我想更好地了解這兩種方法的技術方面，以便就使用哪種方法以及何時使用做出更明智的決定。 如果這兩種方法沒有收斂到類似的解決方案（並非它們需要），那麼哪種解決方案是“正確的”解決方案。
JMP的在線幫助中的信息並不多，我想更好地了解這些工具，以便有效地利用它們。
謝謝！，
DS
回复：JMP 中的模擬與 Bootstrap 方法：何時使用以及為何使用哪個方法兩種方法都不是優越的在任何統計意義上。 也就是說，在任何情況下，任何一個人的表現都不總是比另一個人好。
結果的準確性必須通過新樣本的新預測（即估計）進行獨立驗證。
關於引導和模擬的文獻非常多。 我無法在這裡輕鬆回答有關小空間中的局限性和缺點的廣泛問題。 例如，如果總體具有寬尾或表現出異常值，樣本是否足以捕獲總體特徵？ 它會像來自總體的真實樣本一樣生成引導樣本嗎？ 另一方面，您在多大程度上相信用於模擬的分佈模型？
信任是主觀的，因為兩名調查人員可能需要不同種類和數量的證據來信任一種方法而不是另一種方法。
軟件文檔無意作為教育用途。 您必須使用其他來源來了解本例中的兩種方法。
回复：JMP 中的模擬與 Bootstrap 方法：何時使用以及為何使用哪個方法@SDF1我也將提出我的兩分錢/意見。 我同意一切@馬克貝利和@statman到目前為止已經做出了貢獻。 您的調查途徑聽起來與我在化學加工行業工作期間反复執行的任務非常相似。 當物理、化學或生物學的魔力在昨晚的生產過程中沒有發揮作用時，我們將擁有大量生產/製造實時數據，我們將嘗試利用這些數據來理解過程/產品變化或採取糾正措施。 現在大家齊心協力找出“為什麼”？ 聽起來您似乎正在嘗試提出一個可以解釋一切的“最終”模型。 我發現使用生產數據來解決問題並不是一種有效的解決問題的整體方法。 這些數據太混亂、不完整，或者缺少經常有影響的噪音/滋擾因素，無法發揮作用並代表我們未來可能遇到的情況。 那麼我們做了什麼？ 我們將使用您手頭的數據來識別可能重要的因素。 然後“離線”並進行深思熟慮的過程空間，其中包括設計的實驗，以順序方式誘導因素變化，從而形成一條有效的（資源方面的，而不是模型/統計方面的）路徑來最終解決問題。 歸根結底，正如我經常合作的一位工程師所說，“除非您能夠關閉和打開故障模式，否則您不會知道故障模式的根本原因”。 我知道如何獲得這些知識的唯一有效方法是通過能源部……而不是將偶然數據折磨到模型中。 只是我的觀點。 物有所值。
回复：JMP 中的模擬與 Bootstrap 方法：何時使用以及為何使用哪個方法你好@P_巴特爾,
感謝您的回复。 您對過去經歷的描述最接近我在之前的帖子中試圖解釋的內容。 這種方法的目標不是找到一個功能完美的模型，而是幫助生產淘汰那些不重要的過程數據。 我們的流程實際上並不允許在生產中執行真正的 DOE - 太昂貴了！ 相反，如果我們可以將可能的生產數據流縮小到最有可能影響的數據流，那麼我們就可以在實驗室中進行 DOE，正如您所指出的那樣。 這就是我們所做的。
我們從研發實驗室了解到，某些因素會影響某些結果、如何以及為何。 然而，在實驗室中小批量（幾公斤/天）和高度受控的環境中生產我們的產品與每天生產超過 500 噸材料的連續大規模生產有很大不同。 連續生產設備對結果的影響與小實驗室批量環境中的工作方式不同。 而且，在我們的工藝中，不存在可以簡單地將批量工藝轉換為連續工藝的“放大”或“縮小”因素，反之亦然。 因此，在連續生產中，要找出哪個過程可能出現漂移或波動並導致產品不合格要困難得多。
因此，回到我最初想要了解的內容，我想通過技術討論來更多地了解這兩種方法的異同。 是否存在一種方法優於另一種方法的情況，為什麼？在此過程中，我希望了解為什麼這兩種方法會提供如此不同的結果，以便我能夠制定一個計劃，如何找到一種更可靠、更穩健的方法來確定我們需要進一步研究的那些最可能的因素。 最後一步是我與公司團隊一起完成的工作，而不是通過 JMP 社區。
同樣，JMP 文檔中關於這些方法的信息有限（可能更多關於模擬的信息），並且關於在哪裡可以找到每種方法的更多詳細信息的信息也很有限。 我不是這些方法的專家，我想我應該去討論論壇尋求有關模擬與引導方法的想法/輸入。 到目前為止，從這次討論中，我了解到 bootstrap 不假設重新採樣的任何分佈，而模擬確實假設重新採樣的分佈，並且兩者都不優越。 這些都沒有真正解決我希望學到的東西。JMP 幫助提供了一些有用的信息，但不是全部，正如 JMP 幫助頁面底部所宣傳的那樣：
因此，來到社區討論，希望了解更多信息。 再說一次，我不是這些方法的專家，但希望社區頁面中的某個人可能是，並且可以提供更多信息或資源，我可以閱讀以了解更多信息。
謝謝！，
DS
回复：JMP 中的模擬與 Bootstrap 方法：何時使用以及為何使用哪個方法如果您想了解有關 JMP 中的 Bootstrap 和仿真的一般知識，鏈接 (2) 和 (3) 更相關。 鏈接 (1) 是一個更高級的主題，並且特定於 DOE。
威廉·米克 (William Meeker) 是 (2) 和 (3) 的發言者之一。 您可能想查看他的書“可靠性數據的統計方法”第二章的第 9 章。編輯。如果您只能閱讀其第一版，那麼您還應該查看第 9 章。 那裡記錄了非常詳細的描述。 我們中的許多人在那裡學到了技術。 但我確信還有其他參考資料。 米克的材料涵蓋了技術的一般概念和可靠性分析的特殊應用。 如果可靠性分析部分不相關，您可以安全地跳過。
如果我總結一下書中的內容以及馬克的解釋，以下是我的嘗試。
“Bootstrap”（又稱“非參數引導”）的步驟包括：
- 從您的數據中抽取樣本
- 做一點事
- 計算您感興趣的數量，收集數量
- 重複。
“模擬”（又名“參數引導”）的步驟包括：
- 從具有一些已知參數的模型開始，從中模擬樣本
- 做一點事
- 計算您感興趣的數量，收集數量
- 重複。
正如您所提到的，目的是獲得“置信區間”。 選擇哪個？ 這取決於你的任務。 我無法談論您所描述的任務。 但是看看鏈接（2）和（3），鏈接（2）和（3）的大部分與“非參數引導程序”（或Bootstrap）的應用有關，因為任務是更好地量化估計的置信區間，對於這種情況，大樣本近似並不是最有效的方法。 現在看看鏈接（3）中何時使用“參數引導”（或模擬），即用於功率計算。 什麼是功率計算？ 對於這種計算，我們必須知道真相，所以當通過一種方法做出決定時，我們必須知道假設檢驗的決定是否正確。 然後可以將結論掃入表中正確的象限I 類和 II 類錯誤。 一個人怎樣才能確定真相呢？ 從事實開始吧。 這就是“參數引導”更合適的時候。
引導方法是通用技術，我確信我所描述的只是冰山一角。 但馬克的話概括了區別：他們有不同的出發點。
對於您的具體任務，我有一個問題，當您進行模擬時，您是如何想出公式列的？ 這是你知道的真相嗎？
回复：JMP 中的模擬與 Bootstrap 方法：何時使用以及為何使用哪個方法哇！ 我們肯定在同一家公司工作過……您準確地描述了我如何在伊士曼柯達公司度過了一半的職業生涯。 由於成本和產能，美國能源部禁止生產薄膜/紙張塗層工藝/機器。 從實驗室工作台到試點再到生產的可擴展性只是寫在紙上的白日夢。 我們的可取之處是，有很多聰明人都在盡力而為。 我將使用社區消息傳遞功能向您發送一條私人消息，其中包含一些其他想法。
回复：JMP 中的模擬與 Bootstrap 方法：何時使用以及為何使用哪個方法我將提出一些我的想法，這些想法可能沒有任何價值，並且對於 DS 提出的問題可能沒有用。 我的想法與皮特的一致，因為我有類似的經歷。在試圖理解因果關係的宏偉計劃中，有許多不同的方法。在所有情況下，都需要迭代。 我將過度簡化其中兩種方法：
1. 統計方法：這是一種在現有歷史/觀察數據中尋找線索的嘗試（又名數據挖掘）。這通常需要使用某種回歸方法（有很多），最終尋找響應變量（即 Y）中的模式並嘗試將這些模式與輸入變量（即 x）中的模式相關聯。使用圖形方法來尋找模式，而不是僅僅進行定量觀察（例如引導、模擬等）。 模式的相關性應該能夠激發對這些模式存在原因的解釋。這些解釋都是假設。一旦提出假設，就通過定向抽樣（例如 DOE）收集數據，以建立對因果關係的信心。
2. 科學/工程方法（又稱科學方法）：這種方法首先假設因素對響應變量的潛在影響。這些假設是中小企業經驗、直覺、教育、對公認科學理論的理解等的函數。當存在大量變量（例如，>15）並且假設是一般性時，可以使用定向採樣將變異分量分離並劃分為更小的子集。 我強烈推薦您的生產過程採用這種方法，因為它不會“干擾”過程。 隨著潛在影響因素數量的減少，可以使用實驗來建立對因果關係的信心（如您所示）。
哪種方法更有效、更高效始終取決於具體情況。當我們的知識連續性極低時（例如，缺乏主題知識），也許方法 1 會更有利。 如果假設已經存在，則方法 2 可能更有利。
由於無法對生產過程進行實驗（不涉及短期與長期思維的爭論），這可能會增加調查的複雜性。問題是推理空間。 我們需要的是中試線能夠反映生產過程。這是一個挑戰，因為這個謊言是在一個小伙子身上，而且通常是一個完全不同的推理空間。 通常這意味著需要消除噪音添加到中試線（例如，改變環境條件、使用多批原材料）。在進行小規模研究時，誇大影響很重要。因素效應（例如，粗體級別設置）和噪聲效應。在使用分塊和裂區策略的實驗中可以適應誇大的噪聲影響。
恕我直言、模擬和引導（或任何定量方法）完全取決於您獲取數據的方式以及數據對未來條件的代表性。如果用於模擬或引導的數據不具有代表性，則兩種方法都沒有用。
回覆：JMP 中的模擬與引導方法：何時使用哪種方法以及為什麼使用雖然我的回覆與原始貼文無關，但您的解釋包含了有關 Bootstrap 和 Simulate 之間的差異的概念。
我想澄清一下在 JMP 非線性擬合參數引導法中應用於我的案例的這些概念。在附件的 JPG 檔案中，我在「非線性擬合」分析的參數「估計值」欄位中使用了一鍵式「引導」功能。我在這裡使用的是參數引導法嗎？
