預測刻畫器和意願函數大家好，
JMP 專業版 16.1.0。
我正在使用 Prediction Profiler 來完成模型調整的一些驗證，並且想知道是否有一種方法可以“欺騙”合意性函數來執行它們並非真正設計用於執行的操作。 使用合意性的標准設置，您可以選擇最大化、匹配目標、最小化或無。
在模型調整過程中，我記錄了用於訓練和驗證的 R^2 值，以及兩者之間的差異。 我在模型調優時嘗試尋找的一件事是參數設置，它不僅可以最大化訓練和驗證的 R^2，而且可以最小化兩者之間的差異。 例如，如果我的模型具有 0.4 的 R^2 訓練和 0.35 的 R^2 驗證，則比具有 0.7 的 R^2 訓練和 0.25 的 R^2 驗證更好。 即，訓練集和驗證集彼此越接近，即使更小的數據集在我的情況下往往表現更好。
問題在於，使用預測刻畫器時，如果您同時設置訓練和驗證 R^2 以最大化和最小化差異，刻畫器建議的設置會導致訓練 R^2 為 0.6，驗證 R^2 為 0.2 左右。 不是我想要的。
我真正希望 Profiler 做的是嘗試收斂訓練和驗證 R^2，它們盡可能接近彼此，同時也盡可能大，以便在保持大 R 的同時最小化差異^2 個值。 不幸的是，改變重要性（0 到 1）或目標之類的東西並不能真正實現我所追求的。
如果有人知道如何讓 Profiler 執行此類操作的技巧，那將是非常棒的。 或者，如果這不可能，它可能是一個非常好的新功能，能夠指示 Profiler 嘗試並收斂兩個響應，同時最大化（或最小化）它們。
謝謝！，
DS
數據訪問數據探索和可視化大規模定制回复：預測刻畫器和合意性函數你好@ih ,
你們倆當然是對的，我無法迴避我的想法和對流程和決策的主觀影響，因此這使得整個過程有些主觀並且容易受到某人的偏見。 最好盡可能多地刪除這些內容，以限制任何人對手頭問題的偏見。 畢竟，我們追求的是表現最好的模型，而不是某人想要/希望成為表現最好的模型。
同樣真實的是，我不僅僅使用 R2 作為我生成的模型的指標。 然而，它是幫助驅動某些模型擬合的調整過程的更可靠的方法之一，例如使用提升樹和引導森林。 這兩種方法在過程中都有一些隨機性，這很好，但微調模型的參數可能會變得相當不方便——生成大型調整表非常容易，因為有多個參數，使超參數空間非常大. 為了稍微幫助這個過程，Gaussian Fit 平台可以在迭代調整擬合時減少參數空間。 R2 作為該平台的一個非常有效的替代指標。
用於報告診斷的引導程序選項是我經常使用的一個非常有用的工具。 我發現它也非常有助於使用自動驗證插件中的空因子來測試哪些因子（大集合中的）真正應該保留在模型中——一種預建模因子縮減技術。
如前所述，當訓練和驗證 R2 接近相似值時，模型往往表現更好。 另一個極端，高訓練和低驗證通常表現得更差。 在設置意願函數和水平（或截止值）時，這可能是一個非常主觀的部分，並且會嚴重影響結果。 更好的是可以為您優化該過程的算法。 當然，最終的決定仍然是需要用戶做出決定——評估結果是否具有物理意義，而不僅僅是數學意義。 一個類比是光譜數據，例如拉曼光譜或光電子光譜，它們通常具有洛倫茲或高斯（或混合）線形。 從數學上講，可能會有負的 sigma（標準偏差），因為在函數中，sigma 是平方的。 但在物理上，這具有零意義，因此可以丟棄建議曲線為負西格瑪的算法的任何擬合結果，因為沒有物理基礎可以使測量具有負標準差。 同樣，可以獲得負的 R2 值，或者 R2 驗證值大於訓練集，但這些實例應該是主要的危險信號，在進一步分析中不予考慮。
最終，這種方法被用來幫助縮小超參數空間，從而找到一個更穩定的全局最小值比生成一個包含數十萬行的龐大調整表來測試所有可能的組合更快更容易。 這仍然只提供調整參數的建議，並且仍然必須評估這些發現是否有意義。 該模型仍然在隨機啟動條件下迭代生成，但每次都會縮小到一組更穩定的參數。 這種方法對於具有許多用於調整它們的輸入參數的其他建模平台很有幫助。
謝謝！，
DS
回复：預測刻畫器和合意性函數我同意@馬克貝利，您無法迴避您的想法和觀點成為您在此處提供的任何解決方案的一部分。
我鼓勵您不要沉迷於 RSquared。具有較高的 R2 並不意味著您擁有一個有用的模型，而具有較低的 R2 並不意味著您的模型無法達到其目的。有人說你的模型的 RMSE 需要低於閾值是公平的，但他們說 R2 必須高於某個任意值是沒有意義的。事實上，如果你預測的東西由於數據集中不存在的東西而有很多測量誤差或變化，並且你有一個非常高的 R2 那麼你可能有問題。
使用 R2 來比較測試和驗證當然是有效的，它可以幫助檢測過擬合模型。 儘管您認為只是在數據集中有不同的行預計R2 是不同的。例如，嘗試使用大型數據集並使用年齡和體重的線性最小二乘模型預測身高。現在，如果您有 JMP Pro，請右鍵單擊顯示的 R 方值並選擇 bootstrap。使用默認值，然後在結果表中進行分佈，您應該得到類似於下面的分佈。如果您沒有 JMP Pro，您可以通過獲取具有 30 個隨機行的表子集並進行最小二乘擬合、記錄 R2，然後重複該過程多次來獲得類似結果。
模型沒有改變，只是用於構建它的行發生了變化，但看看 R2 中的變化！因此，期望您的訓練和驗證 R2 始終在彼此的 10% 以內可能會對您的解決方案施加不必要的人為限制。
如果您想使用腳本解決方案測試過度擬合，除了對 R2 差異的一些“保持在路上”限制之外，您可以嘗試使用 Col Shuffle 公式並使用隨機 Ys 擬合您的模型，您應該看到R2 下降到接近零。如果不是，則您的模型能夠對數據中的隨機噪聲進行建模。
回复：預測刻畫器和合意性函數過程是客觀的。 決定不是。
回复：預測刻畫器和合意性函數你好@馬克貝利和@ih ,
@馬克貝利，您的第一個回復是“讓它工作”。 不幸的是，它不是一個自動優化過程，因此它不會迭代地找到最佳條件。 儘管如此，手動更改每個響應的相對重要性肯定很容易。
結合您的建議和@ih事實證明，我的建議更符合我最終希望它做的事情。 只是對意願函數進行了大量手動調整——要么手動更改數字，要么移動圖表中的小方框。 如果能有一種更加自動化和稍微不那麼主觀的方法來獲得我的最終目標，那就太好了。
@ih你是部分正確的，我不在乎 R2 Diff 是 0.01 還是 0.1，但是，如果我的 R2 Diff 是 0.1 並且我的訓練 R2 是 0.8 並且我的驗證 R2 是 0.7，我更喜歡 R2如果我的訓練為 0.31 並且我的驗證為 0.3，則差異為 0.01。 實際上，我的數據集更傾向於後者而不是前者——我希望我的兩個 R2 可以高達 0.8 和 0.7！
混合這兩個建議給了我很多可以玩的東西，只是希望不那麼主觀。
感謝您的反饋！，
DS
回复：預測刻畫器和合意性函數您還可以更改合意性圖表的形狀，以指示差異越大懲罰越大。 它不必與中心的中間值呈線性關係。
注意：您可以在函數圖的繪圖上控制單擊 (windows) 或命令單擊 (macOS)，並在嘗試不同的方案時快速更改值。 我建議不要更改合意性，而僅更改響應級別將中心值移向一端以使其非線性。
回复：預測刻畫器和合意性函數我猜你不關心 R2 差異是 0.01 還是 0.1，但隨著它增加到某個閾值以上，你會逐漸更關心它。 您可以嘗試使 R2 差異成為一個公式，該公式在低於某個值時是平坦的，然後在超過該限制時逐漸減小，或者您可以設置意願函數來描述這一點。我經常在多元模型中使用 T2 指標來做後者。您可以在下面鏈接的視頻中跳至 16:30 左右來查看示例。
優化多元模型：從數據收集到最佳條件和評分模型 (2021-US-45MP-927)
回复：預測刻畫器和合意性函數您正在正確使用刻畫器和意願函數。 使用 desiriability = (0,1) 並沒有錯，但是您可以嘗試使用 1 之類的值來表示最大化，使用 2 來表示差值，看看這是否能讓您更接近您想要的結果。 函數的定義（限制、重要性）是告訴探查器您想要什麼的關鍵。
也就是說，不能保證你會得到你想要的！
