Where should I invest to maximize profits?Where should I invest to maximize profits?Where should I invest to maximize profits?Where should I invest to maximize profits?我應該在哪裡投資才能最大化利潤？去年，您剛收集資料、重組資料、分析關係和微調參數。 您經過努力工作，將所有專業知識累積到了您認為可靠的預測模型中，您現在將使用該模型來確定您的公司將在何處花費 1000 萬美元的資產。 您對自己的決定有多大信心？ 您是否考慮了所有可能的情況、因素和限制？ 您是否有可能錯過了什麼？
歡迎來到不確定性的世界，即使是最有經驗的數據從業者，未知的事物也會讓他們夜不能寐。 害怕不知道我們不知道的事情以及錯過不可預見的影響或結果，可能會將簡單的預測模型變成組織最糟糕的噩夢。
無論您是利用最新的人工智慧演算法還是使用傳統的迴歸方法，您的模型中始終存在一定程度的不確定性。
既然這是不可避免的，那麼現在的問題就變成了：能否最大限度地減少和減輕不確定性？ 當然，我相信透過結合一些簡單的策略可以大大減少它，這些策略已被證明可以提高預測的準確性並減少模型的不確定性。
與資料樣本相關的不確定性
首先，我們必須認識並理解預測模型中存在許多不確定性來源。 資料、建模技術和預測變數選擇的變化都會影響模型的效能。 在本次討論中，我們將重點放在與資料樣本相關的不確定性。 數據集的品質對於預測的準確性起著至關重要的作用。 數據是預測模型的燃料。 在大多數情況下，我們為模型提供的數據越多，我們提高準確性的能力就越大。 但一切都是有代價的，收集大型資料集可能是一項昂貴且耗時的工作。 考慮到這一限制，零日的最佳策略是使用以下方法制定資料收集計劃：實驗設計（DOE）預先收集關鍵數據，捕捉準確建模關係所需的因素和變化的組合。
不幸的是，大多數人沒有走這條路，隨後發現自己在收集階段後迫切需要額外的數據來豐富他們的模型。 聽起來像你嗎？ 如果沒有足夠的預算來收集更多數據，現在該怎麼辦？ 不用擔心。
豐富數據的 3 種技術
您會很高興地知道，三種快速簡單的技術已經證明可以豐富您的數據並重新獲得模型的準確性，而無需在收集新數據點時投入額外的資源：Bootstrapping、Monte Carlo，從而提供幫助。模擬和插補。
引導：這是一種簡單的技術，我們對資料中的隨機觀察值進行重複取樣，以產生新的「引導」資料集，從而提供更好的模型估計近似值。
讓我們在實踐中看看這個技術。 在下面的範例中，我想探索模型參數（滲透率）並確定其置信區間 0.010 和 0.108 是否準確表示該變數的理論極限。 一旦回答了這個問題，我就會更了解滲透率和模型反應之間的關係。
Original confidence limits for permeability are 0.010 and 0.108Original confidence limits for permeability are 0.010 and 0.108Original confidence limits for permeability are 0.010 and 0.108Original confidence limits for permeability are 0.010 and 0.108滲透率的原始信賴區間為 0.010 和 0.108
New bootsrap limits of 0.019 and 0.119 reflect a more accurate estimate of actual valuesNew bootsrap limits of 0.019 and 0.119 reflect a more accurate estimate of actual valuesNew bootsrap limits of 0.019 and 0.119 reflect a more accurate estimate of actual valuesNew bootsrap limits of 0.019 and 0.119 reflect a more accurate estimate of actual values新的引導限制 0.019 和 0.119 反映了實際值的更準確的估計
使用聯合管理計劃，我產生 2500 個引導樣本來計算新的置信區間 0.019 和 0.119。 自舉限值大於原始限值 0.010 和 0.108，這表明滲透率和預測反應之間的關係實際上比先前估計的更強。 有了這個新的見解，我可以調整模型的係數以減少不確定性並產生更符合實際預期結果的估計。
蒙特卡羅模擬：使用隨機變化的分佈來產生預測結果的穩健估計，以更好地解釋模型資料中的不確定性。
讓我們將第二種技術應用於我們的範例資料集。 我創建了一個傳統模型，可以在其中估計一組條件的預期反應（例如：REC=847.805）。 儘管我可以計算這些估計的預測反應和置信區間，但我無法計算包含我通常在因素中觀察到的現實世界變化的結果。 透過使用 JMP 中的模擬器選項，我現在可以將因子建模為隨機分佈，並在預期回應值中產生更精確的估計值。 在我的範例中，蒙特卡羅模擬顯示大約 25% 的回應值超出了 750 的下限。 有了這種更準確量化的風險水平，我現在可以透過模擬多種場景並相應地權衡各自的結果來做出更明智的業務決策。
Monte Carlo simulation of predictor variables allows for risk analysis under varying conditionsMonte Carlo simulation of predictor variables allows for risk analysis under varying conditionsMonte Carlo simulation of predictor variables allows for risk analysis under varying conditionsMonte Carlo simulation of predictor variables allows for risk analysis under varying conditions預測變數的蒙特卡羅模擬允許在不同條件下進行風險分析
插補：一種資料替換技術，用於以計算結果取代缺失資料。
真實資料有時會缺少值，我的範例資料集也不例外。 它包含一些由於感測器存在問題而未收集數據的條目。 不幸的是，由於這些值被省略，它們現在從任何分析中被丟棄，並且我失去瞭如果我的數據集完整的話可能獲得的任何前瞻性見解。 透過使用插補聯合管理計劃，我現在可以估計那些缺失條目的值並增加我的預測的置信度。 可使用多種技術進行插補；我選擇了一種名為多元 SVD 插補預測 14 個缺失條目的值。 應該注意的是，估算數據不是真實數據，但它提供了一種進行分析的方法，否則無法進行分析。 透過估算缺失的數據，我提高了預測變數估計的準確性，現在可以充分利用我收集的所有數據。
Results of 14 imputed values allow for estimation of missing dataResults of 14 imputed values allow for estimation of missing dataResults of 14 imputed values allow for estimation of missing dataResults of 14 imputed values allow for estimation of missing data14 個估算值的結果可用於估計缺失資料
改進估計並減少不確定性
自舉、蒙特卡羅模擬和插補。 就是這樣：三種快速簡單的技術可以在任何現有資料集上實施，以豐富結果的品質並大大提高您的預測準確性。 在大數據時代，預測模型的用例不斷成長，這是一件令人驚奇的事。 儘管建模選項和演算法取得了進步，以提高穩健性和準確性，但性能仍然由我們為模型提供的數據品質驅動。
在理想的世界中，不確定性是不存在的，我們的數據將為完美預測指明道路。 但我們知道，真實數據並不在乎我們的想法。 它很混亂、有缺陷且難以處理，所以讓我們透過在工具箱中添加一些新工具來應對這項挑戰。 讓我們不要讓未知的事讓我們徹夜難眠。 積極主動地利用這些策略來改善估計、減少不確定性，並堅信您正在做出最佳的業務決策。
這些技術與資訊品質有關。 根據您的數據和目標，它們可以幫助您提高產生的資訊的品質。
有關引導的介紹以及範例和練習，請參閱此連結：
有關引導的介紹
有關資訊品質的介紹，請參閱此鏈接:
資訊品質簡介 (InfoQ)
對於評估資訊品質 (InfoQ) 中的 JMP 添加，請參閱JMP 外掛程式用於評估 InfoQ
