邁克克萊頓中寫道:
謝謝。我認為JMP博客可以對通常生成每種主要分佈類型的“流程”故事進行良好的討論。例如,測量玻璃或矽晶片上的顆粒傾向於非常偏斜的分佈,沒有負值。然而,測量在數據之前和之後添加或移除的粒子具有正值和負值。簡單地說泊松分佈或對數正態分佈在某些情況下可能不適用於微粒數據。例如,一位研究人員建議使用雷諾分佈。每個流程故事都可以生成可能的分佈列表。工廠數據可以大部分是連續的,而服務數據往往混合了通常是分類或計數的數據,有時是百分比。
罰款會嚴重破壞你的一天。忘記按時支付賬單,延遲罰款將花費你幾美元。當一面黃旗擊中足球場時,點球可能會花費你最喜歡的球隊場地位置,動量甚至是一些積分。但懲罰並不總是那麼糟糕。事實上,在建立回歸模型時,懲罰是一件非常好的事情。這篇文章介紹了廣義回歸平台(新的 JMP Pro 11 ),這使我們能夠適應懲罰的回歸模型。 我們已經看到瞭如何適應類似的模型使用加載項 ,但廣義回歸平台提供了更多JMP Pro內置的功能。
最大似然是統計學的主力之一,是一種在回歸模型中估計參數的流行方法。似然函數告訴我們對給定參數集觀察到的響應的概率。因此,最大似然估計器為我們提供了最大化觀測數據概率的回歸參數。似然理論也為我們提供了關於回歸參數推理的理論。非常有吸引力,對嗎?最大似然是非常強大的,但是當我們提前知道哪些預測變量屬於我們的模型時,它是最合適的。
避免過度擬合
當我們有數十個或更多的預測變量並且不知道哪個預測變量包含在我們的模型中時,最大可能性往往過度擬合併且不再是一個很好的選擇。過度擬合意味著我們將很好地擬合我們觀察到的數據,但我們在預測新觀察方面做得很差。當我們被大量預測變量所淹沒時,懲罰回歸技術可以幫助我們避免過度擬合。通過懲罰回歸,我們意味著我們不是最大化我們的通常似然函數,而是優化可能性的函數加上對參數大小的懲罰。優化懲罰可能性具有直觀意義:我們希望很好地擬合數據,但我們不希望模型變得太大。JMP Pro中的廣義回歸平台允許我們擬合三種流行的懲罰回歸模型:嶺回歸,即套索 ,和彈性網 。這三種估算技術使我們能夠建立預測模型,以便為新的觀測做好預測。Lasso和Elastic Net也執行變量選擇,以便我們最終得到一個更容易理解的模型。
我們不是試圖涵蓋廣義回歸平台中可用的所有估算技術,而只關注彈性網絡。彈性網同時進行變量選擇和參數估計。作為額外的獎勵,它處理相關的預測變量( 多重 ) 好。大型觀測數據集經常遭受多重共線性,因此在處理觀測數據時,彈性網是一個不錯的選擇。彈性網使用L1和L2的混合來懲罰可能性規範 :

beta是我們的回歸係數。懲罰的L1片段導致變量選擇,而懲罰的L2片段有助於處理共線性。這裡alpha和lambda被稱為調整參數,兩者的每個組合導致一組不同的回歸參數估計。JMP提供了幾種選項,用於根據擬合度等選擇最佳的調整參數組合交叉驗證或者 BIC 。
好萊塢電影的例子
讓我們用JMP的示例數據文件夾中的示例試用Generalized Regression平台。好萊塢電影數據集為我們提供了有關2011年電影樣本的盈利情況的信息。我們的目標是根據以下幾個因素預測電影的盈利能力: 爛番茄分數,觀眾分數,Lead Studio(共33個不同的工作室)和流派(浪漫,恐怖,喜劇等)。所有這些預測因素似乎都不太可能真正影響盈利能力,因此我們希望進行變量選擇。我們應該關注受眾分數和爛番茄分數高度相關,因為受眾傾向於贊同批評者。因此,彈性網是擬合這些數據的完美選擇,因為它處理相關的預測變量,並且可以進行變量選擇。我和我的妻子喜歡看電影,經常在選擇電影之前檢查爛番茄的分數,所以這是我最喜歡的展示JMP的數據集之一。
要進入廣義回歸平台,我們啟動Fit Model並從Personality菜單中選擇Generalized Regression(如圖1所示)。在指定列並完成啟動對話框後,我們選擇估算和驗證方法,如圖2所示。我們將堅持使用默認值:帶有BIC驗證的彈性網絡。

圖1:啟動通用平台

圖2:模型啟動對話框
圖3顯示了廣義回歸報告的一部分,其中參數估計表已排序,以便更容易發現非零係數。解決方案路徑圖為我們提供了有關不同變量如何進入回歸模型的信息。路徑中的每一行代表我們模型中的一個變量,隨著懲罰減少(在圖中從左向右移動),越來越多的變量進入模型。
參數估計報告向我們顯示,在我們的最終模型中,只有三個預測變量具有非零係數。顯然,對於電視劇來說這是糟糕的一年,也是索尼發行電影的好年頭。受評論家歡迎的電影往往更有利可圖,這可能是我們所期望的。我們從模型中開始約40個術語,並將其縮小到只有三個。這給我們留下了一個易於解釋的模型,可以很好地預測新觀察結果。

圖3:好萊塢電影的部分報告示例
我對JMP 11中的廣義回歸平台感到非常興奮。變量選擇是統計學中最重要的問題之一,現在JMP Pro具有更強大的工具來攻擊該問題。你在圖1中註意到我們選擇了Gamma發行版嗎?正如平台的名稱所示,廣義回歸平台允許我們擬合廣義線性模型。這意味著即使響應變量不是正態分佈,我們也可以進行變量選擇。對於電影數據示例,伽馬分佈是一個不錯的選擇,因為我們預計盈利能力會產生偏差分佈。廣義回歸平台支持響應的各種分佈:正態,二項式(邏輯回歸),泊松,負二項式等。因此,下次必須進行變量選擇時,請在Generalized Regression平台中試用Elastic Net或Lasso。