關於機器學習,今天看來已經是大家耳熟能詳的一個話題了。但在幾年前,Elizabeth剛剛加入JMP時,對這些領域還是充滿著探索未知的好奇與興趣。今天我們就一起來開啟機器學習探索之旅。

本文作者Elizabeth Claassen,原文發表在JMP全球用戶社區JMP Community,對原文感興趣的朋友也可以直接查看原文。
在2014年加入JMP時,Elizabeth剛剛在一所在農業實驗和混合建模方面有著悠久而卓越歷史的學校取得了統計學博士學位。 她以前習慣於做小型實驗設計,通過明智的規劃、混合模型的技術分析並優化輸出,最大化地獲得資訊。最簡單的例子就是裂區設計。無論與她合作的科學家來自于動物科學,昆蟲學,食品科學還是教育領域,都是如此。
加入JMP後不久,大數據的熱度達到頂峰。隨之而來的是幾年後機器學習逐漸興起。機器學習的興起落後於大數據,這並不奇怪。那麼,大家收集到數據後應該做些什麼呢?當然是利用機器學習的工具進行分析。
Elizabeth在校接受的正規教育並沒有特別地涉及到機器學習的領域,但在她開始擔任統計開發人員後,這些都是需要她快速掌握的核心內容。所以,當她邁出新主題的第一步時,她便開始學習維基百科官網上關於機器學習的資料。
“機器學習是一個跨學科的領域,它使用統計技術讓電腦系統能夠從資料中學習(例如,逐步提高特定任務的性能),而無需明確的程式設計。”
這聽起來是不是匪夷所思? 電腦系統如何能夠在沒有明確程式設計的情況下去“學習”任何東西呢? “我們畢竟還沒有實現天網啊。” Elizabeth想。於是,她繼續深入挖掘下去。
大英百科全書對機器學習的定義為:“人工智慧(電腦科學專業)中的機器學習是一門關注實現電腦軟體自主學習的學科。”
Elizabeth深入瞭解機器學習之後,她對實現軟體的自主學習更加感興趣。“沒有明確的程式設計”意味著一旦傳遞給演算法,演算法沒有來自人類的任何進一步指令就能完成剩下的工作。
基於上面的定義和她所使用這些詞語的認知,Elizabeth認識到機器學習就是當前人工智慧的流行語,意思是根據數據做出決策,預測或分類的電腦演算法。
監督與無監督學習
那麼,JMP能實現機器學習嗎? 答案是肯定的! 從技術上來講,JMP從1989年第一個版本的問世就擁有了機器學習的功能。由此可見,JMP一直都跑在時代的前端。接下來,讓我們進一步來看看大家在說機器學習時所考慮的那些演算法。
通常,機器學習演算法被分為不同的類型 - 監督和非監督學習。
- 對於監督學習,演算法同時使用預測變數(X列)和反應變數(Y列)。 訓練數據通過告知演算法給定值的預測變數所對應的反應值應該是什麼來實現“監督”。
- 對於無監督學習,演算法僅使用預測變數,並且任何模式都僅由它們確定。沒有使用任何“真相”(回應),實際上我們很多情況都不知道“真相”。
JMP中的機器學習演算法屬於哪些類別?
|
監督學習
|
無監督學習
|
|
決策樹*
|
集群
|
|
類神經網路 *
|
自組織映射
|
|
Bootstrap 森林法*
|
關聯分析
|
|
回歸
|
奇異值分解
|
|
K最近鄰*
|
|
|
簡單貝式*
|
|
帶星號(*)的功能僅限JMP Pro 。
看到這裡,很多人可能對列表中的“回歸“感到驚訝,認為這不是常規意義上的機器學習。但其實它是最直接的監督學習的形式。JMP 1版本中就具備了“以Fit Y by X”的回歸功能, JMP 3 中則增加了集群,之後,更多的機器學習選項不斷出現在JMP新的版本中。那些熟悉其中一種或幾種演算法的人可能會注意到它們之間的相似性。許多模型能夠產生驚人的預測準確性,但可能很難解釋模型的係數或分界點的含義。例如,通過跟蹤決策樹的節點能得出預測結果,但這些節點選取在哪裡的背後沒有固有的含義。 我們不知道類神經網路模型中的參數估計在“現實世界”中意味著什麼,但類神經網路卻是最好的預測性機器學習模型之一。
相比之下,回歸模型為使用者提供了具有固有含義的參數估計。如果係數為正,我們知道將此預測變數的值增加一個單位將使反應值增加一個等於係數值的量。這與Galit Shmueli博士所說的“解釋還是預測”有關。在這種權衡中,最好的折衷方案之一是Fit Model平臺的廣義回歸功能。正如JMP的統計開發人員Clay Barker所說的那樣,使用Lasso或Elastic Net可以提高預測性能,而且此模型仍然可以被很好的解釋。
但缺乏可解釋性是否有關係呢? 也許有,也許沒有。
- 如果用戶專注于對未來事件實現最準確的預測,那麼可解釋的模型就不是必須的。
- 反之,如果用戶想要更具體的方法來“提高他們的分數”,則可以選擇可解釋的模型。
總而言之,任何模型的關鍵在於你可以將模型的輸出付諸於行動。
仍然需要人類介入
即使電腦演算法能夠完成所有了不起的事情,仍然需要人工分析來處理更高級的問題。

比如:
應該在分析中包含或排除哪些數據?
- 有些演算法具有選擇重要變數的能力,但如果建模一開始沒有給電腦一個變數,即使該變數具有高度的可預測性,電腦也不會自動選中它。
- 收益遞減點在哪裡?
如果模型太過複雜而無法在需要的時間內完成運行,那它並沒有什麼用途。也許一個不太複雜的模型可以提供幾乎同樣好的結果並且可以快速運行。一個眾所周知的例子是Netflix獎的獲勝者。獲獎模型的表現幾乎比任何人預期的都要好,卻無法在即時環境中運行。因為Netflix需要建議使用者下一步應該觀看什麼,但模型所需的數據量和處理速度使得它無法及時做到。
- 模型中存在固有的偏差嗎?
顯然電腦演算法不會有著人類所具有的偏差,但演算法可能會產生與偏差的特徵高度相關的模型。例如在抵押貸款中,有一些特徵在做出貸款決定時是非法的。但是,有幾個合法的因素與非法因素高度相關。例如,即使種族沒有直接成為數據的一部分,演算法也可能生成幾乎完全拒絕特定種族的模型,此模型很可能會產生法律後果。
- 什麼時候應該更新模型?
建模的目的是生成一些可以讓我們採取行動的輸出,所以一旦將模型付諸於實際行動中,那麼,模型就需要進行更新。這些更新是必需的,因為實施的更改將影響模型的未來輸入。如果繼續使用舊模型,就有超過原始數據的界限做推斷的風險。所以,只有人類才能回答模型應該在哪一點上更新的問題。
這就是為什麼儘管機器學習大行其道,仍然需要人類介入去更好地構建模型,更新模型,從而確保精準的模型能夠更有效地服務於我們的工作。
在下篇文章中,我們將通過進一步介紹兩種機器學習演算法:k最近鄰和簡單貝式,並通過實際案例來看看如何運用這兩種方法分析一些日常生活中有趣的數據。