我們四年前開始使用JMP。當時我們厭倦了Excel的臃腫,而JMP的拖放功能和易學性讓我們非常滿意。不過,從那時起,我們已經取得了長足的進步,現在我們不僅用JMP進行統計分析,更重要的是,還將其用於自動化流程和產品品質控制。
這項薈萃分析只是我們使用 JMP 節省時間和精力的一個例子。我們從客戶農場收到關於我們產品對仔豬存活率/死亡率影響的實驗數據。這項薈萃分析最初始於五年前,當時需要花費三到五週的時間,並且需要大量使用 Excel。隨著時間的推移,它逐漸演變成一個主要依靠 JMP 自動化的流程,只需一周甚至更短的時間即可完成。節省下來的時間意味著我們有更多時間投入「增值」流程步驟中,例如向客戶展示資料和撰寫會議摘要。這也意味著我們可以花更多時間從資料中挖掘有價值的訊息,從而每次展示時都能提出「新的觀點」。 JMP 讓我們真正體會到了流程圖的重要性,以及自動化對我們看待資料方式的影響。
大家好,我叫Stefan Buzoiano,是Tonisity International的高級科學家。今天我們將探討我們從Excel到JMP自動化的轉型歷程。我的郵箱地址就在螢幕上,如果您有任何問題或建議,歡迎隨時與我聯繫。
簡單介紹一下背景,Tonisity PX 是一種等滲蛋白飲料,用於為新生仔豬補充水分,並為它們的腸道細胞提供關鍵營養。因此,仔豬的存活率更高,生長速度更快,也更健康。您可以將 Tonisity PX 理解為腸道的“能量庫”,因為它提供關鍵營養來支持細胞代謝,增強細胞連接,防止仔豬出現腸漏,支持免疫系統和腸道菌叢。其主要效果是提高仔豬的存活率或降低出生前死亡率。接下來幾張投影片我們將詳細討論這一點。
我們一路走來了解到,我們的客戶越來越重視數據,而僅僅展示一到五個試驗結果所能達到的效果是有限的,因為人們會問你結果是否可重複,會問你統計分析,會問你趨勢如何。
因此,透過匯總數據,我們的宣傳和傳播方式會更有影響力。透過展示來自 10 次、20 次、50 次、90 次甚至 100 次試驗的結果,我們的客戶開始關注,我們也能進行更有意義的討論,並為我們的產品或市場准入創造更多價值。所以,數據越多越好。這就是匯總數據的力量。
為了實現這一目標或提升我們的資料處理能力,我們每年都會進行一次死亡率薈萃分析。迄今為止,我們已經進行了六次。我們從2018年開始,當時納入了約29項試驗和33,000頭豬。截至本月,我們的資料庫中已有91項試驗,涉及185,000頭豬。因此,這項數據分析已經進行了六次,而我們目前的分析是在前一次的基礎上進行的。
從時間分配和分析投入來看,我們發現2018年我們在Excel中做了大量的資料處理或資料準備。紅色部分代表Excel資料準備,橘色部分代表SAS和JMP之間的分析,藍色部分代表結果發布,也就是增值環節。我們的高階主管、董事會和客戶更專注於結果發布,而不是資料處理本身,這可能與你的預期有所不同。
我們一開始就大量使用Excel。我們花了八天才真正弄清楚資料庫,處理各種公式,還要不停地複製貼上。期間也出現了不少人為錯誤。 2019年的數據並沒有增加多少,但我們仍然沒有進行大量的傳播工作。
我們在2020年引進了JMP。我們對資料庫進行了全面升級,從2021年開始,我們大幅增加了資訊傳播工作量,資料處理量也大幅下降。由此可見,我們當時已開始重視資訊傳播的增值環節。
這是另一種看待這個問題的方式,就是依照流程步驟來劃分。例如,Excel 資料準備、分析和分發。我們可以看到,我們花在 Excel 上的時間大幅減少。從 8 天減少到 0.1 天,這非常顯著,也大大提升了我們的流程效率。資料處理更少,錯誤更少,花費的時間也更少。
分析步驟:中間部分我們保持不變,但我們已經從 SAS 密集型流程轉變為 JMP 密集型流程,這樣做的好處是,我們將很多東西放在一個地方。
但重點在於,我們把原本半天的時間用於資訊傳播的工作量縮短到了四天左右。這大大提升了日常工作的價值。例如,我們今年提交了兩篇摘要。過去幾年,我們進行了一些自動化流程,並新增了一些分析。因此,節省下來的時間,讓我們無需再在 Excel 中來回處理數據,這些時間被充分利用到摘要提交、資訊傳播、面向客戶的網路研討會以及與學術界的交流中。
這就是我們的資料分析流程,可以說是非常繁瑣了。大量的表格、大量的互動、大量的總結、合併等等。關鍵在於,許多繁重的工作都是在 JMP 中完成的。 Excel 的使用很少,SAS 也用得不多,但大部分的工作還是在 JMP 中完成。
這就是後台的處理流程。我們先將資料集或資料庫從 Excel 匯入 JMP,然後透過 SAS 處理,再將資料重新匯入 JMP,最終產生主表,這是我們所有分析的基礎。所有其他數據都基於此表進行識別和處理。例如,我們有一個按五個地理區域、兩種給藥方案和四種遺傳因素劃分的總體死亡率薈萃分析。該資料表的大約 13 個組成部分都已自動化,並在後台由 JMP 無縫合併。
我們有一些常規圖表,它們會隨著迭代而變化。程式碼已經寫完畢,JMP 會幫我們完成繁重的計算工作。我們只需要運行腳本即可。正如我所說,節省下來的時間讓我們專注於數據解讀和成果傳播。現在,我們可以深入分析資料集中的關鍵點,了解我們的產品何時運作良好,何時出現意外情況並產生意想不到的結果。這使我們能夠與客戶一起排查問題,確保他們在使用我們的產品時能夠獲得價值。
這就是我們基本上在後台進行的操作。這裡有一系列枯燥的步驟。我們查看 Excel 數據,將其導入 JMP,進行一些初步解析(我們稍後會詳細講解並進行演示)。然後我們將其發送到 SAS 進行分析,分析結果輸出到 Excel,我們將其匯入回 JMP,進行大量的合併工作,包括合併死亡率平均值、P 值和其他匯總數據,並繪製一些圖表和進行一些 PowerPoint 簡報。
正如我所說,由於 JMP 在後台為我們處理了大量的公式、連接等工作,我們能夠查看數據,進行傳播、摘要、網路研討會和客戶培訓課程等等。
我們進入示範環節,此時每個 JMP 使用者都會默默祈禱程式碼能夠順利運作。讓我們來看看。這是我的 JMP 專案。沒什麼特別的,程式碼行數很多。我最喜歡 JMP 的一點是它提供了程式碼折疊功能,我可以折疊整段程式碼。我正在將所有內容加載到內存中,並進行協調,然後從右側面板運行這些程式碼段。接下來,我們將匯入表格並開始使用它們。
接下來我們需要連接到 SAS。它會在後台運行一些程式碼。我們將表格匯出到 SAS 進行處理。 SAS 回傳了一些格式相當混亂的表格。總共有七個表格,包含所有 P 值、各種估計值以及其他需要合併並轉換為我們主表格格式的資料。 JMP 可以輕鬆完成這項工作。這就是我們的主表格。就是這樣。
這樣一來,左邊就剩下一堆我們用不上的表格了。當然,我們會清理並關閉它們。抱歉,我們做得不夠好。問題是,現在還剩下一些表格,我得從先前的版本中找出相關的圖表程式碼。
我們正在做這件事。您可以看到這裡的程式碼和腳本,我可以隨意修改。這些是我的標準圖表,我可以根據需要進行調整。這裡還有另一個。太好了。這只是其中一個圖表的範例。 X 軸代表對照組的死亡率,Y 軸代表 PX 治療組的死亡率,旁邊還有這些小標記。它讓我能夠了解歐洲的試驗情況,每個點都代表我們資料庫中的一項試驗。這裡有很多美國試驗,死亡率非常高。亞洲的試驗通常在底部,死亡率較低。
這樣一來,我就可以更靈活地瀏覽數據,了解數據背後的含義,而無需像以前那樣費力地從 SAS 通過 Excel 導入數據,然後在 Excel 中繪製圖表。這為我們節省了大量時間。
完美。關於這一點,我總結幾點。 JMP 意味著我們減少了資料處理工作,所以 JMP 的授權費用完全可以收回成本。人為錯誤也減少了。 JMP 軟體承擔了所有繁重的工作,包括公式計算、數據連接、表格合併等等,你能想到的所有操作它都能自動完成。這些工作都在後台運行,所以完全不會出現人為錯誤。我在寫程式的時候就已經把這些都處理好了。節省下來的時間讓我們專注於真正有價值的步驟,例如查看數據、撰寫摘要、舉辦網路研討會、與客戶溝通等等。這樣一來,我們就能更有效地運用時間,創造更多價值。
它讓我們能夠進行大量的故障排除,並以各種方式解讀數據,還能對數據本身進行各種不同的分析。另外,還有一點很重要,我們是從2020年開始做這一切的,而且之前沒有任何JMP腳本編寫經驗。如果我能做到,你們也一定能做到。非常感謝。我的郵箱地址在螢幕上。如果您有任何問題或建議,歡迎隨時與我聯繫。