大家好，我叫 Christopher Pillsbury，很高興今天能和大家見面。我將分享我們如何透過整合 AWS、Snowflake 和 JMP，建立一個框架，幫助研發團隊將想法轉化為切實可行的洞察。
在本講座中，我們將講解如何即時收集和分析實驗數據，以及這種架構如何幫助科學家做出更快、更有自信的決策。無論您在研發、資料科學或營運領域擔任何種角色，我的目標都是向您展示從原始資料到洞察的整個過程，以及可擴展分析如何重塑團隊的創新和協作方式。
今天的議程，我將首先帶您了解 JMP Live 實例實施過程中的關鍵里程碑，探索從原始實驗到可行決策的資料旅程，並討論擴展資料產生的影響。我將概述 IDEXX 資料解決方案的架構流程，展示資料收集、資料組織和分析如何協同工作，賦能研發使用者。我們將查看儀表板和報告的具體範例，以及它們對決策和效率的可衡量影響。
最後，我將總結在研發部門建立可擴展即時分析系統流程中的要點和經驗教訓。首先，請容許我先解釋一下我的職責。
資料解決方案架構師並非單一角色，而是融合多種學科，共同致力於使資料可用、可信賴且具影響力。這包括治理和安全，確保合規性、隱私和存取控制，從而保持資料的可信和安全。資料工程師，確保資料流向所需，建置管道、整合和轉換，使原始資料可用。
DevOps，負責處理基礎設施、雲端平台、自動化，並確保一切安全可靠且具彈性。資料架構，負責設計模型、定義結構，確保基礎架構可擴充。數據分析師，負責將數據轉化為洞察、儀表板、視覺化和故事，從而驅動決策。業務分析師，負責將技術層面與業務問題連結起來，收集需求，理解背景，並確保我們解決正確的問題。
最後，資料庫管理員，專注於效能、調優、可靠性以及當今世界的成本。這些視角共同構成了資料解決方案架構師的角色。我的工作是兼顧各個方面，將它們整合在一起，並提供解決方案，連接人員和團隊，創建數據管道，直至獲得業務洞察。
現在您已經對我以及我的職責有所了解，接下來我們來聊聊我們迄今為止的 JMP Live 之旅。正如任何優秀的專案都應該做的那樣，我們首先與企業 IT 部門溝通，規劃了雲端優先的部署路徑以及實現該目標的步驟。他們的指導幫助我們設定了 Azure 伺服器和必要的服務帳戶，為自動化建立了安全的基礎。
2024年7月31日，Alex幫我安裝並啟動了JMP Live。僅僅一周多之後，也就是8月9日，我們基於Snowflake視圖發布了第一份完全自動化的報告。在試點的第一年，我們通過負載測試，突破了JMP Live實例的極限，對700萬筆記錄和超過20列的自動化SPC圖表進行了負載測試，每5分鐘刷新一次。我們推出了儀表板來支援不同的業務需求，並確保架構能夠擴展，同時為每天依賴它的團隊提供即時洞察。
從理論上講，我們的實施過程非常簡單。然而，從想法到決策，再到數據，整個過程並非如此。任何接觸過實驗、數據和報告的人都知道，這其中隱藏著許多步驟。因此，在深入探討可擴展性和系統之前，我想先讓我們了解我們共同的流程。無論您從事研發、資料科學或營運工作，從想法到可行決策的路徑都遵循著類似的模式。
洞察之路是一個簡單而有力的描述，它描述了我們如何從好奇心走向決策。一切都始於一個問題或一個假設。也許你是研發人員，正在測試一個新產品概念，或許你正在挖掘和分析一個龐大的資料集。在某個時刻，你萌生了一個值得測試的想法。從此，你開始進行實驗、大量生產，甚至開發程式碼。
這是實際工作開始成形的地方。儀器輸出的資料、手動資料記錄或程式碼產生的資料集都會被存儲，有時儲存在本地，有時儲存在雲端，但在這個階段，這些資料仍然是原始資料。接下來是關鍵部分：建立、清理和分析資料。在這裡，我們應用統計方法，檢驗我們的假設，並開始揭示結果中隱藏的模式。
最後，交流見解。這可能意味著分享簡報、在電子實驗記錄本 (ELN) 中記錄結果，或分享重要的發展里程碑。這些見解通常會引發下一輪問題，進而重新開啟新的循環。
從宏觀層面來看，你已經完成了工作。你進行了實驗，收集了數據，整理了數據，進行了分析，恭喜你，你獲得了洞見。現在，你自然想分享你的發現。下一步是什麼？你拿出你信賴的PowerPoint，複製圖表，或許增加一兩個文字框，然後在會議上進行簡報。那一刻，你已經實現了目標。你已經產生了支援決策的數據。
但我們應該思考一個問題：成本是多少？你花了多少時間整理數據？其中涉及多少手動步驟？當資料發生變化時，你需要多少次重新匯出、重新格式化或更新？這就是我所說的洞察力的隱性稅。從原始資料到決策的開銷。
因為實際上，您產生的資料並不會整齊地流入 JMP 或任何其他系統。大多數情況下，這些數據都是原始的、碎片化的且不一致的。這意味著您或您的團隊最終需要花費數小時手動尋找、清理、建立和處理這些數據，然後才能開始分析。
當你最終得到一個可用的表格後，接下來會發生什麼？也許你需要添加一些計算。也許你需要建立一些派生列。 JMP 非常適合這些。但有時人們會選擇 Excel，因為它感覺更方便。這需要投入大量的時間，尤其是在從頭開始建立分析的情況下，即使對於具有相同輸出結果的實驗也是如此。
但陷阱就在這裡。即使流程標準化，一切都是靜態的，僵化在原地。你完成了工作，但下一個實驗不得不從頭再來。這就是負擔。洞察一旦獲得，卻需要大量的手動工作，而且很難輕鬆刷新或重複使用。
當你試圖發展時會發生什麼？這樣想吧。我們並不指望資料工程師為了管理資料而理解科學。同樣，我們也不指望科學家為了管理科學而成為資料工程師。他們的專長在於實驗、發現與解讀。而這正是他們時間最寶貴的地方。他們花在清理電子表格或處理格式的時間越多，用於實際科學研究的時間就越少。可擴展性指的是系統在成長過程中不會因更多人員、更多資料或更高複雜性而崩潰。
讓我們以洞察力為路徑，將其應用於生成資料的團隊。當你將更多人納入流程時，就會帶來一個全新的挑戰—差異。不同的人有不同的資料處理技能等級、不同的習慣，以及不同的格式化或建立結果的方式。你越接近原始數據，差異就越大。
不止於此。這種差異貫穿分析和報告的始終。結果，數據共享變得不那麼簡單，分析結果也不總是一致。至於演示？嗯，它們可能會變成一場冒險：“那張圖表是什麼意思？”“哦，那個？我只是喜歡某某的格式，所以我抄襲了他們的風格。”
會發生什麼事？團隊花費了大量不為人知的時間，只是為了調整儲存位置、定義列、清理資料、格式化資料以及確保資料的連續性。隨著資料量的增加，這些隱藏的工作量也會倍增。如果單一團隊的情況如此，想像一下整個部門的情況會如何。
你有無數個團隊在產生數據，每個團隊都有各自的方法。突然之間，他們就花了無數的時間處理這些數據，試圖將其整理成條狀。但更大的問題仍然是差異。不同的解讀、不同的分析、不同的數學運算、不同的輸出格式。所有這些差異都會降低效率。
那麼規模化之後呢？這不僅會拖慢單一專案的進度，還會阻礙整體進度。這才是真正的組織負擔。當每個團隊都在重複做事時，洞察力就會變得不一致，協調需要更長時間，最終失去動力。挑戰和機會在於建立一個系統，讓每個團隊專注於自己最擅長的領域，同時又能無縫協作。
在愛德士，我們認識到了這項挑戰，並致力於重建員工與數據之間的關係。我們重塑了系統、團隊和流程，讓員工專注於數據應用，而不是與數據競爭。這意味著要清楚定義工作內容，建立實用的自動化流程，並創建無程式碼或低程式碼存取我們自主建置的大數據系統。因為成為一個數據驅動型組織不僅僅關乎技術，更在於理解痛點和浪費的真正所在，在於了解哪些方面可以切實地傳授給員工，以及哪些方面可以透過技術更好地解決。
透過將我們員工的優勢與合適的工具（AWS、Snowflake 和 JMP）的優勢相結合，我們正在消除洞察力的障礙，並使團隊能夠以一致和自信的方式更快地行動。
關鍵在於：在現今的研發領域，可擴展的系統已不再是可有可無的。科學發展的速度比以往任何時候都快。我們產生的資料量也只增不減。如果我們的系統無法擴展，就無法跟上腳步。最終，我們會陷入瓶頸、不一致，並浪費大量精力。可擴展性使我們能夠快速將科學轉化為解決方案。它決定了我們無需花費數週時間處理數據，就能即時做出決策。正因如此，重新思考我們處理數據的方式至關重要。因為速度、一致性以及對我們洞察的信任，直接轉化為研發的進步。
接下來的幾分鐘，我們將深入探討資料解決方案架構流程的高層細節，該流程主要圍繞著兩大類別。第一類是資料路由和提取，用於收集、遷移和管理原始資料。第二類是資料湖庫和分析，用於建立我們的資料和分析架構。
在我們的研發環境中，數據可能來自多個來源。其中一些數據由科學家手動收集，而其他數據則由儀器和機器在實驗過程中自動產生。一旦資料存在，我們的雲端遷移服務就會介入。它會持續監視指定目錄中是否有新文件，並在偵測到新文件時自動將資料移轉到 AWS 儲存體。這確保所有傳入資料都被集中捕獲到安全的位置，以便進行下游處理和分析。
資料遷移到 AWS 後，便進入資料架構層。在這裡，所有文件都將安全地收集和存儲，從而為我們提供可擴展且可靠的原始數據存儲。之後，資料將透過 SNS 通知和 Snowpipes 提取到 Snowflake 中，從而實現從 AWS 到我們資料平台的即時移動。
在 Snowflake 中，自動化的 ETL 流程可以清理、標準化原始資料並將其轉換為標準化模型，以便進行分析。我們還利用 Snowflake 的視圖和動態表等高級功能，使分析師和科學家能夠無縫查詢和組合多個資料來源，為 JMP Live 中的下游分析提供一致且高效的基礎。
最後，我們到達分析架構層。在這裡，Snowflake 的標準化資料模型被轉換為可操作的資料視圖，旨在支援特定的業務和科學用例。我們根據不同利害關係人及其分析工作流程的需求，提供精心策劃的存取點，以便用戶能夠專注於洞察，而不是資料糾纏。
本質上，這一層彌合了原始數據與決策之間的差距，將數據結構與報告、視覺化和整體業務目標相結合。這一步驟將結構化資料轉化為 JMP Live 中有意義的即時洞察。
從高層次來看，一切都始於資料生成和資料包的創建。一旦資料到位，我們的雲端遷移服務就會持續監控相關目錄，並將新檔案遷移到 AWS 儲存。接下來，資料架構層接手工作。從這裡開始，資料透過 SNS 通知和 Snowpipe 從 AWS 傳輸到 Snowflake。
在分析架構層，我們將原始資料轉換為標準化模型，然後轉換為支援特定科學用例的可操作資料視圖。
最後，將報告和數據發佈到 JMP Live 可以實現自助服務自動化。簡而言之，從數據生成到架構再到分析，這項流程將原始實驗數據轉化為驅動決策的見解。
現在我想暫停一下。我們看到的所有架構圖和流程圖都很重要。它們表明系統有效運作。它們本身並不能真正證明價值。真正的價值在於，當使用該系統的人，也就是我們的科學家，能夠立即獲得他們做出決策所需的洞察時，它才會發揮作用。
當一位科學家說：「這正是我需要的」時，這個系統就產生了真正的影響。這正是我們接下來要探討的內容。切實的用例和可衡量的影響，將展示該架構如何轉化為研發成果。
為了做好準備，我們有一個微孔板讀數儀，它會產生一個包含兩種變體的日誌文件，如您在此處所見。在校準和控制運行期間，儀器會產生這些日誌檔案。它們包含重要的校準和控制結果，直接嵌入在文件中的表格中。
MPD團隊對這些數據非常感興趣，並創建了一個報告流程，根據運行結果追蹤設備健康狀況。與大多數情況一樣，他們不僅從研發實驗室收集數據，還開始從現場獲取數據。問題就在這裡：所有這些都是手動完成的。最初只是出於好奇，最終變成了一個重複且耗時的過程。
每個月，團隊都要收集數百個日誌文件，手動將資料複製並貼上到垃圾表中，然後產生報告。這需要耗費大量的精力，而且需要月復一月地重複。這正是高價值任務被手動操作拖累的典型例子。
我們與該團隊緊密合作，建立了DSA資料管道，以實現整個流程的自動化。我們不再手動收集文件，而是在文件建立後立即以程式方式捕獲，並將其分發到AWS儲存中。資料進入Snowflake後，會進行進一步的處理、清理和標準化。之後，我們建立了視圖，作為JMP Live報表的存取點，如下圖所示。最終，我們創建了一個井然有序的集中式表格，將曾經雜亂無章的手工資料轉化為結構化、可靠的資源，供科學家即時分析和決策。
現在，每當新的校準或控制運行完成時，JMP Live 中的報告都會自動更新。儀器按 ID 和位置分組，每個校準或控制事件都按日期清晰追蹤。這提供了系統健康狀況的即時可見性，幫助研發營運和參考實驗室在潛在維護問題真正出現之前就發現它們。換句話說，我們不僅消除了重複的手動工作，還創建了一份跨部門報告。這是一個每個人都依賴的單一事實來源，用於獲取準確的最新數據。
過去耗時的手動流程現已完全自動化。從資料產生到報告更新，工作流程中的每個步驟均可在活動結束後約 20 分鐘內完成。這種快速的周轉意味著團隊可以即時查看數據，從而更快地做出決策，並更主動地管理實驗和儀器健康狀況。
但該系統的價值不僅在於它的存在，更在於它改變了科學家與數據互動的方式。當他們不再追問這些數據是如何獲得的，而是開始思考這些數據意味著什麼時，證明我們提供了真正可行的價值。在多個領域，我們已經將耗時的手動流程轉變為自動化的即時工作流程。
在校準和控制現場監測中，一位科學家曾經需要從數百台儀器中收集數據。現在，全網路自動化資料收集功能可以即時查看系統運作狀況。對於市場數據存取和平台新產品開發，研發人員以前需要手動處理微孔板檢測數據。現在，自動化技術可以在讀取微孔板資料幾分鐘內提供可供分析的資料集，從而加快決策速度。
在開發新型儀器和耗材時，我們透過建立自動化攝取系統消除了預期的手動資料收集的需要，使團隊在運行後幾乎立即獲得結果。
最後，在製造業 SPC 數據中，重複的緩慢分析已被可透過 JMP Live 儀表板全天候存取的即時 SPC 圖表所取代，從而實現跨團隊更快的數據驅動決策。
這其中的關鍵點是什麼？我們將原始儀器資料從實驗室自動匯入到 AWS 和 Snowflake。這減少了延遲，並確保科學家從一開始就使用完整且準確的數據集。 Snowflake 提供了一個安全的平台來儲存和建立所有實驗數據。資料孤島或零散的電子表格已不復存在，只有可供團隊存取的乾淨查詢資料。借助 JMP 和 JMP Live，科學家可以創建可重複使用的儀表板和分析工具，並自動更新新數據，從而節省大量手動工作時間並支援持續監控。
儀表板會在實驗完成後更新，讓決策者能夠即時洞察實驗進度、結果和新興趨勢。無需再等待靜態報告。
研發營運、品質保證、製造和領導層之間可以輕鬆共享結果，有助於協調優先事項並加速產品開發。總而言之，該系統徹底改變了團隊存取、分析和處理數據的方式，將原始實驗結果轉化為及時、可操作的洞察，從而推動創新。
正如我們今天所見，從原始實驗數據到可操作洞察的整個過程並不一定緩慢或手動。透過結合 AWS、Snowflake 和 JMP Live，我們建立了一個可以自動擷取、建置和分析資料的系統，將曾經繁瑣的工作轉化為即時可靠的洞察。
我們已經展示了幾個關鍵的影響：更快地存取高品質資料、可擴展的集中式架構、可重複的自動化分析、即時決策支援以及推動協作的跨職能視覺性。衡量成功的真正標準在於使用者體驗。科學家不再問數據是如何獲得的，而是問它意味著什麼。
從流程問題到洞察問題的轉變，最終證明了這個系統的價值。展望未來，這種方法為持續創新奠定了基礎。團隊可以減少與數據打交道的時間，而將更多時間用於解決問題、做出決策並加速產品開發。
感謝您今天抽出時間，我希望這能讓您清楚地了解自動化可擴展分析如何改變一個組織。
