大家好，我叫 Christopher Pillsbury，很高兴今天能和大家见面。我将分享我们如何通过整合 AWS、Snowflake 和 JMP，构建一个框架，帮助研发团队将想法转化为切实可行的洞察。
在本讲座中，我们将讲解如何实时收集和分析实验数据，以及这种架构如何帮助科学家做出更快、更自信的决策。无论您在研发、数据科学还是运营领域担任何种角色，我的目标都是向您展示从原始数据到洞察的整个过程，以及可扩展分析如何重塑团队的创新和协作方式。
今天的议程，我将首先带您了解 JMP Live 实例实施过程中的关键里程碑，探索从原始实验到可行决策的数据旅程，并讨论扩展数据生成的影响。我将概述 IDEXX 数据解决方案的架构流程，展示数据采集、数据组织和分析如何协同工作，赋能研发用户。我们将查看仪表板和报告的具体示例，以及它们对决策和效率的可衡量影响。
最后，我将总结一下在研发部门构建可扩展实时分析系统过程中的要点和经验教训。首先，请允许我花点时间向大家介绍一下我的职责。
数据解决方案架构师并非单一角色，而是融合多种学科，共同致力于使数据可用、可信且富有影响力。这包括治理和安全，确保合规性、隐私和访问控制，从而保持数据的可信和安全。数据工程师，确保数据流向所需，构建管道、集成和转换，使原始数据可用。
DevOps，负责处理基础设施、云平台、自动化，并确保一切安全可靠且具有弹性。数据架构，负责设计模型、定义结构，确保基础架构可扩展。数据分析师，负责将数据转化为洞察、仪表板、可视化和故事，从而驱动决策。业务分析师，负责将技术层面与业务问题联系起来，收集需求，理解背景，并确保我们解决正确的问题。
最后，数据库管理员，专注于性能、调优、可靠性以及当今世界的成本。这些视角共同构成了数据解决方案架构师的角色。我的工作是兼顾各个方面，将它们整合在一起，并提供解决方案，连接人员和团队，创建数据管道，直至获得业务洞察。
现在您已经对我以及我的职责有所了解，接下来我们来聊聊我们迄今为止的 JMP Live 之旅。正如任何优秀的项目都应该做的那样，我们首先与企业 IT 部门沟通，规划了云优先的部署路径以及实现该目标的步骤。他们的指导帮助我们设置了 Azure 服务器和必要的服务帐户，为自动化构建了安全的基础。
2024年7月31日，Alex帮助我安装并启动了JMP Live。仅仅一周多之后，也就是8月9日，我们基于Snowflake视图发布了第一份完全自动化的报告。在试点的第一年，我们通过负载测试，突破了JMP Live实例的极限，对700万条记录和超过20列的自动化SPC图表进行了负载测试，每5分钟刷新一次。我们推出了仪表板来支持不同的业务需求，并确保该架构能够扩展，同时为每天依赖它的团队提供实时洞察。
从理论上讲，我们的实施过程非常简单。然而，从想法到决策，再到数据，整个过程却并非如此。任何接触过实验、数据和报告的人都知道，这其中隐藏着许多步骤。因此，在深入探讨可扩展性和系统之前，我想先让我们了解一下我们共同的流程。无论您从事研发、数据科学还是运营工作，从想法到可行决策的路径都遵循着类似的模式。
洞察之路是一个简单却有力的描述，它描述了我们如何从好奇心走向决策。一切都始于一个问题或一个假设。也许你是一名研发人员，正在测试一个新产品概念，又或许你正在挖掘和分析一个庞大的数据集。在某个时刻，你萌生了一个值得测试的想法。从此，你开始进行实验、批量生产，甚至开发代码。
这是实际工作开始成形的地方。仪器输出的数据、手动数据记录或代码生成的数据集都会被存储，有时存储在本地，有时存储在云端，但在这个阶段，这些数据仍然是原始数据。接下来是关键部分：构建、清理和分析数据。在这里，我们应用统计方法，检验我们的假设，并开始揭示结果中隐藏的模式。
最后，交流见解。这可能意味着分享演示文稿、在电子实验记录本 (ELN) 中记录结果，或分享重要的发展里程碑。这些见解通常会引发下一轮问题，从而重新开启新的循环。
从宏观层面来看，你已经完成了工作。你进行了实验，收集了数据，整理了数据，进行了分析，恭喜你，你获得了洞见。现在，你自然想分享你的发现。下一步是什么？你拿出你信赖的PowerPoint，复制图表，或许添加一两个文本框，然后在会议上进行演示。那一刻，你已经实现了目标。你已经生成了支持决策的数据。
但我们应该思考一个问题：成本是多少？你花了多少时间整理数据？其中涉及多少手动步骤？当数据发生变化时，你需要多少次重新导出、重新格式化或更新？这就是我所说的洞察力的隐性税。从原始数据到决策的开销。
因为实际上，您生成的数据并不会整齐地流入 JMP 或任何其他系统。大多数情况下，这些数据都是原始的、碎片化的且不一致的。这意味着您或您的团队最终需要花费数小时手动查找、清理、构建和处理这些数据，然后才能开始分析。
当你最终得到一个可用的表格后，接下来会发生什么？也许你需要添加一些计算。也许你需要构建一些派生列。JMP 非常适合这些。但有时人们会选择 Excel，因为它感觉更方便。这需要投入大量的时间，尤其是在从头开始构建分析的情况下，即使对于具有相同输出结果的实验也是如此。
但陷阱就在这里。即使流程标准化，一切都是静态的，僵化在原地。你完成了工作，但下一个实验却不得不从头再来。这就是负担。洞察一旦获得，却需要大量的手动工作，而且很难轻松刷新或重复使用。
当你试图发展时会发生什么？这样想吧。我们并不指望数据工程师为了管理数据而理解科学。同样，我们也不指望科学家为了管理科学而成为数据工程师。他们的专长在于实验、发现和解读。而这正是他们时间最宝贵的地方。他们花在清理电子表格或处理格式上的时间越多，用于实际科学研究的时间就越少。可扩展性指的是系统在增长过程中不会因更多人员、更多数据或更高复杂性而崩溃。
让我们以洞察力为路径，将其应用于生成数据的团队。当你将更多人纳入流程时，就会带来一个全新的挑战——差异。不同的人拥有不同的数据处理技能水平、不同的习惯，以及不同的格式化或构建结果的方式。你越接近原始数据，差异就越大。
不止于此。这种差异贯穿于分析和报告的始终。结果，数据共享变得不那么简单，分析结果也并不总是一致。至于演示？嗯，它们可能会变成一场冒险：“那个图表是什么意思？”“哦，那个？我就是喜欢某某的格式，所以我抄袭了他们的风格。”
会发生什么？团队花费了大量不为人知的时间，仅仅是为了调整存储位置、定义列、清理数据、格式化数据以及确保数据的连续性。随着数据量的增加，这些隐藏的工作量也会成倍增加。如果单个团队的情况如此，想象一下整个部门的情况会如何。
你有无数个团队在生成数据，每个团队都有各自的方法。突然之间，他们就花费了无数的时间处理这些数据，试图将其整理成条。但更大的问题仍然是差异。不同的解读、不同的分析、不同的数学运算、不同的输出格式。所有这些差异都会降低效率。
那么规模化之后呢？这不仅会拖慢单个项目的进度，还会阻碍整体进度。这才是真正的组织负担。当每个团队都在重复做事时，洞察力就会变得不一致，协调需要更长时间，最终失去动力。挑战和机遇在于构建一个系统，让每个团队专注于自己最擅长的领域，同时又能无缝协作。
在爱德士，我们认识到了这一挑战，并致力于重建员工与数据之间的关系。我们重塑了系统、团队和流程，以便员工能够专注于数据应用，而不是与数据较劲。这意味着要清晰地定义工作内容，构建实用的自动化流程，并创建无代码或低代码访问我们自主构建的大数据系统。因为成为数据驱动型组织不仅仅关乎技术，更在于理解痛点和浪费的真正所在，在于了解哪些方面可以切实地传授给员工，以及哪些方面可以通过技术更好地解决。
通过将我们员工的优势与合适的工具（AWS、Snowflake 和 JMP）的优势相结合，我们正在消除洞察力的障碍，并使团队能够以一致和自信的方式更快地行动。
关键在于：在当今的研发领域，可扩展的系统已不再是可有可无的。科学发展的速度比以往任何时候都快。我们生成的数据量也只增不减。如果我们的系统无法扩展，就无法跟上步伐。最终，我们会陷入瓶颈、不一致，并浪费大量精力。可扩展性使我们能够快速将科学转化为解决方案。它决定了我们无需花费数周时间处理数据，就能实时做出决策。正因如此，重新思考我们处理数据的方式至关重要。因为速度、一致性以及对我们洞察的信任，直接转化为研发的进步。
接下来的几分钟，我们将深入探讨数据解决方案架构流程的高层细节，该流程主要围绕两大类构建。第一类是数据路由和提取，用于收集、迁移和管理原始数据。第二类是数据湖库和分析，用于构建我们的数据和分析架构。
在我们的研发环境中，数据可能来自多个来源。其中一些数据由科学家手动收集，而其他数据则由仪器和机器在实验过程中自动生成。一旦数据存在，我们的云迁移服务就会介入。它会持续监视指定目录中是否有新文件，并在检测到新文件时自动将数据迁移到 AWS 存储中。这确保所有传入数据都被集中捕获到安全的位置，以便进行下游处理和分析。
数据迁移到 AWS 后，便进入数据架构层。在这里，所有文件都将被安全地收集和存储，从而为我们提供可扩展且可靠的原始数据存储。之后，数据将通过 SNS 通知和 Snowpipes 被提取到 Snowflake 中，从而实现从 AWS 到我们数据平台的实时移动。
在 Snowflake 中，自动化的 ETL 流程可以清理、规范化原始数据并将其转换为标准化模型，以便进行分析。我们还利用 Snowflake 的视图和动态表等高级功能，使分析师和科学家能够无缝查询和组合多个数据源，为 JMP Live 中的下游分析提供一致且高效的基础。
最后，我们到达分析架构层。在这里，Snowflake 的标准化数据模型被转换为可操作的数据视图，旨在支持特定的业务和科学用例。我们根据不同利益相关者及其分析工作流程的需求，提供精心策划的访问点，以便用户能够专注于洞察，而不是数据纠缠。
本质上，这一层弥合了原始数据与决策之间的差距，将数据结构与报告、可视化和整体业务目标相结合。这一步骤将结构化数据转化为 JMP Live 中有意义的实时洞察。
从高层次来看，一切都始于数据生成和数据包的创建。一旦数据到位，我们的云迁移服务就会持续监控相关目录，并将新文件迁移到 AWS 存储。接下来，数据架构层接管工作。从这里开始，数据通过 SNS 通知和 Snowpipe 从 AWS 传输到 Snowflake。
在分析架构层，我们将原始数据转换为标准化模型，然后转换为支持特定科学用例的可操作数据视图。
最后，将报告和数据发布到 JMP Live 可以实现自助服务自动化。简而言之，从数据生成到架构再到分析，这一流程将原始实验数据转化为驱动决策的洞察。
现在我想暂停一下。我们看到的所有架构图和流程图都很重要。它们表明系统有效运行。它们本身并不能真正证明价值。真正的价值在于，当使用系统的人，也就是我们的科学家，能够立即获得他们做出决策所需的洞察时，它才会发挥作用。
当一位科学家说：“这正是我需要的”时，这个系统就产生了真正的影响。这正是我们接下来要探讨的内容。切实的用例和可衡量的影响，将展示该架构如何转化为研发成果。
为了做好准备，我们有一个微孔板读数仪，它会生成一个包含两种变体的日志文件，如您在此处所见。在校准和控制运行期间，仪器会生成这些日志文件。它们包含重要的校准和控制结果，直接嵌入在文件中的表格中。
MPD团队对这些数据非常感兴趣，并创建了一个报告流程，根据运行结果跟踪设备健康状况。与大多数情况一样，他们不仅从研发实验室收集数据，还开始从现场获取数据。问题就在这里：所有这些都是手动完成的。最初只是出于好奇，最终变成了一个重复且耗时的过程。
每个月，团队都要收集数百个日志文件，手动将数据复制粘贴到垃圾表中，然后生成报告。这需要耗费大量的精力，而且需要月复一月地重复。这恰恰是高价值任务被手动操作拖累的典型例子。
我们与该团队紧密合作，构建了DSA数据管道，以实现整个流程的自动化。我们不再手动收集文件，而是在文件创建后立即以编程方式捕获，并将其分发到AWS存储中。数据进入Snowflake后，会经过进一步的处理、清理和标准化。之后，我们创建了视图，作为JMP Live报告的访问点，如下图所示。最终，我们创建了一个井然有序的集中式表格，将曾经杂乱无章的手工数据转化为结构化、可靠的资源，供科学家即时分析和决策。
现在，每当新的校准或控制运行完成时，JMP Live 中的报告都会自动更新。仪器按 ID 和位置分组，每个校准或控制事件都按日期清晰追踪。这提供了系统健康状况的实时可见性，帮助研发运营和参考实验室在潜在维护问题真正出现之前就发现它们。换句话说，我们不仅消除了重复的手动工作，还创建了一份跨部门报告。这是一个每个人都依赖的单一事实来源，用于获取准确的最新数据。
过去耗时的手动流程现已完全自动化。从数据生成到报告更新，工作流程中的每个步骤均可在活动结束后约 20 分钟内完成。这种快速的周转意味着团队可以实时查看数据，从而更快地做出决策，并更主动地管理实验和仪器健康状况。
但该系统的价值不仅仅在于它的存在，更在于它改变了科学家与数据交互的方式。当他们不再追问这些数据是如何获得的，而是开始思考这些数据意味着什么时，这证明我们提供了真正可行的价值。在多个领域，我们已经将耗时的手动流程转变为自动化的实时工作流程。
在校准和控制现场监测中，一位科学家曾经需要从数百台仪器中收集数据。现在，全网络自动化数据收集功能可以实时查看系统运行状况。对于市场数据访问和平台新产品开发，研发人员以前需要手动处理微孔板检测数据。现在，自动化技术可以在读取微孔板数据几分钟内提供可供分析的数据集，从而加快决策速度。
在开发新型仪器和耗材时，我们通过建立自动化摄取系统消除了预期的手动数据收集的需要，使团队能够在运行后几乎立即获得结果。
最后，在制造业 SPC 数据中，重复的缓慢分析已被可通过 JMP Live 仪表板全天候访问的实时 SPC 图表所取代，从而实现跨团队更快的数据驱动决策。
这其中的关键点是什么？我们将原始仪器数据从实验室自动导入到 AWS 和 Snowflake。这减少了延迟，并确保科学家从一开始就使用完整准确的数据集。Snowflake 提供了一个安全的平台来存储和构建所有实验数据。数据孤岛或零散的电子表格已不复存在，只有可供团队访问的干净查询数据。借助 JMP 和 JMP Live，科学家可以创建可重复使用的仪表板和分析工具，并自动更新新数据，从而节省大量手动工作时间并支持持续监控。
仪表板会在实验完成后更新，让决策者能够实时洞察实验进度、结果和新兴趋势。无需再等待静态报告。
研发运营、质量保证、制造和领导层之间可以轻松共享结果，从而有助于协调优先事项并加速产品开发。总而言之，该系统彻底改变了团队访问、分析和处理数据的方式，将原始实验结果转化为及时、可操作的洞察，从而推动创新。
正如我们今天所见，从原始实验数据到可操作洞察的整个过程并不一定缓慢或手动。通过结合 AWS、Snowflake 和 JMP Live，我们构建了一个可以自动捕获、构建和分析数据的系统，将曾经繁琐的工作转化为实时可靠的洞察。
我们已经展示了几个关键的影响：更快地访问高质量数据、可扩展的集中式架构、可重复的自动化分析、实时决策支持以及推动协作的跨职能可视性。衡量成功的真正标准在于用户体验。科学家不再问数据是如何获得的，而是问它意味着什么。
从流程问题到洞察问题的转变，最终证明了该系统的价值。展望未来，这种方法为持续创新奠定了基础。团队可以减少与数据打交道的时间，而将更多时间用于解决问题、做出决策并加速产品开发。
感谢您今天抽出时间，我希望这能让您清楚地了解自动化可扩展分析如何改变一个组织。
