我们四年前开始使用JMP。当时我们厌倦了Excel的臃肿,而JMP的拖放功能和易学性让我们非常满意。然而,从那时起,我们已经取得了长足的进步,目前我们使用JMP进行统计分析,更重要的是,还将其用于自动化流程和产品质量控制。
这项荟萃分析只是我们使用 JMP 节省时间和精力的一个例子。我们从客户农场收到关于我们产品对仔猪存活率/死亡率影响的实验数据。这项荟萃分析最初始于五年前,当时需要耗费三到五周的时间,并且需要大量使用 Excel。随着时间的推移,它逐渐演变成一个主要依靠 JMP 自动化的流程,只需一周甚至更短的时间即可完成。节省下来的时间意味着我们有更多时间投入到“增值”流程步骤中,例如向客户展示数据和撰写会议摘要。这也意味着我们可以花更多时间从数据中挖掘有价值的信息,从而每次展示时都能提出“新的观点”。JMP 让我们真正体会到了流程图的重要性,以及自动化对我们看待数据方式的影响。
大家好,我叫Stefan Buzoiano,是Tonisity International的高级科学家。今天我们将探讨我们从Excel到JMP自动化的转型历程。我的邮箱地址就在屏幕上,如果您有任何问题或建议,欢迎随时联系我。
简单介绍一下背景:Tonisity PX 是一种等渗蛋白饮料,用于给新生仔猪补充水分,并为它们的肠道细胞提供关键营养。因此,仔猪的存活率更高,生长速度更快,也更健康。您可以将 Tonisity PX 理解为肠道的“能量库”,因为它提供关键营养物质来支持细胞代谢,增强细胞连接,防止仔猪出现肠漏,支持免疫系统和肠道菌群。其主要效果是提高仔猪的存活率或降低出生前死亡率。接下来几张幻灯片我们将详细讨论这一点。
我们一路走来了解到,我们的客户越来越重视数据,而仅仅展示一到五个试验结果所能达到的效果是有限的,因为人们会问你结果的可重复性,会问你统计分析,会问你趋势。
因此,通过汇总数据,我们的宣传和传播方式会更有影响力。通过展示来自 10 次、20 次、50 次、90 次甚至 100 次试验的结果,我们的客户开始关注,我们也能进行更有意义的讨论,并为我们的产品或市场准入创造更多价值。所以,数据越多越好。这就是汇总数据的力量。
为了实现这一目标或提升我们的数据处理能力,我们每年都会进行一次死亡率荟萃分析。迄今为止,我们已经进行了六次。我们从2018年开始,当时纳入了约29项试验和33,000头猪。截至本月,我们的数据库中已有91项试验,涉及185,000头猪。因此,这项数据分析已经进行了六次,而我们目前的分析是在前一次的基础上进行的。
从时间分配和分析工作来看,我们发现2018年我们在Excel中做了大量的数据处理或数据准备工作。红色部分代表Excel数据准备,橙色部分代表SAS和JMP之间的分析,蓝色部分代表结果发布,也就是增值环节。我们的高管、董事会和客户更关注结果发布,而不是数据处理本身,这可能与你的预期有所不同。
我们一开始就大量使用Excel。我们花了八天时间才真正弄明白数据库,处理各种公式,还要不停地复制粘贴。期间也出现了不少人为错误。2019年的数据并没有增加多少,但我们仍然没有进行大量的传播工作。
我们在2020年引进了JMP。我们对数据库进行了全面升级,从2021年开始,我们大幅增加了信息传播工作量,数据处理量也大幅下降。由此可见,我们当时已经开始重视信息传播方面的增值环节。
这是另一种看待这个问题的方式,即按流程步骤进行划分。例如,Excel 数据准备、分析和分发。我们可以看到,我们花在 Excel 上的时间大幅减少。从 8 天减少到 0.1 天,这意义重大,也极大地提升了我们的流程效率。数据处理更少,错误更少,花费的时间也更少。
分析步骤:中间部分我们保持不变,但我们已经从 SAS 密集型流程转变为 JMP 密集型流程,这样做的好处是,我们将很多东西都放在一个地方。
但重点在于,我们把原本半天的时间用于信息传播的工作量缩短到了四天左右。这极大地提升了日常工作的价值。例如,我们今年提交了两篇摘要。过去几年,我们进行了一些自动化流程,并新增了一些分析。因此,节省下来的时间,让我们无需再在 Excel 中来回处理数据,这些时间被充分利用到摘要提交、信息传播、面向客户的网络研讨会以及与学术界的交流中。
这就是我们的数据分析流程,可以说是非常繁琐了。大量的表格、大量的交互、大量的汇总、合并等等。关键在于,很多繁重的工作都是在 JMP 中完成的。Excel 的使用很少,SAS 也用得不多,但大部分工作还是在 JMP 中完成的。
这就是后台的处理流程。我们首先将数据集或数据库从 Excel 导入 JMP,然后通过 SAS 处理,再将数据重新导入 JMP,最终生成主表,这是我们所有分析的基础。所有其他数据都基于此主表进行识别和处理。例如,我们有一个按五个地理区域、两种给药方案和四种遗传因素划分的总体死亡率荟萃分析。该数据表的大约 13 个组成部分都已实现自动化,并在后台由 JMP 无缝合并。
我们有一些常规图表,它们会随着迭代而变化。代码已经编写完毕,JMP 会帮我们完成繁重的计算工作。我们只需要运行脚本即可。正如我所说,节省下来的时间让我们能够专注于数据解读和成果传播。现在,我们可以深入分析数据集中的关键点,了解我们的产品何时运行良好,何时出现意外情况并产生意想不到的结果。这使我们能够与客户一起排查问题,确保他们在使用我们的产品时能够获得价值。
这就是我们基本上在后台进行的操作。这里有一系列枯燥的步骤。我们查看 Excel 数据,将其导入 JMP,进行一些初始解析(我们稍后会详细讲解并进行演示)。然后我们将其发送到 SAS 进行分析,分析结果输出到 Excel,我们再将其导入 JMP,进行大量的合并工作,包括死亡率平均值、P 值和其他汇总数据,最后绘制一些图表并进行一些 PowerPoint 演示。
正如我所说,由于 JMP 在后台为我们处理了大量的公式、连接等工作,我们能够查看数据,进行传播、摘要、网络研讨会和客户培训课程等等。
我们进入演示环节,此时每个 JMP 用户都会默默祈祷代码能够顺利运行。让我们来看看。这是我的 JMP 项目。没什么特别的,代码行数很多。我最喜欢 JMP 的一点是它提供了代码折叠功能,我可以折叠整段代码。我正在将所有内容加载到内存中,并进行协调,然后从右侧面板运行这些代码段。接下来,我们将导入表格并开始使用它们。
接下来我们需要连接到 SAS。它会在后台运行一些代码。我们将表格导出到 SAS 进行处理。SAS 返回了一些格式相当混乱的表格。总共有七个表格,包含了所有的 P 值、各种估计值等等,这些都需要合并并转换成我们主表格的格式。JMP 可以帮我们完成这项工作,没问题。这就是我们的主表格。就是这样。
这样一来,左侧就剩下一堆我们用不上的表格了。当然,我们会清理并关闭它们。抱歉,我们做得不够好。问题是,现在还剩下一些表格,我得从之前的版本里找找相关的图表代码。
我们正在做这件事。您可以看到这里的代码和脚本,我可以随意修改。这些是我的标准图表,我可以根据需要进行调整。这里还有另一个。太好了。这只是其中一个图表的示例。X 轴代表对照组的死亡率,Y 轴代表 PX 治疗组的死亡率,旁边还有这些小标记。它让我能够了解欧洲的试验情况,每个点都代表我们数据库中的一项试验。这里有很多美国试验,死亡率非常高。亚洲的试验通常死亡率较低,位于图表底部。
这样一来,我就可以更灵活地查看数据,了解数据背后的含义,而无需像以前那样费劲地从 SAS 通过 Excel 导入数据,然后在 Excel 中绘制图表。这为我们节省了大量时间。
完美。关于这一点,我总结几点。JMP 意味着我们减少了数据处理工作,所以 JMP 的许可费用完全可以收回成本。人为错误也减少了。JMP 软件承担了所有繁重的工作,包括公式计算、数据连接、表格合并等等,你能想到的所有操作它都能搞定。这些都在后台运行,所以完全不会出现人为错误。我在编写代码的时候就已经把这些都处理好了。节省下来的时间让我们能够专注于真正有价值的工作,比如分析数据、撰写摘要、举办网络研讨会、与客户沟通等等。这样一来,我们就能更有效地利用时间,创造更多价值。
它让我们能够进行大量的故障排除,并以各种方式解读数据,还能对数据本身进行各种不同的分析。另外,还有一点很重要,我们是从2020年开始做这一切的,而且之前没有任何JMP脚本编写经验。如果我能做到,你们也一定能做到。非常感谢。我的邮箱地址在屏幕上。如果您有任何问题或建议,欢迎随时联系我。