大数据时代已久你好,
我将 JMP 用于更大的数据集、1000 个变量和 500 个主题。 运行一个简单的拟合模型需要很长时间,例如几分钟。 我有一台很好的笔记本电脑,有 64G RAM、4G GPU 等等。 运行 JMP 时,使用率没有接近 30%,但 JMP 仍然需要很长时间才能完成任何操作。 我优先考虑 JMP Realtime。
有什么建议么?
最好的
卡米尔
高级统计建模数据探索和可视化回复:大数据已经存在很长时间了嗨卡米尔,
瓶颈是拟合模型>标准最小二乘法的实现。 即使单独拟合,它也试图将 1000 个模型结果放入一个报告中。 而这只是一切的开始。 我的猜测是,它以线性时间(一次一个)完成此操作,因此使用一个处理器/线程来生成报告。 但我只是猜测。
我不确定您是否可以指定如何通过 JMP 使用计算机资源(除了在某些平台对话框中基于每个平台关闭多线程之外)。 许多平台已经是多线程的(我认为响应筛选可能是其中之一)。 我不确定拟合模型>标准最小二乘法。 我还猜测报告生成是单线程的。 但我需要开发人员让我知道这种情况在幕后是如何运作的。 某些函数不能是多线程的,因此可能无法实现最大 CPU 容量利用率。 内存也类似。 您只需通过对大型数据集进行集群(双向分层集群中的 1000 个乘以 1000 个数据集)就可以消耗所有内存。 那主要是存储生成图形输出的信息。
我希望这能让您了解 JMP 在后台所做的事情。 如果可能的话,它会尝试使用可用于该功能/能力/平台的任何资源。
顺便说一句,我们正在继续增强 JMP Pro 以适应广泛的数据集,例如您的数据集。 “拟合模型”>“混合模型”是一个示例,其中我们有一个红色三角形选项来处理报告并仅显示表格。 这使得可以快速拟合数千个响应的混合模型,但不会提供基于图形的报告。
回复:大数据已经存在很长时间了嗨克里斯,
我有 JMP 17 Pro。 谢谢你的提示。 这使得事情变得更快。 不过,是否有一种方法/设置可以让 JMP 使用更多计算机容量? 试图了解什么是瓶颈。
最好的
卡米尔
回复:大数据已经存在很长时间了你好@卡米尔,
您使用什么版本的 JMP? 您尝试过拟合模型中的响应筛选人格吗? 如果您有 JMP Pro,那么这种个性就存在。 如果只有JMP,可以在Analyze>Screening>Response Screening下找到Response Screening(该方法一次只能测试一个模型效果)。 响应筛选是专门为此而设计的,而且速度非常快。
回复:大数据已经存在很长时间了嗨,P_Bartell 和大家,
感谢您的答复。 这是代谢组数据。 1000 个连续变量作为在 500 个受试者(行)中测量的列。 我试图运行的拟合模型只是基因型(仅 2 个分类组)与协变量效应的 t 检验。 因此,我的所有 Y 代谢物和我的基因型、BMI、性别和年龄都是模型效应。 分开装。
我试图理解为什么我的计算机在这些操作期间没有充分利用其能力。 我的 CPU 利用率为 30%,RAM 利用率可能为 10%。 这里的瓶颈是什么? 我可以设置 JMP 以使用更多计算机资源吗?
谢谢
卡米尔
回复:大数据已经存在很长时间了另外,它是数字数据还是字符串? 如果是字符串,有多少个变量包含字符串,字符串的本质是什么?
回复:大数据已经存在很长时间了添加一点@peng_liu的想法,如果您告诉我们更多有关您的数据的信息,例如“变量”的性质……它们都是 x 和/或有多少 y,这可能会帮助我们提供指导? 请区分/解释“变量”和“主题”。 在某些平台中,数据类型也会影响处理时间。 而“简单合身模型”并不能告诉我们您实际上选择了哪种性格。 有些可能比其他的需要更长的时间。 每个平台对话框都需要一个模型。 您能告诉我们您的模型结构是什么吗? 最后,更多关于您的建模目标? 对于“...1000 个变量...”,如果您的建模目标是变量识别,那么如果适合模型及其中的任何个性,我可能会考虑的最后一个平台。
回复:大数据已经存在很长时间了当你说30%使用率时,是CPU吗? 我猜你不是在谈论内存大小。 我认为您正在谈论特定的建模类型,对于数据的大小(或复杂性),性能很慢。 例如,最小二乘法不应该出现这样的问题,但其他方法可能会出现这样的问题。
回复:大数据已经存在很长时间了如果您在脚本中执行此操作,请确保在私有模式下打开数据表以节省内存寻址时间。
关闭所有其他应用程序,以便有尽可能多的可用内存并消除交换。