FDE 可以处理的数据量是否有限制?大家好,
我有一个客户问我 FDE 可以扩大到什么程度。
本质上,他们有一组来自一些基因组学工作的曲线数据,其中有大约 8 个点的曲线数据。 20,000 个基因。 他们想做的是使用 FDE 对这些数据进行建模和筛选,但想知道 FDE 可以处理的数据范围是否存在限制(潜在的计算时间除外)?
我从这次讨论中得出的假设:已解决: FDE:我们有关于性能的数据吗? - JMP 用户社区是这应该是可以实现的,尽管这是一个漫长的过程,但我想我会与大家联系以帮助确认或否认这一点。
谢谢,
斯图尔特
回复:FDE 可以处理的数据量有限制吗?嘿,斯图尔特!
特尔;博士:
在这种情况下,用阳极键合和关于 JMP 的标准“内存限制”声明可能适用于它们。
肥皂盒版本:
您可以查看示例数据中的阳极键合数据集,以证明我们可以处理这种规模的问题。 它有 122000 条记录,每个函数有 61 个数据点,有 2000 个函数。 这是一个半导体数据集,但它的样本大小在同一个球场。 而且,它运行得非常快。
此外,您的案例与阳极键合情况相比具有一些优势:您无法真正获得每条迹线具有 8 个数据点的复杂形状,因此您不会有很多 FPC。 结的数量也很少(类似于阳极键合数据)。 这也应该可以很容易地处理更大的数据集。
在 Martin 和我正在讨论(您链接到它)的示例中,轨迹可能在采集过程中被过采样。 (这种情况经常发生。)在这种情况下我们可以使用的另一种策略是对数据进行下采样(即使用移动平均线或其他方法)。 但同样 - 这种类型的数据不是问题。
最好的事物,
米
回复:FDE 可以处理的数据量有限制吗?谢谢迈克,这是完美的