将Query Builder与大型CSV文件一起使用我今天正在和一位客户谈论查询构建器。 客户拥有大量(3GB +)CSV文件。 他们试图直接将它们加载到JMP中,但是他们看到了重大的性能损失。 他们想要导入数据的原因是将其中一个更合理大小的部分用于分析。 他们想知道Query Builder是否存在直接使用CSV文件的问题。
我建议使用DB Browser for SQLite将CSV转换为可由Query Builder查询的SQLite数据库非常容易。 我认为没有可能直接访问。 我想知道是否有人对此有任何策略或想法。
思考?
中号
Re:将Query Builder与大型CSV文件一起使用更新到此 - ActualTech发现了该错误并正在更新驱动程序以及一些Mojave支持相关问题。他们没有给我一个关于更新何时通过的eta。
中号Re:将Query Builder与大型CSV文件一起使用Welp - 事实证明,有一种方法可以直接在Query Builder中使用CSV。Microsoft(Windows)和ActualTech(MacOS)都制作了驱动程序,可以将CSV,TSV和XSLX文件作为数据源处理...... 这意味着可以通过ODBC从查询生成器查询它们。打开的选项非常令人兴奋......
对于Windows,您需要安装访问驱动程序集。我找到了一些在这里工作( https://www.microsoft.com/en-us/download/details.aspx?displaylang=en&id=13255 )。然后,这只是设置新数据源的问题。我使用我的Windows 7虚拟机验证了这与CSV的预期一致。
(编辑 - 更新的驱动程序集在这里: https://www.microsoft.com/en-us/download/details.aspx?id=54920 )
对于Mac,您使用ActualTech的Access Driver。这也很容易设置,但查询的行为方式存在一些问题。我很确定这是一个驱动程序问题,所以我对ActualTech有一个问题。我听到他们的回复后我会更新。连接和查询有效,但它似乎反复重复结果而不停止。(即对于300行csv,在终止查询之前结果可以多达1M行,结果是反复按顺序重复300行)。
所以 - Windows,你可能很高兴向客户展示这一点。Mac - 让我们紧紧抓住一秒钟。
中号
Re:将Query Builder与大型CSV文件一起使用可能不是 - 我完全忘了这一点...... 这是一个好点,虽然我认为他们真的希望能够直接在CSV文件上使用QB。也许与数据表QB相结合将是一个很好的解决方案。
中号Re:将Query Builder与大型CSV文件一起使用我指的是直接文本导入,BTW,而不是查询生成器。Re:将Query Builder与大型CSV文件一起使用他们确实将首选项设置为仅扫描列类型5秒,而不是扫描整个文件,对吗?
布赖恩
Re:将Query Builder与大型CSV文件一起使用它最终会读取它,但问题是JMP会在决定如何处理之前尝试读取整个文件。因此,这不是硬件问题,而是JMP如何处理平面文件的问题。
中号Re:将Query Builder与大型CSV文件一起使用你知道这只是PC吗?我找不到mac的任何信息。Re:将Query Builder与大型CSV文件一起使用这是我的第一个想法 - 但“预览数据”选项要求JMP在您获得预览之前解析整个文件... 这是缓慢的一步。它不会挂起,只需要永远在获得任何选项之前对文件进行初始读取。
中号Re:将Query Builder与大型CSV文件一起使用麦克风,
你知道安装了多少内存?
他们还有哪些其他应用程序?
通常,最小RAM =文件大小的2倍,或者在这种情况下,用于打开单个3GB文件的最小RAM,它们将需要至少6GB的RAM。
他们试图打开3GB的3GB文件?
什么时候用Excel直接打开每个CSV文件?我希望有时间在JMP中打开CSV文件进行比较。
斯坦
Re:将Query Builder与大型CSV文件一起使用如果安装了Office,则Microsoft提供了一个用于Text的ODBC驱动程序。 但是,我不相信它会对性能问题有所帮助。 它允许他们通过数据库查询生成器执行简单的Where子句,而不会将文本文件完全驻留在JMP中。
布赖恩
Re:将Query Builder与大型CSV文件一起使用在“带预览的数据”下打开文件时,可以创建CSV的子集。他们是否能够做到这一点或者在此操作期间机器是否挂起?