<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />JMP可以在數據表上處理大約是機器上物理內存總量的一半。因此,16GB機器可以處理8GB數據表的數據表,8GB機器可以處理4GB數據表。
本指南意味著JMP應該能夠打開這種大小的數據表,並對其進行簡單和基本的分析。有許多分析,表格操作和模型構建平台可能需要大量內存,具體取決於選項和使用的特定數據。我們不能保證可以使用這種大小的數據表執行每個分析或操作。
對數據表大小的最佳估計是磁盤上的(未壓縮)大小。文本(例如.csv,.txt)格式的數據大小也是合理的替代。
我們無法提供有關JMP可以處理多少行或列的指導,因為它高度依賴於兩者的組合以及存儲的數據類型。
JMP數據表有兩種不同形式的“壓縮”。
壓縮選定的列
a)選擇要受影響的列
b)Cols - >壓縮選定的列
這個選項:
•如果列具有少於255個不同的值,則將列表檢查(默認順序)添加到字符列。
•如果可以存儲列中的所有值,則將數字列更改為最小的1字節,2字節或4字節整數。僅檢查整數值列。
•對於1字節整數,可以存儲的數字範圍是-126到127。
•對於2字節整數,可以存儲的數字範圍是-32,766到32,767。
•對於4字節整數,可以存儲的數字範圍是-2,147,483,646到2,147,483,647。
•如果列已經進行了列表檢查,則不會更改列。
此選項會影響在內存中保存數據表所需的內存量,因此可以允許JMP使用更多數據。
壓縮表
a)從數據表上的紅色三角形菜單中設置選項“保存時壓縮文件”。
此選項使用gz壓縮使文件僅在磁盤上更小。數據以未壓縮的形式存儲在內存中。
傑夫珀金森
JMP客戶服務經理
SAS Institute Inc.
SAS Campus Drive•卡里,北卡羅來納州27513•美國
電話:919-531-6521
電子郵件: Jeff.Perkinson@jmp.com <至mailto: Jeff.Perkinson@jmp.com >
分享。問。學習。連接。- community.jmp.com < https://community.jmp.com >
在JMP用戶社區中與我聯繫< https://community.jmp.com/people/jeff.perkinson >。
2016年7月17日上午8:12,Chuck Boiler < Chuck.Boiler@jmp.com <至mailto: Chuck.Boiler@jmp.com >>寫道:
傑夫,你好。我想知道你的小組是否已經在這方面製作了文件?我希望本週見到你,如果你有權訪問這類內容,我們可以談談嗎?週末的祝福在你身上。 。查
從我的iPhone發送,有時用語音到文本。請原諒錯誤。
開始轉發的消息:
來自:Chuck Boiler < Chuck.Boiler@jmp.com <至mailto: Chuck.Boiler@jmp.com >>
日期:2016年7月17日太平洋夏令時間上午5:08:55
致:Laura Higgins < Laura.Higgins@jmp.com <至mailto: Laura.Higgins@jmp.com >>
抄送:路易斯瓦倫特< Louis.Valente@jmp.com <至mailto: Louis.Valente@jmp.com >>
主題:Re:假設MacBook Pro規格最大化,JMP將處理(高效)的最大數據集大小是多少?
謝謝勞拉。我敢打賭,我們可以在Cary找到有關此主題數據的人。我們這週談談吧。安全旅行。查
從我的iPhone發送,有時用語音到文本。請原諒錯誤。
2016年7月16日下午12:03,Laura Higgins < Laura.Higgins@jmp.com <至mailto: Laura.Higgins@jmp.com >>寫道:
我需要幫助。我們需要為XXXXX管理生成一份文檔。 我下周可以解釋一下。我只想把它放在雷達上。也許你們其中一個人已經做過這樣的事情?
Laura.Higgins@JMP.com <至mailto: Laura.Higgins@jmp.com >移動時
開始轉發的消息:
從:
日期:2016年7月15日太平洋夏令時間下午6:39:23
致:Laura Higgins < Laura.Higgins@jmp.com <至mailto: Laura.Higgins@jmp.com >>
主題:Re:假設MacBook Pro規格最大化,JMP將處理(高效)的最大數據集大小是多少?
感謝Laura,我剛剛來到中國 - 所以在幾週左右的時間裡我會再次與你聯繫。
我們領導層的首要問題基本上是:“由於數據的大小,JMP何時會中斷?”以及“我們可以做些什麼來最大化JMP分析的有效性,即壓縮等”。
我會和你在一起,所以我們(我或其他人)可以製作參考文件,除非你已經有這樣的文件/文件。推動團隊。
2016年7月16日上午5:55,Laura Higgins < Laura.Higgins@jmp.com <至mailto: Laura.Higgins@jmp.com >>寫道:
你好,約翰-
對於行數或列數,JMP數據表沒有體系結構限制。
回答你的問題有點難,因為它取決於列中的內容,以及你正在進行的JMP操作。
數字佔用的空間少於字符數據,您可以壓縮列(刪除未使用的位),也可以使用壓縮數據表。這大大減少了JMP文件的大小。
許多操作都是多線程的,以利用多個內核。減慢JMP速度的一件事是重型視覺圖形,有大量的列和/或點。
我只是組成一個包含1,000,000行和3600列的數據表
1)未壓縮的數字= 29.13 GB;
2)壓縮列= 3.5 GB
因此壓縮色譜柱可節省近10倍的空間!
1運行16 GM內存,最初創建/保存JMP表是SLOW。使用壓縮列,它就像較小的數據表一樣!
另外,從文檔中。帶回家 - >壓縮色譜柱加速分析;壓縮數據表不會加快分析速度。
保存時壓縮文件
保存時壓縮數據表。保存數據表後,表格面板中數據表名稱旁會顯示壓縮文件圖標。請參見壓縮表< http://www.jmp.com/support/help/Edit_Data_Tables.shtml#626887 >輸入並編輯數據< http://www.jmp.com/support/help/Edit_Data_Tables.shtml#626887 >。
提示:您還可以通過選擇“首選項”>“常規”>“保存數據表列GZ壓縮”來配置JMP以在保存表時始終使用GZ壓縮。
注意:“保存時壓縮文件”選項僅減小文件大小。此命令不會影響分析數據所需的內存。要減少分析所需的文件大小和內存,請使用Cols> Utilities> Compress Selected Columns。請參閱壓縮選定的列< http://www.jmp.com/support/help/Restructure_Data.shtml#769643 >輸入並編輯數據< http://www.jmp.com/support/help/Restructure_Data.shtml#769643 >。
字符數據更難預測,因為它取決於列中的內容。當您壓縮字符數據時,它會將其轉換為清單(有效地將輸入選項限制為現有的選項集 - 除非您修改原始數據,否則這不是什麼大問題)。
不是一個明確的答案,但希望這個信息有幫助!
乾杯!
勞拉
Laura A. Higgins,博士
JMP Sr. 系統工程師
650.454.0633 | Laura.Higgins@jmp.com <至mailto: Laura.Higgins@jmp.com > | #LauraHigginsPhD | www.jmp.com < http://www.jmp.com/ > | SAS Institute Inc. |舊金山
我一直在搞亂這個挑戰的Kaggle數據: https://www.kaggle.com/c/bosch-production-line-performance
有三個表,兩個有大約1000列,一個有大約2000個,所有三個都是1.18MM行,並且有很多缺少的數據。(3個培訓表和3個測試表)。
在mac上使用16 gb的ram,我能夠打開文件,使用壓縮列,然後非常小心地將表連接在一起。考慮按行或列拆分錶以執行某些步驟。
整個4K +列文件和所有行都適合內存,方便。文件加載緩慢,並保存緩慢。當我添加公式來對數據進行評分時,樹模型列可能需要一分鐘才能完全評估。使用大文件很繁瑣。儘早保存,以便當JMP突然想要64 GB的內存並停止運行時,你將其轉儲並重新開始。
我認為可以逐字分享:
JMP can handle at data table about half as big as the total amount of physical memory on the machine. So, a 16GB machine can handle a data table can 8GB data table and an 8 GB machine can deal with a 4GB data table.This guideline means that JMP should be able open a data table of this size and do simple and basic analyses on it. There are many analyses, table manipulations and model building platforms that can require significant amounts of memory, depending on the options and the specific data being used. We can’t promise that every analysis or operation can be performed with data tables of this size.The best estimate of the size of a data table is its (uncompressed) size on disk. The size of the data in text (e.g. .csv, .txt) format is a reasonable surrogate also.We can’t provide guidance on how many rows or columns JMP can handle since it’s highly dependent on the combination of the two and the types of data stored.There are a two different forms of “compression” for JMP data tables.Compress Selected Columnsa) Select the columns to be affectedb) Cols -> Compress Selected ColumnsThis option:• adds a List Check (default order) to character column if the column has less than 255 distinct values.• changes numeric columns to the smallest 1-byte, 2-byte, or 4-byte integer if all values in the column can be stored. Only integer values columns are checked.• For 1-byte integer, the range of numbers that you can store is from -126 to 127.• For 2-byte integer, the range of numbers that you can store is from -32,766 to 32,767.• For 4-byte integer, the range of numbers that you can store is from -2,147,483,646 to 2,147,483,647.• It will not change the columns if they have list check already.This option affects the amount of memory required to hold a data table in memory and, therefore, can allow JMP to work with more data.Compress Tablesa) Set option, “Compress File when Saved”, from red triangle menu on data table.This option uses gz compression to make the file smaller on disk only. The data is stored uncompressed in memory.