<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />JMPは、マシン上の物理メモリの合計容量の約半分のデータテーブルで処理できます。そのため、16GBのマシンは8GBのデータテーブルを扱うことができ、8GBのマシンは4GBのデータテーブルを扱うことができます。
このガイドラインは、JMPがこのサイズのデータテーブルを開き、それについて簡単で基本的な分析を行えるようにすることを意味します。使用されているオプションや特定のデータに応じて、大量のメモリを必要とする分析、テーブル操作、モデル構築プラットフォームが数多くあります。このサイズのデータテーブルですべての分析や操作を実行できるとは限りません。
データテーブルのサイズの最適な見積もりは、ディスク上の(圧縮されていない)サイズです。テキスト(例.csv、.txt)形式のデータのサイズも妥当な代用です。
JMPは2つの組み合わせと格納されているデータの種類に大きく依存するため、JMPが処理できる行数または列数についてのガイダンスは提供できません。
JMPデータテーブルの「圧縮」には2つの異なる形式があります。
選択した列を圧縮
a)影響を受ける列を選択します
b)列 - >選択した列を圧縮
このオプション:
•列の固有値が255未満の場合、文字列にリストチェック(デフォルトの順序)を追加します。
•列内のすべての値を格納できる場合は、数値列を最小の1バイト、2バイト、または4バイトの整数に変更します。整数値列のみがチェックされます。
•1バイト整数の場合、格納できる数値の範囲は-126から127です。
•2バイト整数の場合、格納できる数値の範囲は-32,766から32,767です。
•4バイト整数の場合、格納できる数値の範囲は-2,147,483,646から2,147,483,647までです。
•すでにリストチェックがある場合、列は変更されません。
このオプションは、データテーブルをメモリに保持するために必要なメモリ量に影響するため、JMPがより多くのデータを処理できるようにすることができます。
テーブルを圧縮する
a)データテーブルの赤い三角メニューから、「保存時にファイルの圧縮」オプションを設定します。
このオプションはgz圧縮を使用してディスク上のファイルのみを小さくします。データは圧縮されずにメモリに保存されます。
ジェフパーキンソン
JMPカスタマーケアマネージャー
株式会社SASインスティチュート
SASキャンパスドライブ•ノースカロライナ州ケアリー27513•アメリカ
Ph:919-531-6521
Eメール: Jeff.Perkinson@jmp.com Jeff.Perkinson@jmp.com >
シェア。お願いします。学びなさい。接続してください。- community.jmp.com < https://community.jmp.com >
JMPユーザーコミュニティで私とつながりましょう< https://community.jmp.com/people/jeff.perkinson >。
2016年7月17日、午前8時12分、チャックボイラー< Chuck.Boiler@jmp.com Chuck.Boiler@jmp.com >>書いた:
こんにちはジェフ。あなたのグループはこの分野で文書を作成したのだろうか?私は今週あなたに会いたいと思います、そしてあなたがこの種のコンテンツへのアクセスを持っているならば、我々はそれについて話すことができますか?週末の祝福はあなたにあります。 。チャック
私のiPhoneから、時には音声によるテキストで送られました。エラーをお許しください。
転送メッセージを開始します。
投稿者:チャックボイラー< Chuck.Boiler@jmp.com Chuck.Boiler@jmp.com >>
日付:2016年7月17日5:08:55 AM PDT
To:Laura Higgins < Laura.Higgins@jmp.com Laura.Higgins@jmp.com >>
Cc:ルイ・ヴァレンテ< Louis.Valente@jmp.com Louis.Valente@jmp.com >>
件名:Re:MacBook Proのスペックが最大になっていると仮定して、JMPが(効率的に)処理できる最大データセットサイズはいくつですか?
ローラありがとう。このトピックに関するデータを持っている人をCaryで見つけることができると思います。今週それについて話しましょう。安全な旅行。チャック
私のiPhoneから、時には音声によるテキストで送られました。エラーをお許しください。
2016年7月16日、午後12:03、Laura Higgins < Laura.Higgins@jmp.com Laura.Higgins@jmp.com >>書いた:
私はこれを手伝う必要があります。XXXXX管理用の文書を作成する必要があります。 私は来週もっと説明することができます。私はただこれをレーダーに乗せたいのです。たぶんあなたのうちの1人はすでにこんな風にしていますか?
Laura.Higgins@JMP.com Laura.Higgins@jmp.com >携帯しながら
転送メッセージを開始します。
から:
日付:2016年7月15日6:39:23 PM PDT
To:Laura Higgins < Laura.Higgins@jmp.com Laura.Higgins@jmp.com >>
件名:Re:MacBook Proのスペックが最大になっていると仮定して、JMPが(効率的に)処理できる最大データセットサイズはいくつですか?
このLauraに感謝します、私は今中国にいます - 数週間後にあなたと再接続しようと思います。
私たちのリーダーシップからの包括的な質問は、本質的に「データのサイズのためにいつJMPが壊れるのか」と「JMP分析の有効性を最大化するために何ができるか、すなわち圧縮など」です。
あなたが既にそのようなファイル/ docを持っていない限り、私たち(私または他の誰か)が参照文書を作成できるように、私はあなたと一緒に丸を付けます。チームにプッシュする。
2016年7月16日、午前5時55分、Laura Higgins < Laura.Higgins@jmp.com Laura.Higgins@jmp.com >>書いた:
こんにちはジョン-
行数または列数に対するJMPデータテーブルのアーキテクチャ上の制限はありません。
あなたの質問に答えるのは少し難しいです。なぜなら、それはコラムの内容やJMPでどのような操作をしているのかによって異なるからです。
数値は文字データより占有スペースが少なく、列を圧縮して(未使用のビットを削除する)、圧縮データテーブルを扱うこともできます。これにより、JMPファイルのサイズが大幅に減少します。
複数のコアを利用するために、多くの操作がマルチスレッド化されています。JMPを遅くする1つのことは、たくさんの列やポイントを使った重い視覚的グラフ化です。
100万行×3600列のデータテーブルを作成するだけです。
1)非圧縮数= 29.13GB。
2)圧縮列= 3.5 GB
そのため、列を圧縮すると約10倍のスペースを節約できます。
1は16 GMメモリを実行し、それは最初にJMPテーブルを作成/保存するために遅くなっていました。圧縮列を使用すると、小さいデータテーブルのように動作します。
また、ドキュメントから。持ち帰る - >カラムを圧縮すると分析が速くなります。データテーブルを圧縮しても分析は高速化しません。
保存時にファイルの圧縮
保存時にデータテーブルを圧縮します。データテーブルを保存すると、テーブルパネルのデータテーブル名の横に圧縮ファイルアイコンが表示されます。圧縮テーブルを参照 http://www.jmp.com/support/help/Edit_Data_Tables.shtml#626887 データの入力と編集の<> http://www.jmp.com/support/help/Edit_Data_Tables.shtml#626887 >。
ヒント:「設定」>「一般」>「データテーブル列を保存GZ圧縮」を選択して、テーブルを保存するときにGZ圧縮を常に使用するようにJMPを設定することもできます。
注:[保存時にファイルの圧縮]オプションは、ファイルサイズを小さくするだけです。このコマンドはデータの分析に必要なメモリには影響しません。分析に必要なファイルサイズとメモリの両方を減らすには、[Cols]> [Utilities]> [Compress Selected Columns]を使用します。選択した列を圧縮するを参照してください。 http://www.jmp.com/support/help/Restructure_Data.shtml#769643 データの入力と編集の<> http://www.jmp.com/support/help/Restructure_Data.shtml#769643 >。
文字データは列の内容によって異なるため、予測が困難です。文字データを圧縮すると、チェックリストに変換されます(入力オプションを既存のオプションセットに効果的に制限できます。元のデータを変更しない限り、大した問題ではありません)。
明確な答えではありませんが、この情報が役立つことを願っています!
乾杯!
ローラ
ローラA.ヒギンス博士
JMPシニア システムエンジニア
650.454.0633 | Laura.Higgins@jmp.com Laura.Higgins@jmp.com > | #LauraHigginsPhD | www.jmp.com < http://www.jmp.com/ > | SASインスティチュート株式会社|サンフランシスコ
私はこの課題についてKaggleのデータをいじっていました。 https://www.kaggle.com/c/bosch-production-line-performance
2つのテーブルには約1000列、もう1つには約2000列があり、3つのテーブルはすべて1.18MM行であり、多数の欠落データがあります。(トレーニング用に3つのテーブル、テスト用に3つ)。
Mac上で16 GBのRAMを使って、ファイルを開き、圧縮列を使用して、テーブルを非常に慎重に結合することができました。いくつかの手順については、テーブルを行または列で分割することを検討してください。
4K +列ファイル全体とすべての行がメモリに収まるので便利です。ファイルはゆっくりロードされ、ゆっくり保存されます。データにスコアを付けるための式を追加すると、ツリーモデルの列が完全に評価されるまでに1分かかることがあります。大きなファイルを扱うのは面倒です。早く保存して、JMPが突然64 GBのメモリを使い尽くして停止したら、それをダンプして最初からやり直してください。
これは逐語的に共有しても問題ないと思います。
JMP can handle at data table about half as big as the total amount of physical memory on the machine. So, a 16GB machine can handle a data table can 8GB data table and an 8 GB machine can deal with a 4GB data table.This guideline means that JMP should be able open a data table of this size and do simple and basic analyses on it. There are many analyses, table manipulations and model building platforms that can require significant amounts of memory, depending on the options and the specific data being used. We can’t promise that every analysis or operation can be performed with data tables of this size.The best estimate of the size of a data table is its (uncompressed) size on disk. The size of the data in text (e.g. .csv, .txt) format is a reasonable surrogate also.We can’t provide guidance on how many rows or columns JMP can handle since it’s highly dependent on the combination of the two and the types of data stored.There are a two different forms of “compression” for JMP data tables.Compress Selected Columnsa) Select the columns to be affectedb) Cols -> Compress Selected ColumnsThis option:• adds a List Check (default order) to character column if the column has less than 255 distinct values.• changes numeric columns to the smallest 1-byte, 2-byte, or 4-byte integer if all values in the column can be stored. Only integer values columns are checked.• For 1-byte integer, the range of numbers that you can store is from -126 to 127.• For 2-byte integer, the range of numbers that you can store is from -32,766 to 32,767.• For 4-byte integer, the range of numbers that you can store is from -2,147,483,646 to 2,147,483,647.• It will not change the columns if they have list check already.This option affects the amount of memory required to hold a data table in memory and, therefore, can allow JMP to work with more data.Compress Tablesa) Set option, “Compress File when Saved”, from red triangle menu on data table.This option uses gz compression to make the file smaller on disk only. The data is stored uncompressed in memory.