大規模なデータテーブルをより小さく、より軽く、より速くするためのヒント<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />テーブルをより速く作成するためのヒントを持っている人はいますか?私は約 3 億行を処理しているのですが、それほど苦労せずに済むようにするためのヒントはあるだろうかと考えています。
たとえば、int が char よりも小さいだろうと考えて、いくつかの条件列 (値 1、2、3、4 など) を文字から数値に変更しようとしましたが、実際にはテーブルが遅くなり、大きくなります。一部のデータ/モデリング タイプは他のタイプよりも本質的に小さいのでしょうか?または、この作業を簡単にする可能性のある誰かが見つけたものすべてです。
現在、データ列を0〜255のint値でビン化しようとしていますが、頻度列だけがあります。しかし、フル解像度のデータが必要な場合、何かできることはあるでしょうか?
Re: 大きなデータテーブルをより小さく、より軽く、より速くするためのヒントネイトとヴィンス、
以前に大きなデータテーブルでそれを試しました。データテーブルを非表示にする以外に、さらに最適化するためにデータテーブルをプライベートにすることもできます（ここでもトレードオフが発生する可能性があります）
1. 目に見えない
2. プライベート
Brady による次の Web キャスト (一部) も同じ内容を示しています。
経験豊富な JSL ユーザーのための JMP スクリプト言語 – パート 1 | JMP
Re: 大きなデータテーブルをより小さく、より軽く、より速くするためのヒントヴィンス、
あなたがスクリプトを書いている投稿をいくつか見たという事実を活用します。存在するデータの種類をすでに理解しており、より大きなデータセットに対して実行したいレポート/分析についてのアイデアがある場合は、オープン時に非表示オプションを試してみてはいかがでしょうか。データテーブルを非表示で開いた場合 (非表示のままにした場合)、ディスプレイへの I/O が節約されます。
コミュニティのディスカッション:
https://community.jmp.com/thread/59784
サポートドキュメント:
http://www.jmp.com/support/help/Basic_Data_Table_Scripting.shtml#Invisible
スクリプトガイド:
よろしく、
ネイト
Re: 大きなデータテーブルをより小さく、より軽く、より速くするためのヒントそうすればすべてが簡単になります。ありがとう
Re: 大きなデータテーブルをより小さく、より軽く、より速くするためのヒントジェフ・パーキンソンの戦略は正しいものです。 重要なのは、バイト サイズを正しく取得することです。これは、「選択した列の圧縮」によって行われます。データ テーブルのスクリプト領域の左上の赤い三角形の下にある [保存時にファイルを圧縮] 機能を使用して、ディスク上のファイル サイズを減らすこともできます。テキストベースのカテゴリを操作するために私が気に入っている 3 番目のオプションは、このアドインです。 https://community.jmp.com/docs/DOC-6111
最高、
M
Re: 大きなデータテーブルをより小さく、より軽く、より速くするためのヒント試す「列」->「ユーティリティ」->「選択した列を圧縮」 。 選択した列に保存されているデータを調べて、よりコンパクトな形式で保存できるかどうかを確認します。
からJMP テーブルと列の圧縮:
[選択した列を圧縮] の機能は次のとおりです。
- 列が次の場合、文字列にリスト チェック (デフォルトの順序) を追加します。異なる値が 255 未満です。
- 列内のすべての値を格納できる場合は、数値列を最小の 1 バイト、2 バイト、または 4 バイトの整数に変更します。 。 整数値の列のみがチェックされます。
- 1バイト整数の場合、格納できる数値の範囲は-126～127です。
- 2 バイト整数の場合、格納できる数値の範囲は -32,766 ～ 32,767 です。
- 4 バイト整数の場合、保存できる数値の範囲は -2,147,483,646 ～ 2,147,483,647 です。
- すでにリストチェックが行われている場合、列は変更されません。
