ユーザーが 2 GB の CSV ファイルについてクエリするのに 2 時間かかったという問題があります。推奨される方法はありますか、またはどのくらい大きなファイルに何分かかったのかを示すデータはありますか (例:1 GB CSV -- 30 分)
こんにちは、
かなり長くなってしまいましたが、この問題に対する解決策を見つけたので共有したいと思います。
JMP 15の場合、ExcelファイルからJMPテーブルシートにデータを貼り付ける場合。 このように子行を選択すると永遠に時間がかかります（応答しません）。
ただし、次のように列の先頭 (シートの列 1) を選択すると、スムーズに進みます。
シンプルですよね？
これがお役に立てば幸いです。
機密データであるため、ファイルを共有できない場合があります。
推奨されるクロック速度はありますか、または JMP アプリケーションのクロック速度のパフォーマンスを向上させます。
ハードウェアのリストは問題ないようです。上記のスクリプトは、Windows または Mac の JMP で実行する必要があります。 弊社までご連絡くださいテクニカルサポートスタッフ問題が続く場合。 必要なものは次のとおりです。
- 問題をよりよく理解するための CSV ファイルのデータの小さなサンプル
- 成功したインポートからのソース スクリプト
- 使用している JMP のバージョン (12.1、13.1 など、MS-Windows または Apple-Mac 用)
CSV に Unicode ではない文字、間違って引用されたフィールド、またはその他の奇妙なものが含まれている場合は、それを CSV サンプルに含めてください。
私たちは JMP を初めて使用するため、識別できません。ユーザーに確認するよう依頼しました。ありがとうございます。
結果を更新します。
PC の仕様の下にある、提供した情報は MAC にのみ適用されますか?
Windows の場合は、このスクリプトに使用するプラットフォームも必要です。
私たちは JMP を初めて使用しており、ユーザーによる問題の報告を支援しているため、アドバイスをお願いします。ありがとう。
使用できますソース以前のインポートのスクリプトを使用してファイル (または同様のファイル) を再度インポートすると、JMP ですべてを再検出するよりも高速になります。 ソース スクリプトは、予想される列の数とデータ型を認識しています。
2GB のテキスト ファイルのメモリはさらに大きくなる可能性があります。 8GB マシンはメモリのページングにディスクを大量に使用する可能性があります。
があります重要なJMP 13.1 でのパフォーマンスの向上マック。 MAC で JMP を使用している場合は、これが必要になる可能性があります。
十分なメモリを備えたマシンでは、これは 15 分以内に実行されます。
start=tickseconds();
data = repeat("1,2,3,4,5\!n",2e8);
stop=tickseconds();
show(stop-start,length(data));
start=tickseconds();
file = savetextfile("$temp\deleteme.csv",data);
stop=tickseconds();
show(stop-start,filesize(file));
<BR />data = 0; // release 2GB before opening file<BR />
start=tickseconds();
dt = Open(
file,
columns(
New Column( "a", Numeric, "Continuous", Format( "Best", 12 ) ),
New Column( "b", Numeric, "Continuous", Format( "Best", 12 ) ),
New Column( "c", Numeric, "Continuous", Format( "Best", 12 ) ),
New Column( "d", Numeric, "Continuous", Format( "Best", 12 ) ),
New Column( "e", Numeric, "Continuous", Format( "Best", 12 ) )
),
Import Settings(
End Of Line( CRLF, CR, LF ),
End Of Field( Comma, CSV( 1 ) ),
Strip Quotes( 0 ),
Use Apostrophe as Quotation Mark( 0 ),
Use Regional Settings( 0 ),
Scan Whole File( 0 ),
Treat empty columns as numeric( 0 ),
CompressNumericColumns( 0 ),
CompressCharacterColumns( 0 ),
CompressAllowListCheck( 0 ),
Labels( 0 ),
Column Names Start( 0 ),
Data Starts( 1 ),
Lines To Read( "All" ),
Year Rule( "20xx" )
)
);
stop=tickseconds();
show(stop-start,nrows(dt));はい、5 秒オプションを実行しましたが、スキャンが速くなっただけでなく、インポートは遅いままでした。
しかし、この JMP Pro 13 には「テキストインポート設定」オプションが表示されません。
私はパフォーマンスデータを持っていないので、他の人に共有してもらいます。
ただし、データのレイアウトに事前に十分な自信がある場合は、多くの場合、テキストのインポート プロセスを高速化できることを知っておいてください。「Best Guess」ではなく「Text Import Preferences」を使用してファイルを開くと、インポートが高速化されます。また、テキスト データ ファイルの環境設定パネルで、[列の種類を決定するとき] で [5 秒間スキャン] を選択すると、数千の列がない場合に役立ちます。
ブライアン・コーコラン
JMP開発
