JMPにインポートするための高速テキストファイル形式最終的にユーザーが JMP にインポートする大きな区切りデータ ファイル (通常は csv または tsv) を作成します。サイズは通常 1 ～ 3 GB です。ファイルの形式を指定できますが、どの非 JMP 形式を使用するのが最適か、また大きなテキスト ベースのデータ ファイルのインポートを高速化するためのハックがあるかどうかについてご意見を伺いたいと思います。
乾杯、トロイ
自動化とスクリプトRe: JMP にインポートするための高速テキスト ファイル形式設定に応じて、 ポイントとカンマを含む txt をインポートすることが可能です。
「不可能」とは、データをインポートすることはできるが、数字は文字として解釈され、時間とメモリのペナルティが発生することを意味します。
JMP は、テキストよりも数値をはるかに効率的に処理できます。数値を文字列としてインポートし、数値に変換する際のボトルネックが大きすぎて、1～3 GB のメモリをコンピューターに取り込むことができない場合があります。
JMP 17(?) では、コンパクト列が導入されました。これにより、文字列 (繰り返しエントリを含む) をコンピュータ メモリにはるかに効率的に保存できるようになりました。ただし、csv ファイルからコンパクト列にデータを取得する際にボトルネックが発生する可能性があります。
数値データを「グリッド」にロードする場合は、 hdf5データ形式を参照してください。
JMP はこのようなファイルをインポートできますが、機能は制限されています。Python 経由でデータをロードすることをお勧めします。
Re: JMP にインポートするための高速テキスト ファイル形式入力ファイルに時刻/日付データがある場合、いくつかの制限があります。
CSV インポートでは MDY または DMY の日付形式を強制します
Re: JMP にインポートするための高速テキスト ファイル形式ファイルは入手可能なので、すでに何か試しましたか?
- ファイルを開くためにどのオプションを試しましたか?
- JMP のファイルを開く「方法」: 開く / 複数ファイルのインポート
- JMP18 での Python 統合 (DuckDB / pandas / polars など)
- パフォーマンスの問題が発生しましたか?
- どのファイル形式を試しましたか? また、どのファイル形式を作成できますか?
- 通常、.csvは作成が簡単で、開くのも簡単なので、かなり良いファイルタイプです。
- 他にもファイルタイプはありますが、作成がより難しく、Parquet、Pickle、Feather など、それぞれ長所と短所があります (これらを JMP に読み込むには、JMP の Python 統合を使用する必要があります)。
- データベースは選択肢になるでしょうか？SQLiteが最も簡単な選択肢であり、JMPで簡単に開くことができます。
- ユーザーは同時にいくつのファイルを開く必要がありますか?
- ユーザーは何人いますか？
- すべてのユーザーが同じファイルを開きますか? 何らかの自動化されたプロセスでファイルを開き、ユーザーが使用したり、結果をテキスト ファイルではなくデータベースに保存したりできる jmp テーブルを作成できますか?
Re: JMP にインポートするための高速テキスト ファイル形式皆さん返信ありがとうございます。
ファイルは、通常 10K 以上の列を持つ、単純に事前に準備されたデータセットです。列名とタイプはファイルごとに異なるため、事前に列タイプを識別して設定で指定することは困難です。ファイルは 100 人以上のユーザーが利用できますが、通常は 1 度に 1 つのファイルのみで作業します。JMP はデータ サイズを処理できます (3GB はまれで、ほとんどのファイルは 1.2GB - 1.5GB 程度です)。開くのに時間がかかるだけです。また、ファイルは共有ドライブにありますが、通常は開く前にローカルにコピーします。
今後の方向性としては、データセットを作成するときに JMP 形式に変換し、CSV に加えて圧縮された JMP ファイルとして保存することだと思います。昨日これをテストしたところ、約 4 倍の圧縮が見られました。一部のユーザーは、Jupyter Notebook を使用して、または他の分析プラットフォームで直接これらのファイルを使用しているため、それらのユーザーのために CSV バージョンも用意しておきます......net-app ファイラーに余分なスペースが必要になります。
ご意見をいただき、改めて感謝申し上げます。
Re: JMP にインポートするための高速テキスト ファイル形式JMP の圧縮は、特にネットワークに保存されている場合、JMP ユーザーにとって間違いなく役立ちます。これは、私たちが以前 JMP ユーザー向けに行ったことであり、特定のネットワーク ドライブの場所から見つかった .csv ファイルを JMP テーブルに変換しました。現在、私たちはそのようなファイルをデータベースに保存しようとしていますが (必ずしも常に可能または簡単というわけではありません)、通常はそれほど多くの列はなく、行がたくさんあります。
JMP ユーザーがそれらのファイルを使用できるように、別のアドインを作成するオプションもあります。それでもファイル サイズの問題は解決されませんが、ツールは最初にそれらをローカル ファイルとしてコピーし、次にローカルに読み込むことができます。
