寄木細工ファイルを開くJMP で Apache Parquet ファイルを開いて、HDF5 や JSON などと同じ方法で処理できるようにしたいと考えています。 どうもありがとう。
データアクセスRe: 寄木細工ファイルを開くいいえ、現在のバージョンのソフトウェア (V17) では不可能です。
Re: 寄木細工ファイルを開くこんにちは@マッシモマルッチ
「開く」またはその他の機能を使用して寄木細工のファイル、フォルダーを開くことはできますか?オープン関数
Re: 寄木細工ファイルを開く@マッシモマルッチとてもうまくいきました、素早い対応ありがとうございました！
Re: 寄木細工ファイルを開くこんにちは、その問題は現在解決されているはずです。私はもうそのフォルダーを指していません。 アドインを再アップロードしましたので、試してみていただけますか? マッシモ
Re: 寄木細工ファイルを開くこんにちは@マッシモマルッチ、
素晴らしいアドイン...これは私たちのチームにとって非常に役立ちます。
単一ファイルのアップローダーは機能しましたが、複数ファイル ボタンを使用すると、以下のエラーがログに追加されます...
JMP17
Python:3.9.7
/*:
// 新しいデータテーブル
// → データテーブル( "無題" )
新しいテーブル( "無題" );
ファイルの選択の無効な引数: ディレクトリ "c:\tmp\parquet_multiple_files" が 'Pick Directory' のアクセスまたは評価で見つかりません。 Pick Directory/*###*/("Apache Parquet 入力ファイルのあるディレクトリを選択してください",
"c:\tmp\parquet_multiple_files"、ファイルを表示( 1 ))
~\SAS\JMP\Addins\com.jmp.martucci.parquet\Apache Parquet ファイルインポーター - 複数のファイル - interaction.jsl の 10 行目
ありがとう！
Re: 寄木細工ファイルを開く素晴らしいですね！ありがとうマッシモ :thumbs_up:
Re: 寄木細工ファイルを開くこんにちは、私は最近開発し、これをファイル交換 -> アドインセクションに追加しました。 Apache Parquet ファイル インポーター」加える： Apache Parquet ファイル インポーター
.parquet ファイルを対応する JMP テーブルに対話的にインポートします。単一のファイルと複数のファイルの両方で機能します (すべて同じフォルダーに保存されます)。
これには、JMP V17 と、PyArrow パッケージ (およびその依存関係) を含むサポートされている Python インストールが必要です。
Re: 寄木細工ファイルを開く私がアカウントを作成したのは、この機能の欠如により、現在組織内でこれらのファイルを開くことができないため、ユーザーが jmp から遠ざかっていることを伝えるためです。
Re: 寄木細工ファイルを開く追加のコメントもありがとうございます。 さらに調査いたします。
Re: 寄木細工ファイルを開くまた、寄せ木細工のファイルから JMP テーブルに直接読み取る機能も欲しいと思っています。私は定期的に 2GB CSV (130K 行、2.5K 列) を使用して作業しており、64GB RAM を搭載したかなり最近の i7 ラップトップを使用しています。これらのファイルのいずれかを開くと、データ スキャンに約 5 分かかり、その後データのインポートにさらに 4 分半かかります。JMP がファイルを開くのを待つだけで 10 分近くかかります。
私たちのデータ システムは CSV の代わりに寄木細工を生成でき、同じファイルは 200MB 未満で、そのファイル内にはすでに正しいデータ型がエンコードされています。パンダで 1 行のコード (read_parquet) を使用してこの寄木細工ファイルの 1 つを開くと、30 秒以内にメモリ内のデータフレームにロードできます。最近、たとえそれが私の好みであっても、JMP でファイルを開くことを非常にためらっています。ファイルをパンダで開き、JMP で開く場合に比べて半分の時間で必要な情報を要約して取得できます。
この機能があれば、より大きなファイルを分析する人にとっては非常に有益であり、近い将来に有効になることを願っています。
Re: 寄木細工ファイルを開く上記の John のコメントに 100% 同意します。JMP は、寄木細工とフェザーを JMP テーブルに直接読み取ることができるようにする必要があります。
Re: 寄木細工ファイルを開くJMP が本当にビッグ データを適切に処理したい場合は、寄木細工/フェザー ファイルを読み取り、適切な圧縮と列定義を使用してファイルを直接インポートできる必要があります。 ファイルを開いて圧縮するのに十分なメモリがありません。 そして、この問題はさらに悪化するばかりです。
Re: 寄木細工ファイルを開く好奇心旺盛な人向けの追加情報:
https://www.databricks.com/glossary/what-is-parquet#:~:text=What%20is%20Parquet%3F,handle%20complex%20data%20in%20bulk 。
Re: 寄木細工ファイルを開くああ、残念だ。それだけの価値があるのですが、これは重要だと思います。
Parquet ファイルは、ストレージと読み取り時間の点で非常に効率的であり、別のプラットフォームから JMP にデータを転送したり、JMP から別のプラットフォームにデータを転送する必要がある場合に特に便利です。
Re: Parquet ファイルを開く - ステータスがアーカイブに変更されましたこのリクエストはアーカイブ中です。 これがまだ重要な場合は、追加の詳細をコメントしてください。再開させていただきます。 ありがとう！Re: 寄木細工ファイルを開く@Ryan_Gilmoreこのリクエストのアーカイブを解除してください。これらのファイル タイプは、csv よりも使用する方がはるかに効率的であり、アドインよりも統合された互換性を持つ必要があります。このリクエストを検討していただきありがとうございます。
スティーブ
Re: Parquet ファイルを開く - ステータスが「承認済み」に変更されましたRe: 寄木細工ファイルを開く@kevin_lennon さん、JMP 18 では、強化された Python 統合を介して Apache Parquet ファイルを開くことができるようになりました。参照してください：
https://community.jmp.com/t5/JMPer-Cable/JMP-is-Pythonic-Enhanced-Python-Integration-in-JMP-18/ba-p/723997
ありがとう！
(このリクエストを配信済みとしてマークします)。
Re: Parquet ファイルを開く - ステータスが「配信済み」に変更されましたRe: 寄木細工ファイルを開くJMP 18 の機能を活用した更新されたスクリプトの詳細を説明したhttps://community.jmp.com/t5/JMP-Add-Ins/Apache-Parquet-file-importer/ta-p/637823#U637823への私の追加を参照してください。
