大きなCSVファイルでのQuery Builderの使用今日私は顧客とクエリービルダーについて話していました。 顧客は大きな（3GB +）CSVファイルを持っています。 彼らは直接それらをJMPにロードしようとしました、しかし彼らは重要なパフォーマンスヒットを見ています。 彼らがデータをインポートしたかったのは、分析のためにそのデータのより合理的なサイズの部分を除外するためでした。 彼らは、Query BuilderがCSVファイルを直接処理することがあったかどうかを知りたがっていました。
私は、SQLite用のDBブラウザを使用して、CSVをQuery Builderで照会できるSQLiteデータベースに変換するのが本当に簡単であることを提案しました。 直接アクセスすることが可能だとは思わなかった。 誰かがこれについて何か戦略や考えを持っているかどうかを見たかったのです。
考えですか？
M
大規模なCSVファイルでクエリビルダーを使用するこれを更新 - ActualTechがバグを発見し、ドライバを更新しているだけでなく、Mojaveサポート関連の問題もいくつかしています。アップデートがいつ出るのかについて、彼らは私にイータを与えていません。
M大規模なCSVファイルでクエリビルダーを使用するWelp - クエリービルダー内から直接CSVを追跡する方法があります。Microsoft（Windows）とActualTech（MacOS）は両方とも、CSV、TSV、およびXSLXファイルをデータソースとして扱うことを可能にするドライバを作成します。これは、それらがQuery BuilderからODBCによって照会できることを意味します。これが開くオプションは本当に刺激的です...
Windowsの場合は、アクセスドライバセットをインストールする必要があります。ここで動くものを見つけました（ https://www.microsoft.com/en-us/download/details.aspx?displaylang=ja&id=13255 ） それから、新しいデータソースを設定するだけです。私はこれが私のWindows 7 vmを使っているCSVのもので予想通りに働くことを確かめました。
（編集 - 最新のドライバセットはこちら： https://www.microsoft.com/ja-jp/download/details.aspx?id=54920 ）
Macの場合は、ActualTechのAccess Driverを使用します。これも簡単に設定できますが、クエリの動作にはいくつか問題があります。私はそれがドライバーの問題であると確信しています、それで私はそれについてActualTechへの質問を得ました。連絡があったら、これを更新します。接続とクエリは機能しますが、停止することなく何度も結果を繰り返すようです。（つまり、300行csvの場合、クエリを終了する前に結果は1M行になることがあります。結果は300行が繰り返し繰り返されることになります）。
だから - ウィンドウズ、これを顧客に見せるのはおそらくいいことだ。Mac - ちょっとタイトにしましょう。
M
大規模なCSVファイルでクエリビルダーを使用するたぶんそうではない - 私もそのビットについて完全に忘れていた... 私は、彼らが本当にCSVファイルで直接QBを使用できるようにしたいと思っているけれども、それは良い点です。たぶんそれをデータテーブルQBと組み合わせることは良い解決策でしょう。
M大規模なCSVファイルでクエリビルダーを使用する私はクエリービルダーではなく直接テキストインポート、BTWについて言及しています。大規模なCSVファイルでクエリビルダーを使用するファイル全体をスキャンするのではなく、列タイプを5秒間だけスキャンするように設定しました。
ブライアン
大規模なCSVファイルでクエリビルダーを使用するそれは結局それを読み込むでしょうが、問題はそれが何をすべきかを決定する前にJMPがファイル全体を試してみることです。したがって、これはハードウェアの問題ではなく、JMPがフラットファイルをどのように処理するかに関する問題です。
M大規模なCSVファイルでクエリビルダーを使用するこれがPCだけのものかどうか知っていますか？私はMacの情報を見つけることができません。大規模なCSVファイルでクエリビルダーを使用するこれは私の最初の考えでした - しかし、「プレビュー付きデータ」オプションでは、プレビューを取得する前にJMPがファイル全体を解析する必要があります... これは遅いステップです。ハングすることはありません。オプションを取得する前に、ファイルの最初の読み取りを実行するのに時間がかかるだけです。
M大規模なCSVファイルでクエリビルダーを使用するマイク、
あなたはどのくらいのRAMがインストールされているか知っていますか？
他にどんなアプリケーションが開いていますか？
一般に、最小RAM =ファイルサイズの2倍、またはこの場合は1つの3GBファイルを開くための最小RAMには、最低6GBのRAMが必要です。
そして彼らは3GB以上のファイルを開こうとしていますか？
各CSVファイルをExcelで直接開くときはいつですか？JMPでCSVファイルを開くのにかかる時間は同程度になるでしょう。
スタン
大規模なCSVファイルでクエリビルダーを使用するOfficeがインストールされている場合、Microsoftが提供するText用のODBCドライバがあります。 しかし、私はそれがパフォーマンスの問題に役立つと確信していません。 テキストファイルをJMP内に完全に常駐させることなく、データベースのQuery Builderを介して単純なWhere句を実行できるようになります。
ブライアン
大規模なCSVファイルでクエリビルダーを使用する[プレビュー付きのデータ]でファイルを開くと、CSVのサブセットを作成できます。彼らはそれをはるかに遠くにすることができますかそれとも彼らのマシンはこの操作中にハングしますか？
