非常に大規模なデータベースをロードする方法JMP を使用して非常に大規模なデータベースをロードしようとしていますが、メモリが不足しています。これには、ほぼ 1,000 の列と数百万の行が含まれています。ファイルサイズは35GB近くあります。メモリ使用量を最小限に抑えるために、選択した列のみを開く方法はありますか? JMP を使用してこのような大きなファイルを開く方法に関する推奨事項はありますか?残念ながら、私にはコーディングの経験がありません
データアクセスマックOSRe: 非常に大規模なデータベースをロードする方法誰もこれを指摘しなかったのには驚きましたが、.csv ファイルに対してクエリ ビルダーを使用できることは確かです。 .csv ファイルに適切なドライバーを選択するだけで、大規模なデータベースからどの列/行をフィルターするかを決定できます。
Re: 非常に大規模なデータベースをロードする方法ああ、それは .csv ファイルです。 「開く」を使用し、「データ (プレビューを使用)」オプションを選択します。
次に、サブセットの設定を選択します。
Re: 非常に大規模なデータベースをロードする方法ファイルをインポートするスクリプトを編集して、列を省略し、データをサブセット化することができます。
Re: 非常に大規模なデータベースをロードする方法この包括的な説明をまとめるために尽力していただいたことに感謝いたします。最初のオプションは、ファイルが JMP ファイルでない場合は機能しません。他のすべてのオプションを試しましたが、コードの 2 番目の部分は実行されません。必要な特定の列を選択または無視せずにファイルを開くだけです。提供された例を試してみましたが、機能しましたが、必要なファイルを選択すると、選択または無視機能が機能しません。
Re: 非常に大規模なデータベースをロードする方法データは .csv ファイルとしてあります。クエリビルダーを使用して開くことができませんでしたRe: 非常に大規模なデータベースをロードする方法ありがとう、データは .csv ファイルとしてあります。別の開け方があるのでしょうか？それとも、ファイルを特定のサーバーにアップロードしてからクエリ ビルダーを実行する必要がありますか?Re: 非常に大規模なデータベースをロードする方法ファイルを開いたときに列の選択を試すこともできます
それによって作成されたスクリプト
Open("$SAMPLE_DATA/Big Class.jmp", Select Columns("name", "age", "height"));
これにより列の選択を制限できますが、うまくいくかどうかはわかりません。
「開く」にはデータを制限する他のオプションもあります。最初の x 行、最後の x 行、またはランダムな x 行を開くことができます。
Names Default To Here(1);
dt = Open("$SAMPLE_DATA/CrimeData.jmp", First(10));
dt = Open("$SAMPLE_DATA/CrimeData.jmp", Random(10));
dt = Open("$SAMPLE_DATA/CrimeData.jmp", Last(10));
特定の列を選択する代わりに、特定の列を無視することもできます
Names Default To Here(1);
dt = Open("$SAMPLE_DATA/Big Class.jmp", ignore columns("age"));
スクリプト索引のオープン項目の 1 つに、次の例がいくつかあります。
Re: 非常に大規模なデータベースをロードする方法Jim の投稿に追加すると、クエリ ビルダーを使用すると、行の x% をサンプリングしたり、最初の (またはランダムな) x 行を選択したりすることもできます。
Re: 非常に大規模なデータベースをロードする方法使用する
ファイル=>データベース=>クエリビルダー
必要なテーブルから必要な列だけを選択できるはずです
他のコミュニティ メンバーからも追加の提案があるかもしれないと思います。
Re: 非常に大規模なデータベースをロードする方法ありがとう！それは私にとってはうまくいきました
Re: 非常に大規模なデータベースをロードする方法ありがとう
