JMP 複数シリーズ スタック メモリの問題こんにちは。データ セット (350 万行と 225 列) の複数シリーズ スタックを実行しようとしていました。RAM オーバーフローの問題 (メモリ不足) が発生します。32 GB RAM を使用しています。メモリの問題を回避し、期待どおりのデータ テーブルを取得するために、これをシリアル方式で実行する方法はありますか?
データのブレンドとクリーンアップマスカスタマイゼーションRe: JMP 複数シリーズ スタック メモリの問題350 万行と 225 列の 1 つのデータ テーブル = 7 億 8,750 万行で、12+GB の費用がかかります。 通常の積み上げテーブルには 3.5MX 225 = 787.5M 行と 2 つの列 (2 番目はラベル) があり、20GB 前後の範囲に簡単に収まるため、32GB RAM では共存しません。
次のシーケンスをお勧めします。
- 元の 350 万行と 225 列のデータを取得し、個々の列を個別のファイルに 1 つずつ保存します。 そして、保存した後は毎回新しいファイルを閉じます。 保存されたすべてのファイルには 2 つの列があり、1 つは系列、もう 1 つは指標またはラベルです。 ラベルには数値タイプを使用してください。 あなたの場合、1から225までを使用してください。 (オプションで、ラベル列を圧縮してみてください。 また、compress 列は 2 バイト フィールドを使用します。)
- 大きな元のファイルを閉じます。
- 1 列で最初に保存されたファイルを開きます。 次に、「最初のテーブルに追加」をオンにして、他の個々のファイルを一度に 1 つずつ連結します。 そして、追加された直後にすべての個々のファイルを閉じます。
787.5M 行 2 列の大きなテーブルに 350 万行 2 列の小さなテーブルを追加してみました。 JMP によるメモリ消費量の上限は 20GB を超えることもありましたが、連結が完了すると 18GB 以上にまで減少しました。 そして、さらに数ラウンド追加し続けたところ、同様の動作が観察されました。 また、圧縮された列を使用すると、メモリが大幅に節約されます。 とにかく、試してみる価値がありそうです。 幸運を！
ところで、どのようにデータを分析するつもりですか? どのプラットフォームを使用したいですか?
