多数の行を持つテーブルに推奨されるデータ形式は何ですか?申し訳ありませんが、どうやら初心者の質問です（またしても…）。
製造工場で長年収集してきたオンラインセンサー（「タグ」）データの分析にようやく着手しました。これらのタグの標準的な時間分解能は1分で、興味深い情報を得るために精査すべきタグは約1,400個あります。しかし、その段階に到達するには、デジタル化チームにデータ形式を提案する必要があると考えています。彼らは、チームメンバー（私はチームメンバーではありません）以外の全員がCSVファイルで作業することを期待していると思いますが、この形式では約3,000万行（これは1年間の秒数にほぼ相当します）を処理できないことは承知しています。この時間分解能は必ずしも必要ではないかもしれませんが、必要であるかのようにアプローチする価値はあると思います。また、1分単位の粒度を使用すると、1年間で約50万行になり、CSVで処理するには依然として不便です。
大きなテーブルを扱う場合、つまりJMPにインポートする場合、JSON形式が推奨されるアプローチでしょうか？それとも、データベースに接続して、そこからJMPに直接データを読み込む方が良いでしょうか？この問題に関して、デジタル化チームにフィードバックやコメントをいただければ幸いです。JMPの皆様、どうぞよろしくお願いいたします。
データアクセスRe: 行数の多いテーブルに適したデータ形式は?可能であれば、データを適切なデータベースに保存します。 データベースから JMP に移すのはおそらく簡単です。
Re: 多くの行を持つテーブルに推奨されるデータ形式は?100万行以上のデータをCSVからインポートすることがよくあります。制限はソースアプリケーションのデータエクスポートで、2GBです。
より大きなデータを処理する必要がある場合は、データを分割して、複数の csv ファイルを読み込みます。
したがって、0.5 百万行 (1 分の粒度で言及されています) は、csv 経由では間違いなく問題ありません。
あなたも 3000 万を Jmp に投入できるかどうか、興味があります。
一枚でなければ、500万枚単位ででしょうか?
Re: 多くの行を持つテーブルに推奨されるデータ形式は?@hogi さん、すみません、失礼しました。CSVにもExcelと同じ制限があると思っていましたが、そうではありませんでした。ご指摘ありがとうございます。とはいえ、3000万行のデータセットに50万行という制限があるのは、やはり不便な点があると思います。とはいえ、これもおそらく対処できる問題だと思います。
