Format de données préféré pour les tableaux comportant de nombreuses lignes ?Toutes mes excuses, il semblerait que ce soit une question de débutant (encore une fois...).
Nous travaillons enfin à l'analyse des données des capteurs en ligne (« tags ») que nous collectons depuis des années dans notre usine. La résolution temporelle standard de ces tags est d'une seconde, et nous devons examiner environ 1 400 tags pour en extraire des informations pertinentes. Pour ce faire, je pense qu'il est nécessaire de proposer un format de données à notre équipe de numérisation. Je crois qu'ils s'attendent à ce que tous ceux qui ne font pas partie de leur équipe (ce qui n'est pas mon cas) travaillent avec des fichiers CSV, mais je me rends compte que ce format ne permettrait pas de gérer environ 30 millions de lignes, ce qui correspond approximativement au nombre de secondes dans une année. Bien que cette résolution temporelle ne soit peut-être pas indispensable, il me semble judicieux d'envisager la question comme si elle l'était. De plus, une granularité d'une minute représenterait environ 500 000 lignes par an, ce qui reste difficile à gérer avec un format CSV.
Pour la gestion de grands tableaux, notamment leur importation dans JMP, le format JSON est-il préférable ? Ou serait-il plus judicieux de se connecter à une base de données et de charger directement les données dans JMP ? Vos retours et commentaires à ce sujet seront les bienvenus pour notre équipe de numérisation. Merci d'avance à tous les utilisateurs de JMP !
Accès aux donnéesRe : Format de données préféré pour les tableaux avec plusieurs lignes ?Si possible, enregistrez les données dans une base de données appropriée. Il est probablement facile de le transférer de la base de données vers JMP.
Re : Format de données préféré pour les tableaux comportant de nombreuses lignes ?J'importe souvent des millions de lignes de données à partir d'un fichier CSV. La limite est limitée à l'exportation des données de l'application source, qui est de 2 Go.
Si je dois gérer des données plus volumineuses, je les divise en morceaux et je charge plusieurs fichiers csv.
donc, les 0,5 million de lignes (que vous mentionnez pour la granularité de 1 minute) ne posent certainement pas de problème via csv.
Je suis curieux de savoir si vous parvenez également à intégrer les 30 millions dans Jmp.
Si ce n'est pas en un seul morceau, alors peut-être en morceaux de 5 millions ?
Ré : Format de données préféré pour les tableaux comportant de nombreuses lignes ?@hogi , désolé pour ma faute. Je pensais que CSV avait les mêmes limitations qu'Excel, mais ce n'est pas vrai. Merci de l'avoir signalé. Je pense néanmoins qu'une limite de 0,5 million de lignes pour un ensemble de données de 30 millions de lignes peut être source d'inconvénients. Cependant, je suppose que c'est probablement aussi un problème.
