Ces dernières années, un nombre croissant d'utilisateurs de JMP sont confrontés à ce que l'on appelle le Big Data, comme les données acquises chaque seconde par des capteurs, les données de fabrication comportant de nombreux paramètres et les données génomiques.
Si les données sont volumineuses, la taille du fichier sera plus grande et plus d’espace disque sera nécessaire.
JMP disposait à l'origine d'une fonctionnalité permettant de compresser les fichiers lors de l'enregistrement des tables de données, mais la dernière version, JMP 18, a ajouté une fonctionnalité permettant de compacter les colonnes de type caractère . En utilisant cette fonctionnalité, vous pouvez vous attendre à réduire la taille du fichier et à économiser de la mémoire.
Dans ce blog, nous expliquerons comment compacter les colonnes dans JMP 18, expliquerons le mécanisme de compactage interne et comparerons les tailles de fichiers lors du compactage de plusieurs types de données.
Colonnes de type caractère compact
Lors de l'examen de cette fonctionnalité, il est important de noter que seules les colonnes de type caractère peuvent être compactées. Les colonnes de type numérique ne peuvent pas être compactées.
Les données* présentées ci-dessous enregistrent les prix de l'immobilier à Tokyo et comportent environ 400 000 lignes et 38 colonnes. Dans cet exemple, compactons la colonne « Région » qui indique la région.
Opérations qui compactent les colonnes de types de caractères spécifiques
- Sélectionnez la colonne Région et sélectionnez Colonnes > Informations sur la colonne.
- Dans JMP 18, si le type de données est "Caractère", vous pouvez spécifier un sous-type. La valeur par défaut est [Normal], mais remplacez-la par [Compact] .
En plus de « Région », ces données incluent diverses chaînes telles que « Type » et « Préfecture ». Si vous souhaitez compacter tous ces éléments en même temps, ce serait une bonne idée d'utiliser le "Column Manager", qui est également une nouvelle fonctionnalité de JMP 18.
Comment compacter plusieurs chaînes à la fois à l'aide du gestionnaire de colonnes
- Sélectionnez Colonnes > Gestionnaire de colonnes (ou cliquez sur l'icône dans le panneau des colonnes).
- Cliquez sur l'élément "Type" en haut du gestionnaire de colonnes pour trier par type (lettres, chiffres).
- Sélectionnez toutes les colonnes dont le type est lettre (écrit « ABC »), maintenez la touche Ctrl enfoncée, cliquez sur l'élément à droite de « Type » et sélectionnez [Compact] .
Pour les colonnes de type texte compacté, une icône sera ajoutée à droite du nom de la colonne dans le panneau Colonnes, comme indiqué ci-dessous.
Enregistrez le tableau de données compacté en suivant les étapes ci-dessus et comparez la taille du fichier avant et après le compactage.
En compactant les données de 130 Mo, la taille a été réduite à 67,1 Mo, soit environ la moitié de la taille. Bonne nouvelle pour ceux qui s’inquiètent de l’espace disque !
Veuillez noter que les tables de données avec des chaînes compactées ne peuvent pas être ouvertes dans JMP 17 ou versions antérieures. Il s'agit uniquement d'un tableau de données pouvant être utilisé avec JMP 18.
Comment les colonnes sont compactées
Alors, comment compacte-t-il la chaîne ?
Une fois compacté, il est stocké en interne dans deux structures de données : le stockage de chaînes et le stockage de lignes.
Par exemple, dans les données de Tokyo ci-dessus, il existe une chaîne appelée « Municipalité » qui indique le quartier ou la ville où se trouve la propriété, mais chaque chaîne différente est stockée dans le stockage de chaînes et son index est stocké dans le stockage de lignes.
Par conséquent, en compactant les colonnes contenant des caractères longs ou des valeurs de données en double, la taille du fichier devrait être réduite.
À l’inverse, le compactage des chaînes identifiant les données en attribuant un numéro d’identification unique à chaque ligne peut ne pas s’avérer efficace. Par exemple, si vous disposez de 100 lignes de données patient et qu'il existe une colonne ID avec des valeurs telles que (P1, P2, ..., P100) pour identifier les patients, elle aura des valeurs uniques sans doublons, donc ce sera compact. Vous n’obtiendrez aucun avantage.
Ce qui suit montre les résultats du compactage des chaînes pour certains exemples de données JMP.
Certains fichiers sont devenus plus petits et certaines données, telles que "Probe.jmp", n'ont pas bénéficié d'un compactage.
En réalité, même si vous compactez un fichier de plusieurs Mo et que la taille du fichier devient plus petite, cela n'économisera pas d'espace disque et vous ne constaterez aucune amélioration des performances grâce aux économies de taille de mémoire.
L’avantage réside dans le compactage de données de plusieurs dizaines de mégaoctets ou plus.
Si vous disposez de données volumineuses contenant de nombreuses chaînes de caractères, essayez de les compacter et voyez si la taille du fichier devient plus petite.
Comment toujours ouvrir les colonnes de type caractère en tant que colonnes compactes
Jusqu'à présent, nous avons expliqué comment compacter des chaînes en ouvrant une table de données JMP, mais il existe également un paramètre qui compacte automatiquement les chaînes lorsque vous ouvrez des données dans JMP.
Dans la barre de menu JMP, ouvrez [Fichier] > [Préférences] et cochez « Ouvrir les colonnes de type caractère en tant que colonnes compactes » dans la catégorie « Général ».
Avec ce paramètre, non seulement les tableaux de données JMP, mais également les fichiers tels qu'Excel, csv, txt, etc., seront compactés lorsqu'ils seront ouverts dans JMP.
*Source de données Kaggle, prix de l'immobilier au Japon
Prix de l'immobilier au Japon (kaggle.com)
*Vidéo connexe (japonais)
"JMP 18" Nouvelles fonctionnalités utiles pour les entreprises ~Tableaux de données, édition de reporting (japonais)~ - Communauté d'utilisateurs JMP
par Naoyu Masukawa (JMP Japon)
Naohiro Masukawa - Communauté d'utilisateurs JMP
