Comment charger une très grande base de donnéesJ'essaie de charger une très grande base de données à l'aide de JMP mais je manque de mémoire. Il contient près de 1 000 colonnes et des millions de lignes. La taille du fichier est de près de 35 Go. Existe-t-il un moyen d'ouvrir uniquement les colonnes sélectionnées pour minimiser l'utilisation de la mémoire ? Des recommandations sur la façon d'ouvrir un fichier aussi volumineux à l'aide de JMP ? Malheureusement, je n'ai aucune expérience en codage
Accès aux donnéesmacOSRe : Comment charger une très grande base de donnéesJe suis surpris que personne ne l'ait signalé, mais vous pouvez certainement utiliser Query Builder pour un fichier .csv. Choisissez simplement le bon pilote pour un fichier .csv et vous pourrez décider quelles colonnes/lignes filtrer à partir de votre grande base de données.
Re : Comment charger une très grande base de donnéesAh, c'est un fichier .csv. Utilisez "Ouvrir" et choisissez l'option "Données (à l'aide de l'aperçu)".
Choisissez ensuite vos préférences de sous-ensemble.
Re : Comment charger une très grande base de donnéesVous pouvez modifier le script qui importe le fichier pour omettre des colonnes et sous-ensembler les données.
Re : Comment charger une très grande base de donnéesJ’apprécie vos efforts pour rassembler cette explication complète. La première option ne fonctionne que si le fichier est un fichier JMP. J'ai essayé toutes les autres options et la deuxième partie du code n'est pas exécutée. Il ouvre uniquement le fichier sans sélectionner ni ignorer les colonnes spécifiques que je souhaite. J'ai essayé l'exemple que vous avez fourni et cela a fonctionné, mais lorsque je choisis le fichier que je veux, la fonction sélectionner ou ignorer ne fonctionne pas.
Re : Comment charger une très grande base de donnéesJ'ai les données sous forme de fichier .csv. Je n'ai pas pu l'ouvrir avec le générateur de requêtesRe : Comment charger une très grande base de donnéesMerci, j'ai les données sous forme de fichier .csv. Y a-t-il une autre manière de l'ouvrir ? Ou dois-je télécharger le fichier sur un serveur spécifique, puis utiliser le générateur de requêtes ?Re : Comment charger une très grande base de donnéesVous pouvez également essayer de sélectionner des colonnes lorsque vous ouvrez le fichier.
Script créé par celui-ci
Open("$SAMPLE_DATA/Big Class.jmp", Select Columns("name", "age", "height"));
Cela vous permettra de limiter la sélection des colonnes, mais je ne suis pas sûr que cela fonctionnera pour vous.
Open propose également d'autres options pour limiter les données, vous pouvez ouvrir les x premières lignes, les x dernières lignes ou les x lignes aléatoires.
Names Default To Here(1);
dt = Open("$SAMPLE_DATA/CrimeData.jmp", First(10));
dt = Open("$SAMPLE_DATA/CrimeData.jmp", Random(10));
dt = Open("$SAMPLE_DATA/CrimeData.jmp", Last(10));
et au lieu de sélectionner des colonnes spécifiques, vous pouvez ignorer des colonnes spécifiques
Names Default To Here(1);
dt = Open("$SAMPLE_DATA/Big Class.jmp", ignore columns("age"));
L'un des éléments ouverts dans l'index de script contient certains de ces exemples
Re : Comment charger une très grande base de donnéesPour ajouter au message de Jim, Query Builder vous permet d'échantillonner x% des lignes ou de choisir également les x premières lignes (ou aléatoires).
Re : Comment charger une très grande base de donnéesEn utilisant
Fichier => Base de données => Générateur de requêtes
vous devriez pouvoir sélectionner uniquement les colonnes souhaitées, parmi les tables souhaitées
Je soupçonne que d'autres membres de la communauté peuvent avoir des suggestions supplémentaires.
Re : Comment charger une très grande base de donnéesMerci! Cela a fonctionné pour moi
Re : Comment charger une très grande base de donnéesMerci
