La croissance rapide des ensembles de données SNP due à l'introduction d'un million de puces SNP provenant du séquençage d'Affy and Illumina et de NextGen a conduit à des ensembles de données de plus en plus volumineux. Alors que JMP Genomics 3.1 prenait en charge l'analyse d'ensembles de données SNP allant jusqu'à 1 million de SNP x 4 000 personnes, JMP Genomics 3.2 inclut un certain nombre de processus prenant en charge des ensembles de données pouvant atteindre 1 million de SNP x 10 000 individus: propriétés des marqueurs, génotype manquant par caractéristique. , Recode Genotypes, Association Case-Control, SNP-Trait Association et PCA.
En raison des nombreuses améliorations du code dans les processus génétiques de JMP Genomics, les performances pour les grands ensembles de données se sont également considérablement améliorées. La principale limitation pour l'utilisation de ces ensembles de données est l'espace disque, car ces ensembles de données sont traités en code SAS, et SAS repose sur des fichiers plutôt que sur la RAM. Un jeu de données exemple simulé de 1 million de SNP x 10 000 représente environ 80 Go et nécessite environ deux fois plus d’espace libre sur le disque dur à analyser. Les utilisateurs travaillant avec de tels ensembles de données utilisent généralement des disques durs de 1 téraoctet ou plus.
Afin de mieux tester les limites de taille de fichier, tous les membres de l'équipe JMP Genomics ont récemment mis à niveau leurs postes de travail Windows XP de test et de développement sur des Dell 755 dotés de deux disques durs de grande taille, de processeurs double cœur et de 3 à 4 Go de RAM. Même dans ce cas, la livraison d'un grand ensemble de données génétiques à analyser pour MAQC nous a envoyé à la recherche d'un espace de stockage supplémentaire pour l'un de nos principaux serveurs de test. Bien que nous commencions à peine à analyser cet ensemble de données, cela nous a permis de mieux comprendre les difficultés liées au stockage et à l'analyse de telles quantités de données brutes. Nous sommes tous enthousiastes à l'idée de puiser dans un véritable ensemble de données volumineux. Les ensembles simulés peuvent nous aider à tester les limites de notre code, mais rien ne vaut l'exploration de données réelles.
