La rapida crescita dei set di dati SNP a causa dell'introduzione di 1 milione di chip SNP da Affy e Illumina e il sequenziamento NextGen ha portato a serie di dati sempre più grandi. Mentre JMP Genomics 3.1 supporta l'analisi dei set di dati SNP fino a 1 milione di SNP x 4.000 individui, JMP Genomics 3.2 include un numero di processi che supportano set di dati fino a 1 milione di SNP x 10.000 individui: Marker Properties, Missing Genotype by Trait Summary , Recode Genotypes, Case-Control Association, SNP-Trait Association e PCA.
A causa dei numerosi miglioramenti apportati al codice nei processi di genetica di JMP Genomics, anche le prestazioni per i set di dati di grandi dimensioni sono migliorate notevolmente. Il limite principale per lavorare con questi set di dati è lo spazio su disco, dal momento che questi set di dati vengono elaborati in codice SAS e SAS è basato su file anziché su RAM. Un set di dati campione simulato da 1 milione di SNP x 10.000 è di circa 80 GB e richiede circa il doppio dello spazio libero sul disco rigido da analizzare. Gli utenti che lavorano con tali set di dati usano comunemente 1 terabyte o dischi rigidi più grandi.
Per gestire in modo più efficiente i test sui limiti delle dimensioni del set di dati, tutti i membri del team JMP Genomics hanno recentemente aggiornato le loro workstation PC XP XP per test e sviluppo su Dell 755s con dischi rigidi doppi di grandi dimensioni, processori dual-core e RAM da 3-4 GB. Anche così, la consegna di un ampio set di dati genetici da analizzare per MAQC ci ha inviato alla ricerca di spazio di archiviazione extra per uno dei nostri principali server di test. Anche se stiamo appena iniziando ad analizzare quel set di dati, ci ha dato un nuovo apprezzamento per le sfide legate alla memorizzazione e all'analisi di grandi quantità di dati grezzi. Siamo tutti entusiasti di scavare in un vero e proprio set di dati. Set simulati possono aiutarci a testare i limiti del nostro codice, ma non c'è nulla come scavare nei dati reali.
