El rápido crecimiento de los conjuntos de datos de SNP debido a la introducción de 1 millón de chips SNP de las secuencias de Affy e Illumina y NextGen ha llevado a conjuntos de datos cada vez más grandes. Si bien JMP Genomics 3.1 admitió el análisis de conjuntos de datos SNP tan grandes como 1 millón de SNP x 4.000 individuos, JMP Genomics 3.2 incluye una serie de procesos que admiten conjuntos de datos tan grandes como 1 millón de SNP x 10.000 individuos: Propiedades de marcador, Genotipo perdido por resumen de rasgos , Genotipos de Recode, asociación de casos y controles, SNP-Trait Association y PCA.
Debido a las numerosas mejoras de código en los procesos genéticos de JMP Genomics, el rendimiento para grandes conjuntos de datos también ha mejorado dramáticamente. La principal limitación para trabajar con estos conjuntos de datos es el espacio en el disco duro, ya que estos conjuntos de datos se procesan en código SAS y SAS se basa en archivos en lugar de en RAM. Un conjunto de datos de muestra de 1 millón de SNP x 10.000 simulados es de aproximadamente 80 GB y requiere aproximadamente el doble de espacio libre en el disco duro para analizar. Los usuarios que trabajan con dichos conjuntos de datos suelen utilizar discos duros de 1 terabyte o más.
Para lidiar de manera más eficiente con las pruebas de los límites en el tamaño del conjunto de datos, todos los miembros del equipo de JMP Genomics actualizaron recientemente sus estaciones de trabajo de PC con Windows XP de prueba y desarrollo a Dell 755 con grandes discos duros dobles, procesadores de doble núcleo y 3-4 GB de RAM. Aun así, la entrega de un gran conjunto de datos genéticos para ser analizados para MAQC nos envió en busca de almacenamiento adicional para uno de nuestros principales servidores de prueba. Aunque apenas estamos empezando a analizar ese conjunto de datos, nos ha dado una nueva apreciación de los desafíos de almacenar y analizar cantidades tan grandes de datos en bruto. Todos estamos entusiasmados por profundizar en un gran conjunto de datos real. Los conjuntos simulados pueden ayudarnos a probar los límites de nuestro código, pero no hay nada como investigar datos reales.
