Das schnelle Wachstum der SNP-Datensätze aufgrund der Einführung von 1 Million SNP-Chips von Affy und Illumina sowie der NextGen-Sequenzierung hat zu immer größeren Datensätzen geführt. Während JMP Genomics 3.1 die Analyse von SNP-Datensätzen mit einer Größe von 1 Million SNPs x 4.000 Personen unterstützte, umfasst JMP Genomics 3.2 eine Reihe von Prozessen, die Datensätze von bis zu 1 Million SNPs x 10.000 Personen unterstützen: Marker-Eigenschaften, Fehlender Genotyp nach Zusammenfassung der Eigenschaften , Genotypen rekodieren, Case-Control Association, SNP-Trait Association und PCA.
Aufgrund zahlreicher Code-Verbesserungen in den genetischen Prozessen von JMP Genomics hat sich auch die Leistung für große Datensätze erheblich verbessert. Die Haupteinschränkung für das Arbeiten mit diesen Datensätzen ist Festplattenspeicher, da diese Datensätze im SAS-Code verarbeitet werden und SAS dateibasiert und nicht auf den Arbeitsspeicher beschränkt ist. Ein simulierter Datensatz von 1 Million SNP x 10.000 Probedatensätzen beträgt etwa 80 GB und benötigt etwa doppelt so viel freien Speicherplatz auf der Festplatte, um eine Analyse durchzuführen. Benutzer, die mit solchen Datensätzen arbeiten, verwenden normalerweise Festplatten mit einem Terabyte oder mehr.
Um effizienter mit den Grenzwerten für die Datensatzgröße umzugehen, haben alle Teammitglieder des JMP Genomics-Teams kürzlich ihre Windows XP-PC-Workstations für Test und Entwicklung auf Dell 755s mit großen Dual-Festplatten, Dual-Core-Prozessoren und 3 bis 4 GB RAM aufgerüstet. Die Lieferung eines großen genetischen Datensatzes, der für MAQC analysiert werden sollte, veranlasste uns jedoch, zusätzlichen Speicherplatz für einen unserer Haupttest-Server zu suchen. Obwohl wir gerade erst anfangen, diesen Datensatz zu analysieren, haben wir damit ein neues Verständnis für die Herausforderungen erhalten, die beim Speichern und Analysieren solch großer Mengen an Rohdaten auftreten. Wir alle freuen uns sehr darauf, einen echten, großen Datensatz zu finden. Simulierte Mengen können uns dabei helfen, die Grenzen unseres Codes zu testen, aber es gibt nichts Besseres als nach echten Daten zu suchen.
