由於Affy和Illumina以及NextGen測序引入了100萬個SNP芯片,SNP數據集的快速增長導致了越來越大的數據集。雖然JMP Genomics 3.1支持分析SNP數據集,其中包括大約100萬個SNP×4,000個個體,但JMP Genomics 3.2包括許多支持數據集的過程,這些數據集可達100萬個SNP×10,000個個體:標記屬性,缺少基因型特徵摘要,Recode基因型,病例對照關聯,SNP-Trait Association和PCA。
由於JMP Genomics遺傳學過程中的大量代碼改進,大數據集的性能也得到了顯著提高。使用這些數據集的主要限制是硬盤空間,因為這些數據集是在SAS代碼中處理的,而SAS是基於文件的而不是RAM限制的。模擬的100萬SNP x 10,000樣本數據集大約為80 GB,並且需要大約兩倍於硬盤驅動器上的可用空間來進行分析。使用此類數據集的用戶通常使用1 TB或更大的硬盤驅動器。
為了更有效地測試數據集大小的限制,所有JMP Genomics團隊成員最近都將他們的測試和開發Windows XP PC工作站升級到戴爾755s,配備大型雙硬盤驅動器,雙核處理器和3-4 GB RAM。即便如此,為MAQC分析的大型遺傳數據集的交付也讓我們為我們的主要測試服務器之一尋找額外的存儲空間。雖然我們剛剛開始分析該數據集,但它讓我們對存儲和分析如此大量原始數據的挑戰有了新的認識。我們都很高興能夠深入挖掘真實的大型數據集。模擬集可以幫助我們測試代碼的限制,但沒有什麼比挖掘真實數據更好的了。