哪種計算機硬盤最可靠？你應該多久更換一次硬盤？這些是我希望在探索和分析硬盤測試數據時要回答的一些問題。一家名為Backblaze的公司提供在線數據備份服務，通過其網站向公眾提供這些數據。根據描述 Backblaze硬盤測試數據 ，該公司需要有足夠的硬盤，既合理可靠又經濟可行。在過去兩年中，Backblaze收集了有關服務中硬盤的每日數據。公司研究人員已經發布了關於驅動器的最佳驅動器和更換時間表的一些結論，但他們也對數據中還有其他內容感到好奇。因此，讓我們看看我的分析是否同意，不同意和/或找到其他東西。
我對數據的第一印像是：它很大。多大？每天有631個文件，每個文件大約4 MB或9 MB。較新的文件更大。所有CSV文件的總大小約為3.5 GB。每個CSV文件似乎都具有相同的格式，這非常好。他們都看起來像這樣：
我沒有在SQLite中連接文件，而是在JMP中執行此操作。生成的JMP表有超過1700萬行。列是：“日期”，記錄行時; “serial_number”，這是硬盤ID; “capacity_bytes”是硬盤的大小; “失敗”，表示那天硬盤是否失敗; 40列原料聰明有關當天硬盤的統計數據;和40列標準化的SMART統計數據。
結果JMP表超過12 GB！嗯，剛剛發生了什麼？數據來源的描述提到數據中的許多SMART統計數據缺失; JMP表中缺少的值是雙精度浮點數，但CSV文件中的兩個逗號之間不佔空格。我想CSV文件中有很多缺失值。這就解釋了為什麼二進制數據文件的結果遠遠大於所有CSV文件的總和。我們稍後會回到缺失值問題。
現在我想看一下Backblaze倉庫中隨機選擇的硬盤驅動器的壽命分佈，無論製造商和型號如何。（我假設錄製的硬盤驅動器是一個很好的樣本，代表了他們擁有的所有硬盤驅動器。）
從結果數據中，我們可以收集每個硬盤驅動器發生故障或審查的天數。如果您不熟悉術語“審查”，則表示硬盤驅動器在保存最後一條記錄時沒有失敗。我們通常說失敗和審查是事件。我們使用“事件發生時間”來指出失敗或審查的時間。通過序列號計算日期範圍來執行事件發生時間的計算。使用計算的時間到事件值，我們可以計算他們使用的所有硬盤驅動器的故障分佈的非參數估計。
下一個屏幕截圖顯示了估算值。我們如何解釋情節？圖中的每個點都有兩個坐標，x坐標是以天為單位的時間，y坐標是隨機選擇的硬盤在此之前失效的預期概率。例如，300天左右的概率大約為0.03。因此，如果我們有100個隨機選擇的硬盤驅動器在第一天開始運行，我們應該預計其中3個在300天的時間內失敗。
作為陳述，我們說300天的失敗概率（有時也稱為失敗率）是0.03。請注意，此處的故障概率（故障率）與Backblaze Hard Drive Test Data網頁討論的故障率不同;看到他們的最好的硬盤博客。他們的失敗率與我們術語中更新過程中的複發率有關，但似乎並不完全相同。我相信我可以使用我的失敗率來獲得類似於他們的速度，但不是相反。我稍後會仔細看看。
如果生活總是很容易，我們可能使用參數分佈擬合數據，例如Weibull，Lognormal等。如果是這樣，我們應該看到非參數估計沿著平滑的曲線而沒有顛簸。但是這次我們不是很幸運！
然而，估計估計存在顛簸或轉折點並不奇怪。根據維基百科頁面聰明 ，硬盤故障有兩種類型：可預測的故障和不可預測的故障。聽起來他們正在談論失敗模式：磨損，以及所有其他模式。我們可以假設每種故障模式都可以通過單個分佈建模，例如Weibull，Lognormal。然後我們可以應用著名的浴缸故障率 。
這也不是那麼容易。令人驚訝的是，在非參數估計中至少看到兩個明顯的轉折點。一個是大約150天，另一個是大約550天。如果後者將可預測的和不可預測的分開，那麼第一個轉折點是否告訴我們可以將不可預測的故障分類為多個模式？
假設我們正在考慮大約550天的轉折點作為故障變得更可預測的地方，令人驚訝的是故障在此之前逐漸加快。這不是直覺嗎？根據我們對浴缸故障率現象的預期，我預計意外故障會減慢。
在深入研究之前，我想先了解一下數據中的SMART統計數據。我選擇查看標記為SMART 187的統計信息，因為它在Backblaze博客文章中突出顯示，硬盤SMART Stats ，作為決定硬盤是否需要更換的最有希望的變量之一。
當記錄相應的SMART 187值時，我已經根據硬盤驅動器的年齡製作了SMART 187原始值的簡單散點圖。左側面板為好的硬盤驅動器繪製了散點圖，這些硬盤驅動器沒有通過它們的最後記錄失敗。右側面板為故障硬盤驅動器繪製散點圖。根據解釋硬盤SMART Stats ，預計兩個圖中的差異，即右側面板中的SMART 187值似乎大於左側面板中的值。這與SMART 187值越高，硬盤驅動器發生故障的可能性越大的說法一致。
到目前為止，沒有難以理解的驚喜。好。但那些可能是眾所周知的事實。怎麼辦？我想，我們不能害怕弄髒手。
未完待續…
