Welche Computerfestplatten sind am zuverlässigsten? Und wie oft sollten Sie eine Festplatte ersetzen? Dies sind einige der Fragen, die ich bei der Untersuchung und Analyse von Daten zu Festplattentests hoffen möchte. Ein Unternehmen namens Backblaze, das Online-Datensicherungsdienste anbietet, macht diese Daten auf seiner Website großzügig der Öffentlichkeit zugänglich. Entsprechend der Beschreibung des Backblaze-Festplatten-Testdaten Das Unternehmen muss über angemessene Festplatten verfügen, die sowohl einigermaßen zuverlässig als auch wirtschaftlich realisierbar sind. In den letzten zwei Jahren sammelte Backblaze täglich Daten von Festplatten, die in Betrieb waren. Die Forscher des Unternehmens haben einige Schlussfolgerungen zum besten Laufwerk und einem Zeitplan für den Austausch von Laufwerken veröffentlicht, waren aber auch neugierig, was in den Daten sonst noch zu finden ist. Mal sehen, ob meine Analyse zustimmt, nicht zustimmt und / oder etwas anderes findet.
Mein erster Eindruck der Daten ist: Es ist groß. Wie groß? Es gibt 631 tägliche Dateien, jede ist etwa 4 MB oder 9 MB groß. Neuere Dateien sind größer. Die Gesamtgröße aller CSV-Dateien beträgt etwa 3,5 GB. Jede CSV-Datei scheint das gleiche Format zu haben, was sehr gut ist. Sie sehen alle so aus:
Anstatt die Dateien in SQLite zu verketten, mache ich das in JMP. Die resultierende JMP-Tabelle hat mehr als 17 Millionen Zeilen. Die Spalten sind: "Datum", an dem die Zeile aufgezeichnet wurde; "Serial_number", die Festplatten-ID; "Capacity_Bytes", die Größe der Festplatte; "Fehler", der angibt, ob die Festplatte an diesem Tag ausgefallen ist; 40 Säulen roh CLEVER Statistiken über die Festplatte an diesem Tag; und 40 Spalten mit normalisierten SMART-Statistiken.
Und die resultierende JMP-Tabelle ist mehr als 12 GB! Hmm, was ist gerade passiert? In der Beschreibung der Datenquelle wurde darauf hingewiesen, dass viele SMART-Statistiken in den Daten fehlen. Fehlende Werte in der JMP-Tabelle sind Gleitkommazahlen mit doppelter Genauigkeit, belegen jedoch keine Leerzeichen zwischen zwei Kommas in einer CSV-Datei. Ich vermute, dass in den CSV-Dateien viele Werte fehlen. Das erklärt, warum die binäre Datei viel größer ist als die Summe aller CSV-Dateien. Wir werden später auf den fehlenden Wert zurückkommen.
Jetzt möchte ich die Lebensdauerverteilung einer zufällig ausgewählten Festplatte im Backblaze-Lager betrachten, unabhängig von Hersteller und Modell. (Ich gehe davon aus, dass die aufgezeichneten Festplatten ein gutes Beispiel sind, das alle Festplatten darstellt, die sie haben.)
Aus den resultierenden Daten können wir die Anzahl der Tage bis zum Ausfall oder Zensieren für jede Festplatte ermitteln. Wenn Sie mit der Terminologie „Zensieren“ nicht vertraut sind, bedeutet dies, dass die Festplatte zum Zeitpunkt, an dem der letzte Datensatz gespeichert wurde, nicht ausgefallen ist. Wir sagen normalerweise, dass Scheitern und Zensieren Ereignisse sind. Wir verwenden "Time-to-Event", um die Zeit auf Fehler oder Zensur zu beziehen. Die Berechnung der Zeit bis zum Ereignis erfolgt durch Berechnung des Datumsbereichs anhand der Seriennummer. Mit den berechneten Time-to-Event-Werten können wir eine nicht parametrische Schätzung der Fehlerverteilung von allen verwendeten Festplatten berechnen.
Der nächste Screenshot zeigt die Schätzung. Wie interpretieren wir die Handlung? Jeder Punkt in der Grafik hat zwei Koordinaten. Die x-Koordinate ist die Zeit in Tagen und die y-Koordinate ist die erwartete Wahrscheinlichkeit, dass eine zufällig ausgewählte Festplatte vor diesem Zeitpunkt ausfällt. Zum Beispiel hat ein Punkt um 300 Tage eine Wahrscheinlichkeit um 0,03. Wenn also 100 zufällig ausgewählte Festplatten am ersten Tag zum Laufen gebracht werden, sollten drei davon voraussichtlich bis zu 300 Tagen ausfallen.
Als Aussage sagen wir, dass die Ausfallwahrscheinlichkeit (manchmal auch Ausfallrate genannt) nach 300 Tagen 0,03 ist. Beachten Sie, dass sich die Ausfallwahrscheinlichkeit (Fehlerrate) hier von der Fehlerrate unterscheidet, die auf der Backblaze Hard Drive Test Data-Webseite beschrieben wird. sieh ihre beste Festplatte Blog Ihre Ausfallrate hängt mit der wiederkehrenden Rate in einem Erneuerungsprozess unserer Terminologie zusammen, scheint aber nicht genau zu sein. Ich glaube, dass ich meine Ausfallrate verwenden kann, um etwas Ähnliches abzuleiten, aber nicht umgekehrt. Ich werde später genauer hinsehen.
Wenn das Leben immer einfach wäre, könnten wir die Daten wahrscheinlich über eine parametrische Verteilung anpassen, z. B. Weibull, Lognormal usw. Wenn ja, sollten wir die nichtparametrische Schätzung entlang einer glatten Kurve ohne Beulen sehen. Aber dieses Mal haben wir nicht so viel Glück!
Es ist jedoch nicht überraschend, dass die Schätzung Unebenheiten oder Wendepunkte aufweist. Laut der Wikipedia-Seite auf CLEVER Es gibt zwei Arten von Festplattenausfällen: vorhersagbare Fehler und unvorhersehbare Fehler. Es hört sich an, als würden sie über Versagensmodi sprechen: Abnutzung und alle anderen. Wir könnten davon ausgehen, dass jeder Fehlermodus durch eine einzige Verteilung modelliert werden kann, z. B. Weibull, Lognormal. Dann können wir das berühmte anwenden Badewanne Ausfallrate .
Das ist auch nicht so einfach. Es ist überraschend, in der nichtparametrischen Schätzung mindestens zwei offensichtliche Wendepunkte zu sehen. Einer ist um 150 Tage und der andere um 550 Tage. Wenn der spätere die vorhersehbaren und nicht vorhersagbaren Fehler teilt, dann sagt uns der erste Wendepunkt, dass wir die unvorhersehbaren Fehler in mehr als einen Modus klassifizieren können?
Angenommen, wir betrachten den Wendepunkt um 550 Tage als den Ort, an dem Ausfälle vorhersehbarer werden, ist es überraschend, dass sich die Ausfälle vor diesem Punkt allmählich schneller aufbauen. Ist das nicht widersprüchlich? Ich würde erwarten, dass sich unerwartete Ausfälle verlangsamen werden, je nachdem, was wir von der Badewannenausfallrate erwarten sollten.
Bevor wir tiefer eintauchen, möchte ich einen Blick auf die SMART-Statistiken in den Daten werfen. Ich habe mir die als SMART 187 bezeichnete Statistik angesehen, weil sie in einem Backblaze-Blogbeitrag hervorgehoben wird. SMART Stats der Festplatte als eine der vielversprechendsten Variablen für die Entscheidung, ob eine Festplatte ersetzt werden muss.
Ich habe ein einfaches Streudiagramm der SMART 187-Rohwerte gegen das Alter der Festplatten erstellt, als die entsprechenden SMART 187-Werte aufgezeichnet wurden. Das linke Feld zeigt ein Streudiagramm für die guten Festplatten, die ihre letzten Datensätze nicht durchgefallen sind. Das rechte Feld zeigt ein Streudiagramm für die ausgefallenen Festplatten. Entsprechend den Erklärungen auf SMART Stats der Festplatte werden die Unterschiede in den beiden Darstellungen erwartet, dh die SMART 187-Werte in den rechten Bedienfeldern scheinen größer zu sein als die Werte in dem linken Bedienfeld. Dies steht im Einklang mit der Behauptung, je höher der SMART 187-Wert ist, desto wahrscheinlicher fällt die Festplatte aus.
Bisher keine schwer verständlichen Überraschungen. Gut. Das sind aber wohl bekannte Tatsachen. Was jetzt? Wir haben keine Angst davor, uns die Hände schmutzig zu machen, denke ich.
Fortsetzung folgt…
