Datenträger - Festplatten, SSDs, Speichersticks und -Karten, CD/ 19.562 Themen, 109.845 Beiträge

Verfolgung starten Optionen

Datenintegrität - was tun wenn Bits auf der Festplatte kippen?

Nutellageil / 12 Antworten / Baumansicht Nickles

Hallo,
ich habe gelesen dass Bits auf HDDs einfach kippen können, finde aber zu dem Thema nur wenig Information.
Kennt jemand gute Seiten zu dem Thema?


Bzw:
Ich möchte wissen was man dagegen tu kann. Ich habe viele Fotos und CD Rips (korrekt akurat geript) und bin sehr epmflindlich gegen Knackser und Störungen und auch sonst ein Perfektionist. Die Original CDs gebe ich meisst aus Platzgründen weg da ich sie nicht mehr brauche. Sind Daten einmal digitalisiert so dachte ich einst, sind sie für die ewigkeit konserviert. Mehrfach gesichert und hin und wieder die Datenträger gecheckt mit Oberflächenanalyse und Dateisystemcheck über Windows. Damit sollte eigentlich alles getan sein, dachte ich. Ist aber wohl nicht so, denn alle diese Dinge schützen nicht davor das einfach mal Bits ihren Zustand ändern.

Zur Zeit schreibe ich mit immer bei wichtigen Ordnern aus den Eigenschaften immer die aktuelle Bytegröße mit dazu (352 GB (378.606.788.297 Bytes)) um dann später wieder zu vergleichen ob sich hier was verändert hat. Ist das Unsinn sowas zu machen?

Grundsätzlich:
Werden gekippte Bits nicht bei jedem Kopiervorgang (Datensicherung) bemerkt, da die Daten ja dann mit ihrer Prüfsumme verglichen werden ???

Wenn nicht wüsste ich gerne wieso, und ob es eine Möglichkeit gibt, festzustellen ob Bits gekippt sind.


Hintergrund: Bei der Arbeit die ich mir mache (der PC ersetzt ja heute ein ganzes Wohnzimmerregal mit Fotoalben und CDs) möchte ich nicht dass meine Daten sich einfach verändern. Sie sollen doch bitte so bleiben wie sie einst von ihrer Quelle kopiert wurden. Was also tun?


Danke!

(Ich nutze zurzeit PC mit Win 7, NTFS, und diverse HDDS)

bei Antwort benachrichtigen
Xdata Nutellageil „Datenintegrität - was tun wenn Bits auf der Festplatte kippen?“
Optionen

?

Bits kippen .. ist da nicht jedes autonom - soll bedeuten
--  und wenn nur einzelne kippen die nichts globales ausmachen ..

Nun, Festplatten sind schwache Boliden, nicht geeignet als dauerhaftes Datenlager.
CDs traue ich noch am ehesten als Dauerlager*, nach ein paar Jahren umkopieren.

*Alles was CDs nachgesagt wird gilt fast    nur   bei DVDs.
-- Die Player und auch DVDs selber sind nicht sicher.

Und SSDs?  Nee Bewahre!

Deine Sorge ist so gesehen durchaus berechtigt.
Es bleibt ja fast nur auf Festplatten zu speichern, die eingeschlossen bzw. nicht mehr bewegt  werden.

Es soll noch besonders sichere Spezialscheiben geben.
Die sind wohl sehr teuer und nur bei extrem wichtigen Daten oder im Profibereich sinnvoll.

Also, bei    kleinen Datenmengen    CDs oder bekannt gute DVDs (falls es die gibt) die dann ab und zu umkopiert werden.
Festplatten die nicht in Betrieb sind und nur rausgeholt um die Daten zu holen,
ansonsten wie ein rohes Ei behandeld werden.

Ein DauerDatenträger tut Not -- mit mehr Volumen als DVDs!

bei Antwort benachrichtigen
Borlander Xdata „? Bits kippen .. ist da nicht jedes autonom - soll bedeuten ...“
Optionen
Bits kippen .. ist da nicht jedes autonom - soll bedeuten --  und wenn nur einzelne kippen die nichts globales ausmachen ..

Es gibt viele Stellen an denen das Kippen eines einzelnen Bits fatale Folgen haben kann: Angefangen in den Magic Bytes (den ersten paar Bytes die zum sicheren Erkennen des Dateitypes erforderlich sind), über Datei-Header, interner Datenstrukturen und Längenangaben sowie schließlich weiterer Metadaten. Wer schon mal versucht hat Binärformate einzulesen wird  dabei festgestellt was ein falsches Bit alles für Folgen haben kann.

CDs traue ich noch am ehesten als Dauerlager*

Ich nicht. Bei CD-Rs kannst Du froh sein, wenn sie nach 10 Jahren noch lesen kannst.

Es soll noch besonders sichere Spezialscheiben geben. Die sind wohl sehr teuer und nur bei extrem wichtigen Daten oder im Profibereich sinnvoll.

Die ganzen professionellen Archiv-Speichermedien sind inzwischen mehr oder weniger ausgestorben und werden letztendlich an vielen Stellen durch Festplatten basierte Archiv-Verfahren ersetzt. Bevor jetzt irgendwer wieder Streamer herauskramt: Das lohnt sich meines Erachtens nur noch in Form eines großen Tape-Silos mit hierarchischem Speichermanagement und großem Plattencache. Wenn Du regelmäßig auf die Daten zugreifen willst, dann musst Du Dich mit der sehr begrenten Bandlebensdauer auseinandersetzten. Also eher die Einbahnstraße für Daten an die man normalerweise nie wieder dran muss (Backups und Daten die aus rechtlichen Gründen über viele Jahre vorgehalten werden müssen)…

bei Antwort benachrichtigen
Xdata Borlander „Es gibt viele Stellen an denen das Kippen eines einzelnen ...“
Optionen

Danke, wieder was dazugelernt denn wenigstens CDs erschienen als halbwegs sicher ..
wenn auch heutzutage recht klein.

DVDs traue ich aber deutlich weniger zu als CDs.

Ein Problem ist das Datenvolumen.

Als Archiv bzw.   eine   umfangreiche Datei  
geht das Kopieren gefühlt ungleich schneller.

Wichtig wenn man riesige Datenmengen aus Sicherheit umkopieren will.

Das Be File System (BFS) erschien erscheint? besonders geeignet zu sein.
Datenverlust sei da weil transaktionsbasiert recht unwahrscheinlich.

Hatte mal eine Festplatte wo jedes andere BS ausstieg, da von fehlerhaften Sektoren durchsetzt.
BeOs hatte - wohl wegen des Be File Systems selbst - damit kaum Probleme. Cool

Nicht ganz objektiv Verlegen aber das BS selbst lief mit der -Lochplatte- so viele Sektoren waren da defekt. Eben ein    Datenbank Dateisystem    oder so.

bei Antwort benachrichtigen
Borlander Xdata „Danke, wieder was dazugelernt denn wenigstens CDs erschienen ...“
Optionen
DVDs traue ich aber deutlich weniger zu als CDs.

Kommt auf das Format an. Bei DVD-RAMs hätte ich keine pauschalen Bauchschmerzen. Die kamen in ver Vergangenheit auch mal in professionellen Archiv-Lösungen zum Einsatz. Damals noch in Konkurrenz zu MO und später UDO, mit signifikant höheren Medienpreisen.

Als Archiv bzw.   eine   umfangreiche Datei 

Von irgendwelchen Archiv-Datei-Formaten würde ich die Finger lassen. Das schafft bloß eine zusätzliche Fehlerquelle der Art "Totaler Datenverlust durch gekipptes Bit". Am besten Dateiweise kopieren.

Das Be File System (BFS) erschien erscheint? besonders geeignet zu sein. Datenverlust sei da weil transaktionsbasiert recht unwahrscheinlich.

Das wäre heute nach nun über 15 Jahren allerdings auch kein Alleinstellungsmerkmal mehr…

bei Antwort benachrichtigen
gelöscht_23570 Xdata „? Bits kippen .. ist da nicht jedes autonom - soll bedeuten ...“
Optionen
Es soll noch besonders sichere Spezialscheiben geben. Die sind wohl sehr teuer und nur bei extrem wichtigen Daten oder im Profibereich sinnvoll.

Damit wäre dann wohl die M-Disc gemeint.

Gruß Alois

bei Antwort benachrichtigen
Xdata gelöscht_23570 „Damit wäre dann wohl die M-Disc gemeint. Gruß Alois“
Optionen

Ja, genau.

Wenigstens    EIN    Medium scheint im Zeitalter der digitalen ....Langzeit.... angekommen zu seinLächelnd.

Nicht auf den normalen User konditioniert aber fast so haltbar wie
in Stein gemeißelt.

Bei der    Langzeit   sind die modernen digitalen Datenspeicher  .. Steinzeit .. oder auch wieder nicht. Ein ambivalenter KontextCool.

bei Antwort benachrichtigen
Pfützner Xdata „? Bits kippen .. ist da nicht jedes autonom - soll bedeuten ...“
Optionen
Ein DauerDatenträger tut Not -- mit mehr Volumen als DVDs!

Gibt es - LTO.

Festplatten sind, wie CD, DVD und Blue-ray für Datensicherung völlig ungeeignet.

bei Antwort benachrichtigen
Borlander Nutellageil „Datenintegrität - was tun wenn Bits auf der Festplatte kippen?“
Optionen

http://en.wikipedia.org/wiki/Data_rot da hättest Du schon mal einen Einstiegspunkt. Allerdings in Englisch.

Letztendlich gibt es verschiedene Stellen an denen was schief gehen kann. Einzelne fehlerhafte physikalische Bits auf Festplatten würden ggf. durch die Checksummen des Sektors entdeckt. Das passiert dann aber her Plattenintern. Anschließend kann aber auch auf dem Übertragungswerg noch was schief gehen. In den Datenblättern von Festplatten tauchen heute Fehlerraten von 10^-13 bis 10^-15 auf, d.h. wenn 10^13 bzw. 10^15 Bits gelesen wurden kann ein Fehler dabei auftreten, muss aber nicht. Bei sehr großen Speichersystemen ist das aber inzwischen ein nicht mehr zu vernachlässigendes Problem. Professionelle Speichersysteme nutzen auch Lösungen mit Paritätsdaten und Checksummen um die Fehlerrate zu reduzieren.

Zur Zeit schreibe ich mit immer bei wichtigen Ordnern aus den Eigenschaften immer die aktuelle Bytegröße mit dazu (352 GB (378.606.788.297 Bytes)) um dann später wieder zu vergleichen ob sich hier was verändert hat. Ist das Unsinn sowas zu machen?

Das bringt Dir absolut überhaupt nichts, wenn ein einzelnes Bit innerhalb der Daten sich ändert. An der Dateigröße ändert sich dann nämlich nichts mehr.

Was Du machen kannst: Eine Liste mit Checksummen aller Dateien generieren und diese dann regelmäßig zu überprüfen. MD5 würde für Deinen Fall schon vollkommen ausreichen, da bösartige Manipulationen durch Dritte hinreichend sicher ausgeschlossen werden können und die Berechnung deutlich schneller ist als sicherere Hash-Verfahren wie z.B. SHA1.

Grundsätzlich: Werden gekippte Bits nicht bei jedem Kopiervorgang (Datensicherung) bemerkt, da die Daten ja dann mit ihrer Prüfsumme verglichen werden ???

Welche Prüfsummen? Nicht bei jedem Kopiervorgang findet anschließend auch Vergleich von Quelle und Ziel statt. Fehler die bereits im Ziel vorhanden sind lassen sich damit jedoch nicht entdecken.

Was also tun?

Checksummen erzeugen und vergleichen scheint mir hier das sinnvollste.

Moderne Dateisysteme für große Speicherpools wie z.B. ZFS bieten integrierte Checksummen-Funktionen an (http://en.wikipedia.org/wiki/ZFS#ZFS_data_integrity) um dabei Bitfehler direkt im Dateisystem identifizieren zu können. Teilweise wird dann auch noch der Einsatz von ECC-RAM dringend empfohlen um Bitfehler im RAM erkennen zu können. Für ECC-RAM benötigst Du allerdings eine CPU und ein Mainboard die das ganze unterstützen…

Gruß
Borlander

bei Antwort benachrichtigen
Nutellageil Borlander „http://en.wikipedia.org/wiki/Data_rot da hättest Du schon ...“
Optionen

Also sorry, ich brauch mal ne Einführung von Grund auf.

Es heist doch immer Audio CDs haben keine Prüfsumme, deswegen muss beim Kopieren das Laufwerk erraten wo Bitfehler sein könnten. Aber auf Festplatten im NTFS gibts doch Prüfsummen?

Ich dachte alle Dateien oder die einzelnen Fragmente die auf der Festplatte liegen (Dateisystem NTFS) sind mit einer Checksumme versehen, und beim Kopieren werden die geschriebenen Dateien oder Teile der Dateien mit ihrer dabeiliegenden Checksumme verglichen ob auch alles korrekt angekommen ist. Oder wieso sonst krieg ich beim Kopieren manchmal ne Fehlermeldung wenn die Datei beschädigt ist, hm?

Kann man das mal irgendwo für Anfänger nachlesen?

Oder kanns mir jemand kurz erklären?

Muss ich mir extra ein Checksummenprogramm installieren ????? :-O  So wie Checksum Control z.B... ?

bei Antwort benachrichtigen
Borlander Nutellageil „Also sorry, ich brauch mal ne Einführung von Grund auf. Es ...“
Optionen
Es heist doch immer Audio CDs haben keine Prüfsumme, deswegen muss beim Kopieren das Laufwerk erraten wo Bitfehler sein könnten.

Auch Audio-CDs enthalten Korrekturinformationen. Bei Daten-CDs sind es allerdings deutlich mehr, da Bitfehler hier anders als bei der Audio-Wiedergabe nicht tolerierbar sind.

Aber auf Festplatten im NTFS gibts doch Prüfsummen?

NTFS als Dateisystem bietet keine Prüfsummen. Einzig intern wird die Festplatte ggf. einfache Prüfsummen über Sektoren erzeugen und diese speichern. (Das ist mit ein Grund warum man inzwischen die Sektorgröße von 512 auf 4096 Bytes vergrößert hat, weil die Metadaten doch einen gewissen Overhead erzeugen).

Ich dachte alle Dateien oder die einzelnen Fragmente die auf der Festplatte liegen (Dateisystem NTFS) sind mit einer Checksumme versehen

Bei NTFS auf jeden Fall nicht.

Oder wieso sonst krieg ich beim Kopieren manchmal ne Fehlermeldung wenn die Datei beschädigt ist, hm?

Fehler können auf verschiedenen Ebenen auftreten. Datei beschädigt hört sich aber eher so als als gäbe es Probleme die Quelldatei zu lesen.

Muss ich mir extra ein Checksummenprogramm installieren ????? :-O  So wie Checksum Control z.B... ?

Windows bietet zumindest von Haus aus keine Tools zum Umgang mit Checksummen. Welche Software hierfür empfehlenswert ist kann ich nicht sagen.

bei Antwort benachrichtigen
Pfützner Nutellageil „Datenintegrität - was tun wenn Bits auf der Festplatte kippen?“
Optionen
Ich habe viele Fotos und CD Rips (korrekt akurat geript) und bin sehr epmflindlich gegen Knackser und Störungen und auch sonst ein Perfektionist.

Einen einzelnen Bitfehler kannst Du weder sehen noch hören, selbst mehrere nicht.

Zur Zeit schreibe ich mit immer bei wichtigen Ordnern aus den Eigenschaften immer die aktuelle Bytegröße mit dazu (352 GB (378.606.788.297 Bytes)) um dann später wieder zu vergleichen ob sich hier was verändert hat. Ist das Unsinn sowas zu machen?

Ja. Zum einen muß sich die Datengröße bei einem Bitfehler nicht ändern und zum anderen würdest Du den Fehler nur bemerken. Du weißt aber nicht wo der steckt, an Korrektur ist gar nicht zu denken.

ob es eine Möglichkeit gibt, festzustellen ob Bits gekippt sind.

Ja, ein Consistency Check bei Raid würde solche Fehler erkennen - einzelne Platten wahrscheinlich nicht. Beim kopieren wird der Fehler mit kopiert.

Werden gekippte Bits nicht bei jedem Kopiervorgang (Datensicherung) bemerkt, da die Daten ja dann mit ihrer Prüfsumme verglichen werden ???

Ja, aber nur wenn der Fehler beim Kopiren auftritt. Ist der Fehler vorher schon da wird er mit kopiert.

bei Antwort benachrichtigen
Nutellageil Pfützner „Einen einzelnen Bitfehler kannst Du weder sehen noch ...“
Optionen
ein Consistency Check bei Raid würde solche Fehler erkennen

Ist das so?

Woher weiß der Controller, dass die Partitätsdaten richtig sind und nicht hier sich was eingeschlichen hat und er daraus dann falsche Originaldaten generiert?

Einen einzelnen Bitfehler kannst Du weder sehen noch hören, selbst mehrere nicht

Sicher?

Wenn ein Bit kippt, dann verwandelt sich bei einem Foto z.B. ein Pixel von grün nach rot.

So stell ich mir das vor. Oder es ist nicht mehr lesbar und wird interpoliert. Das sieht man natürlich nicht.

Aber bei Musik?

bei Antwort benachrichtigen