Datenträger - Festplatten, SSDs, Speichersticks und -Karten, CD/ 19.561 Themen, 109.835 Beiträge

Dateien auf 3 (oder mehr) Datenträger gleichzeitig schreiben

Nutellageil / 3 Antworten / Baumansicht Nickles

Zu meinen anderen Threads über eine hohe Datenintegrität ist mir jetzt noch eine Idee gekommen.

Um sich vor kippenden Bits bzw "silent data corruption" zu schützen, hatte ich die geniale Idee, wie wärs denn wenn man Daten gleichzeitig auf 3 (mindestens!, sonst gehts nicht) Datenträger gleichzeitig schreibt, ein erweitertes Mirror RAID quasi.

Für jeden Lesevorgang wird dann natürlich auch auf alle 3 Festplatten gleichzeitig zugegriffen. Die Daten werden in 3 verschiedene Caches gelesen und miteinander verglichen. Wenn alles 3 gleich ist sind die Daten allerhöchstwahrscheinlich nicht korrput oder haben sich irgendwie verändert.

Stimmt ein Ergebniss nicht mit den anderen 2 überein müssen diese Daten falsch sein (auf der Festplatte). Es gilt hier: Die Mehrheit hat recht. Daher min. 3 Platten, je mehr umso besser. Die falschen Daten werden dann verworfen und die richtigen (wo beide Ergebnisse übereinstimmen) weitergeleitet. Im selben Zug werden die falschen Daten auf der entsprechenden Festplatte sofort überschrieben.

Das würde allerhöchste Datenintegrität gewährleisten, und alle anderen Probleme wären gleich mit gelöst, von defekten Sektoren bis zum Ausfall einer ganzen Festplatte, alles würde auffliegen. Backup entfällt dann wohl auch.

-------------------

Ich kenne allerdings keinen Controller oder Überhaupt ein System was sowas kann. Gibt es sowas überhaupt in der IT Welt?

Gegen andere ähnliche Probleme könnte man z.B. auch den Arbeitsspeicher mehrfach auslegen und beschreiben.

-------------------

Bei den sinkenden Preisen für Datenträger halte ich das garnicht so abwegig. Technik wird generell immer billiger.

Ich selbst habe eine große Platte und 2 zur Sicherung. Daraus könnte ich schon einen solchen 3er Spiegel bauen und meine Sorgen um Datenintegrität wären gelöst, aber ich kenne kein System was sowas kann.

--------------------

Bei den großen Festplatten heute und meiner Datenmenge würde es schon reichen wenn Dateien gleich 3 oder 4 mal nebeneinandergeschrieben würden und auch gelesen. Das könnte eine Software managen. Wäre die gleiche Lösung, zwar wohl Ressourcen und Zeitaufwändig, würde mir aber vorerst schonmal reichen.

--------------------

Nun ist die heutige Philosophie über Computer wohl mangels technischer Entwicklung schon immer auf Geschwindigkeit gerichtet gewesen. Ich glaube aus diesem Grund hat sich wohl noch kaum jemand Gedanken über mehrfach redundantes Speichern gemacht.

Könnte das in Zukunft aber Thema sein?

bei Antwort benachrichtigen
Borlander Nutellageil „Dateien auf 3 (oder mehr) Datenträger gleichzeitig schreiben“
Optionen
Ich glaube aus diesem Grund hat sich wohl noch kaum jemand Gedanken über mehrfach redundantes Speichern gemacht. Könnte das in Zukunft aber Thema sein?

Da glaubst Du falsch. Über solche Dinge macht man sich schon viele seit längerer Zeit Gedanken. Insbesondere natürlich auch die großen Anbieter kommerzieller Speicherlösungen müssen sich zwingend mit der Problematik auseinandersetzen, weil die Speichersysteme eine Größenordnung erreicht haben in der Einzelbitfehler sehr wahrscheinlich geworden sind…

Es würde mich viel eher wundern wenn es noch keine Lösung gäbe die das von Dir beschriebene Verfahren umsetzt, das Konzept mit Mehrheitsentscheidung gibt es schon länger im Bereich von IT-Systemen mit besonders hohen Anforderungen.

Wahrscheinlich ließe sich das sogar mit dm-raid unter Linux umsetzen.

könnte man z.B. auch den Arbeitsspeicher mehrfach auslegen und beschreiben.

Beim Arbeitsspeicher hatte ich ja bereits auf ECC verweisen. Standard in "besseren" Serversystemen…

bei Antwort benachrichtigen
nemesis² Nutellageil „Dateien auf 3 (oder mehr) Datenträger gleichzeitig schreiben“
Optionen

Das Vorhaben ließe sich so höchstens für Datenplatten verwirklichen oder der Computer müsste (fast) komplett neu erfunden werden => welcher Bootloader würde von drei HDDs gleichzeitig lesen ...


Selbst wenn alles (Wichtige) komplett auf Datenplatten ausgelagert wäre, bremst das hammerhart das System aus!

Damit hätte man - theoretisch - die Bitfäule vielleicht im Griff, aber die viel häufigeren und gravierenden Fehler bleiben unberührt. (Feuer, Überschwemmung, Diebstahl, Verschlüsselungstrojaner, Hardwaredefekte, Anwenderfehler, Softwarefehler ...)


Für den Hausgebrauch und auch sonst halte ich das jedenfallss so für völlig unsinnig.  Ein regelmäßiges Backup mit Versionierung (z. B. rsyncBackup) auf mindestens zwei externe HDDs eine davon außer Haus (ggf. verschlüsselt), macht da wesentlich mehr Sinn.


Jede veränderte Datei wird beim rsyncBackup (http://www.heise.de/download/rsyncbackup.vbs.html) neu gespeichert. Ist später eine defekt, holt man die ältere Version. Das sollten aber ziemlich viele alte Backups aufgehoben werden. Weil nur veränderte Dateien gespeichert werden und der Rest über Hardlinks erfolgt, ist der Platzbedarf gering. Verschlüsselungstrojaner sind viel gefährlicher und zeitraubender (sowohl bei Vorsorge, als auch Säuberung) als die olle Bitfäule, die nur gelegentlich mal eine Datei erwischt.


Nachteile:
- etwas gewöhnungsbedürftig
- grottenlahm
- Dateisystemüberprüfung (chkdsk) dauert verdammt lange!!!
- man muss sich gründlich damit beschäftigen (Am Anfang)


Allgemein gilt, dass die Daten auf (Backup-)HDDs eben wegen möglicher Bitfäule alle 1-2 Jahre umkopiert werden sollten.


Sehr wichtig ist, das:


a) sich NIE alle Backup-HDDs zur selben Zeit im selben Raum befinden
b) man regelmäßig Backup macht und auch testet!
c) sich mindestens ein Backup außer Haus befindet (Tresor/Bankschließfach, bei Verwandten/Bekannten im Austausch - alles ggf. verschlüsselt!)
d) man für rsyncBackup ein anderes Konto verwendet und sich selbst so die Schreibrechte entziehen kann (ich sage nicht, dass dies ein Bootkit mit eigenen Netzwerkstack beeindrucken muss ...)
e) man sollte die HDDs ordentlich einpacken: z. B. Alukoffer/Blechsose, Frischhaltedose (wasserdicht) und das alles gut gepolstert!
f) man verwendet nur HDDs bis einschließlich 2 TB, darüber nur, wenn man weiß, was man macht und so ziemlich alle Fallen erkannt und ausgetestet hat.

Das hier:

Das würde allerhöchste Datenintegrität gewährleisten, und alle anderen Probleme wären gleich mit gelöst, von defekten Sektoren bis zum Ausfall einer ganzen Festplatte, alles würde auffliegen. Backup entfällt dann wohl auch.


Ist leider kompletter Blödsinn! Besonders der Verzicht aufs Backup!

Aus ähnlichen Gründen ist schon RAID 1 für  Heimanwender sehr wenig bis gar nicht sinnvoll. (Im Profibereich ist es etwas anderes, aber da kommt es auf ständige Verfügbarkeit ohne Ausfallzeiten an)

bei Antwort benachrichtigen
Pfützner Nutellageil „Dateien auf 3 (oder mehr) Datenträger gleichzeitig schreiben“
Optionen

Machbar ist sicher so manches - ein professionelles RAID kommt dem angedachten schon ziemlich nahe.

Aber selbst wenn es sowas wie Du es beschreibst gäbe - ein Backup würde es nicht ersetzen. Ein Virus ist ebenso schnell auf den Spiegel-Platten vorhanden, bzw. eine versehentlich gelöschte Datei ist ebenso schnell auf den Spiegeln weg.

Leider gibt es für Privatnutzer keine brauchbare Backup-Lösung mehr. Ob nun Festplatte, CD, DVD oder Blue-ray - alle für den Zweck ungeeignet. Es gibt speziell haltbare optische Medien (M-Disc) - sind die bei einem kräftigen Kratzer noch lesbar? Ich persönlich halte optische Datenträger nur für geeignet wenn sie in einem wechselbaren Caddy stecken, aus dem sie im Normalfall zum Lesen und Beschreiben nicht entnommen werden müssen.

Die beste  Lösung ist nach wie vor ein Bandlaufwerk, es gibt keine sinnvolle Alternative. 

bei Antwort benachrichtigen