Mainboards, BIOS, Prozessoren, RAM 27.265 Themen, 123.628 Beiträge

Verfolgung starten Optionen

Wie schnell ist RAM bei kleinen Dateien?

Sovebämse / 19 Antworten / Flachansicht Nickles

Hallo zusammen

Da ja das Problem auch heute noch besteht, dass beim Lesen / Zugriff auf viele kleinere Dateien (wie z. B. beim Windows-Start etc.) selbst bei den SSDs noch eine riesige Diskrepanz herrscht zum Lesen grosser Dateien (Leistung im unteren einstelligen Prozentbereich, konkret so um 50 MB/s), wollte ich mal fragen, ob es diese krasse Diskrepanz eigentlich auch beim RAM gibt.

Zudem die Frage: Wird es in Zukunft mal möglich sein, das Lesen kleiner Dateien fast so schnell hinzukriegen wie das Lesen grosser Dateien? Was bräuchte es dazu noch und wie weit ist man schon auf dem Weg? Nehme an, da reden wir dan schon über den Quantencomputer bzw. diese Ebene der Technik.

Gruss und Dank
Thomas

bei Antwort benachrichtigen
Das wird nie schneller werden. Der Zeitaufwand wird für die Adressierung benötigt. pappnasen
Und weshalb kann die Adressierung nicht schneller werden? Sovebämse
Hi! Das ist eine recht komplexe Sache. Versuchen wir es mal mir meinem Wissen zu betrachten das ist allerdings auch nicht ... Andreas42
Die Prozesseorgeschwindigkeit hat damit auch zu tun. pappnasen
Uff... ...ich stelle mir gerade einen Quantenrechner in der Bude vor. Das Hochhaus daneben dient dem Kühlen - Irgendwann ... fakiauso
Das ist dann mal eine echte Innovation. Weshalb soll der Mensch dem Rechenknecht sagen was er machen soll? Der soll ... hatterchen1
Die Diskussion bewegt sich vermutlich eher im ideellen Bereich. Zumindest ist die grosse Diskrepanz zwischen Lesen und ... fakiauso
Also ich merke nicht einmal den Unterschied zwischen SSD und NVMe mit quasi fünffacher Geschwindigkeit. Und beim RAM ... hatterchen1
NVMe ist eine Schnittstelle zur Anbindung von SSDs, als für diesen Einsatzweck besser geeignete Alternative zu SATA/AHCI. ... Borlander
Der muss aber auch wesentlich mehr lesen und schreiben als Du um das gleiche Ergebnis zu erzielen. Borlander
So ein paar Ergänzende Gedanken: U.U. müssen wir auch erst noch das Verzeichnis finden innerhalb eines Verzeichnisbaums. ... Borlander
Nun, die Erklärungen zeigen, warum diese Prozesse bei mehreren, kleineren Dateien so lange dauern. Aber es sagt noch ... Sovebämse
... die sind unabhängig von der Dateigröße. Bei großen Dateien ist deren Anteil nur vernachlässigbar klein. Siehe ... Borlander
Hi! Ich habe noch einen anderen Erklärungsansatz, der darauf hinaus läuft, dass es einfach nicht geht. Der ... Andreas42
Ja, Andreas. Was du schreibst, leuchtet mir ein bzw. habe ich eigentlich auch vorher schon gewusst. Der Verwaltungsaufwand ... Sovebämse
Hi! Da kommt man dann mehr in den Bereich der Software Entwicklung. Dazu muss man sich dann die Frage stellen, braucht man ... Andreas42
Ja, das ist eine berechtigte Frage bzw. wäre der richtige Ansatz, alles in grosse Dateien zu schreiben. Jedoch: braucht es ... Sovebämse
Dann hast Du statt einer kompletten Partition plötzlich eine große Container-Datei mit einem eigenen Dateisystem: Damit ... Borlander
Borlander Sovebämse „Wie schnell ist RAM bei kleinen Dateien?“
Optionen
Zudem die Frage: Wird es in Zukunft mal möglich sein, das Lesen kleiner Dateien fast so schnell hinzukriegen wie das Lesen grosser Dateien?

Ziemlich sicher nicht. Und vor allem nicht in Form eines universellen Dateisystems. Für Anwendungen wie den Start eines Betriebssystems könnte man ggf. durch Einsatz von für diesen Einsatzzweck optimierten Speicherabbildern (die dann als eine große Datei im Dateisystem liegen) ein bisschen mehr Leistung rauskitzeln, wird dafür dann aber vorher wesentlich mehr Zeit zur Optimierung investieren müssen.

Jetzt versuchen wir das ganze noch noch mal etwas zu quantifizieren:

Lesegeschwindigkeit[B/s] := Dateigröße[B] / Gesamtlesedauer[s]

Die gesamte Lesedauer beschränkt sich nun aber nicht nur auf die Inhalte, sondern umfasst auch noch den Zeitbedarf für den Zugriff (was offensichtlich mindestens so lange dauern wird wie das Lesen der entsprechenden Organisationsstrukturen) selbst. D.h.:

Gesamtlesedauer[s] := Zugriffsdauer[s] + Inhaltslesedauer[s].

Die Zugriffsdauer ist fast (bzw. wächst zumindest um Größenordnungen langsamer als die Dateigröße) unabhängig von der Dateigröße. Für große Dateien können wir dann

Zugriffsdauer << Inhaltslesedauer

annehmen (und somit gilt Lesegeschwindigkeit[B/s] ~ Dateigröße[B] / Inhaltslesedauer[s] ), aber für kleine Dateien kann das sogar in Richtung

Zugriffsdauer >> Inhaltslesedauer

gehen und fällt die Lesegeschwindigkeit am Ende eher enttäuschend aus. Wobei bei kleinen Datenmengen u.A. durch das Warten und Caching der Zeitbedarf relativ höher ausfällt.

bei Antwort benachrichtigen