Mainboards, BIOS, Prozessoren, RAM 27.255 Themen, 123.517 Beiträge

Verfolgung starten Optionen

Wie schnell ist RAM bei kleinen Dateien?

Sovebämse / 19 Antworten / Flachansicht Nickles

Hallo zusammen

Da ja das Problem auch heute noch besteht, dass beim Lesen / Zugriff auf viele kleinere Dateien (wie z. B. beim Windows-Start etc.) selbst bei den SSDs noch eine riesige Diskrepanz herrscht zum Lesen grosser Dateien (Leistung im unteren einstelligen Prozentbereich, konkret so um 50 MB/s), wollte ich mal fragen, ob es diese krasse Diskrepanz eigentlich auch beim RAM gibt.

Zudem die Frage: Wird es in Zukunft mal möglich sein, das Lesen kleiner Dateien fast so schnell hinzukriegen wie das Lesen grosser Dateien? Was bräuchte es dazu noch und wie weit ist man schon auf dem Weg? Nehme an, da reden wir dan schon über den Quantencomputer bzw. diese Ebene der Technik.

Gruss und Dank
Thomas

bei Antwort benachrichtigen
Das wird nie schneller werden. Der Zeitaufwand wird für die Adressierung benötigt. pappnasen
Und weshalb kann die Adressierung nicht schneller werden? Sovebämse
Hi! Das ist eine recht komplexe Sache. Versuchen wir es mal mir meinem Wissen zu betrachten das ist allerdings auch nicht ... Andreas42
Die Prozesseorgeschwindigkeit hat damit auch zu tun. pappnasen
Uff... ...ich stelle mir gerade einen Quantenrechner in der Bude vor. Das Hochhaus daneben dient dem Kühlen - Irgendwann ... fakiauso
Das ist dann mal eine echte Innovation. Weshalb soll der Mensch dem Rechenknecht sagen was er machen soll? Der soll ... hatterchen1
Die Diskussion bewegt sich vermutlich eher im ideellen Bereich. Zumindest ist die grosse Diskrepanz zwischen Lesen und ... fakiauso
Also ich merke nicht einmal den Unterschied zwischen SSD und NVMe mit quasi fünffacher Geschwindigkeit. Und beim RAM ... hatterchen1
NVMe ist eine Schnittstelle zur Anbindung von SSDs, als für diesen Einsatzweck besser geeignete Alternative zu SATA/AHCI. ... Borlander
Der muss aber auch wesentlich mehr lesen und schreiben als Du um das gleiche Ergebnis zu erzielen. Borlander
So ein paar Ergänzende Gedanken: U.U. müssen wir auch erst noch das Verzeichnis finden innerhalb eines Verzeichnisbaums. ... Borlander
Nun, die Erklärungen zeigen, warum diese Prozesse bei mehreren, kleineren Dateien so lange dauern. Aber es sagt noch ... Sovebämse
... die sind unabhängig von der Dateigröße. Bei großen Dateien ist deren Anteil nur vernachlässigbar klein. Siehe ... Borlander
Hi! Ich habe noch einen anderen Erklärungsansatz, der darauf hinaus läuft, dass es einfach nicht geht. Der ... Andreas42
Ja, Andreas. Was du schreibst, leuchtet mir ein bzw. habe ich eigentlich auch vorher schon gewusst. Der Verwaltungsaufwand ... Sovebämse
Andreas42 Sovebämse „Ja, Andreas. Was du schreibst, leuchtet mir ein bzw. habe ich eigentlich auch vorher schon gewusst. Der Verwaltungsaufwand ...“
Optionen

Hi!

Da kommt man dann mehr in den Bereich der Software Entwicklung. Dazu muss man sich dann die Frage stellen, braucht man viele kleine Dateien (zur Konfiguration)?
In der Praxis ist mir aufgefallen, dass man dazu immer häufiger auf Datenbanken zurückgreift. Die speichern dann viele kleine Datenmengen in einer größeren Datenbankdatei und umgehen damit dann den Verwaltungsaufwand für einzelne Dateien. Macht durchaus Sinn.

Andererseits sitze ich in der Praxis an einem ERP-Programm, dessen Kerntechnik noch aus den 90er Jahren kommt. Die schreiben Konfigurationsdaten aus der Datenbank in kleine ASCII-Dateien, um sie schneller lesbar zu machen. Örgs!

Und weil das ja so nicht wirklich klappt (siehe Oben), werden diese Laufzeitdaten, dann auf dem ERP-Server im RAM gehalten ("Shared memory" wird das genannt), so dass die ganzen Userprozesse diese Laufzeitdaten direkt vorfinden und nicht erst kompliziert laden müssen. (Zur Entlastung muss man sagen: als das erfunden wurde, hatten die noch keine echte Datenbank unterm Hintern, sondern haben die einzelnen Tabellendaten wirklich als normale Dateien im Filesystem gespeichert.)

Man hat also bereits seit Jahrzehnten Methoden, um mit diesem Klein/Klein umzugehen. Trotzdem bleibt es ein Murks.

Übrigens war der letzte mir bekannte Schrei im Datenbankumfeld, die komplette Datenbank komprimiert im RAM des Datenbank-Servers zu halten. Dann spart man sich die ganzen Leseoperationen auf der Platte. (Link zur Zauberei)

Bis dann
Andreas

Bitte bei der Ueberweisung im Betreff "Loeschen fuer Kohle" und den Beitrag angeben. Knausern hilft nicht!
bei Antwort benachrichtigen
Ja, das ist eine berechtigte Frage bzw. wäre der richtige Ansatz, alles in grosse Dateien zu schreiben. Jedoch: braucht es ... Sovebämse
Dann hast Du statt einer kompletten Partition plötzlich eine große Container-Datei mit einem eigenen Dateisystem: Damit ... Borlander
Ziemlich sicher nicht. Und vor allem nicht in Form eines universellen Dateisystems. Für Anwendungen wie den Start eines ... Borlander