Datenreduktion
Der Begriff Datenreduktion umfasst Methoden, mit denen du die physisch zu speichernde Datenmenge verringerst. So sparst du wertvollen Speicherplatz und senkst deine Kosten.
Was ist Datenreduktion?
Unter Datenreduktion versteht man verschiedene Verfahren zur Kapazitätsoptimierung. Ziel ist es, die Menge der zu sichernden Daten zu minimieren. Da das weltweite Datenaufkommen stetig wächst, ist diese Reduktion essenziell, um Informationen ressourcensparend und kosteneffizient zu verwahren.
Wir unterscheiden bei der Datenreduktion primär zwei Ansätze: Datenkompression und Deduplikation. Während die verlustfreie Kompression Redundanzen innerhalb einer Datei nutzt, um diese zu verdichten, gleichen Deduplikations-Algorithmen Daten dateiübergreifend ab, um Dopplungen zu vermeiden.
Deduplikation
Deduplikation ist ein Prozess, der darauf abzielt, Datenredundanzen auf einem Speichersystem zu vermeiden. Das funktioniert entweder direkt am Speicherziel oder an der Datenquelle. Eine Deduplikations-Engine nutzt dabei spezielle Algorithmen, um identische Dateien oder Datenblöcke aufzuspüren und zu entfernen. Besonders bei der Datensicherung ist dies das zentrale Anwendungsgebiet.
Das Ziel: Es werden nur so viele Informationen auf den Datenträger geschrieben, wie für eine verlustfreie Wiederherstellung absolut notwendig sind. Je mehr Duplikate du entfernst, desto kleiner wird die Datenmenge, die übertragen oder gesichert werden muss.
Duplikate können auf Datei-Ebene identifiziert werden (wie etwa bei Git oder Dropbox). Noch effizienter arbeiten jedoch Algorithmen auf der Sub-Datei-Ebene. Hierbei werden Dateien in Datenblöcke (Chunks) zerlegt und mit eindeutigen Prüfsummen, den sogenannten Hashwerten, markiert. Eine Tracking-Datenbank dient als Kontrollinstanz und verwaltet alle Prüfsummen.
Es gibt zwei Varianten der blockbasierten Deduplikation:
- Feste Blocklänge: Dateien werden in exakt gleich lange Abschnitte unterteilt, meist orientiert an der Clustergröße des Datei- oder RAID-Systems (oft 4 KB).
- Variable Blocklänge: Der Algorithmus teilt Daten in flexible Blöcke auf, deren Länge sich nach der Art der Inhalte richtet.
Die Wahl der Blockeinteilung beeinflusst die Effizienz massiv. Das zeigt sich besonders bei nachträglichen Änderungen: Bei festen Blockgrößen werden nach einer Änderung oft alle folgenden Segmente als „neu“ erkannt, da sich die Blockgrenzen verschieben. Das treibt den Rechenaufwand und die Bandbreitennutzung in die Höhe.
Arbeitet ein Algorithmus hingegen mit variablen Blockgrenzen, wirken sich Änderungen in einem Block nicht auf die Nachbarsegmente aus. Nur der modifizierte Block wird angepasst und neu gespeichert, was dein Netzwerk entlastet. Diese Flexibilität erfordert jedoch mehr Rechenleistung, da der Algorithmus die Aufteilung der Chunks erst berechnen muss.
Datenkompression
Bei der Datenkompression werden Dateien in eine effizientere Darstellungsform umgewandelt. So reduzierst du den Speicherbedarf und verkürzt die Übertragungsdauer. Dieser Codiergewinn lässt sich über zwei Wege erreichen:
- Redundanz-Kompression: Bei dieser verlustfreien Methode lassen sich Daten nach der Kompression bitgenau wiederherstellen. Start- und Zieldaten sind identisch. Das klappt immer dann, wenn eine Datei wiederholende Informationen enthält.
- Irrelevanz-Kompression: Hierbei werden „unwichtige“ Informationen gelöscht, was immer zu einem Datenverlust führt. Die Originaldaten lassen sich nur noch annähernd rekonstruieren. Was als irrelevant gilt, ist Definitionssache: Bei MP3-Dateien werden etwa Frequenzen entfernt, die das menschliche Gehör kaum wahrnimmt.
Auf Speichersystemen erfolgt die Kompression grundsätzlich verlustfrei. Datenverluste werden jedoch bei der Übertragung von Bildern, Videos oder Audio bewusst genutzt, um die Dateigrößen massiv zu schrumpfen.
Sowohl das Codieren als auch das Decodieren braucht Rechenpower. Wie viel, hängt von der Methode ab. Manche Techniken trimmen auf maximale Kompaktheit, andere auf Schnelligkeit. Die Wahl des Verfahrens richtet sich also immer nach deinem konkreten Bedarf.
Methoden zur Datenreduktion im Vergleich
Um Backups zu erstellen oder Standard-Dateisysteme zu optimieren, setzen Unternehmen meist auf Deduplikation. Der Grund: Diese Systeme arbeiten extrem effizient, wenn viele identische Dateien gesichert werden müssen.
Klassische Kompressionsverfahren benötigen oft mehr Rechenleistung und stärkere Plattformen. Am effektivsten nutzt du deine Speichersysteme durch eine Kombination beider Verfahren: Zuerst entfernt die Deduplikation doppelte Dateien, danach werden die verbleibenden Daten komprimiert.