Der Begriff Da­ten­re­duk­ti­on umfasst Methoden, mit denen du die physisch zu spei­chern­de Da­ten­men­ge ver­rin­gerst. So sparst du wert­vol­len Spei­cher­platz und senkst deine Kosten.

Was ist Da­ten­re­duk­ti­on?

Unter Da­ten­re­duk­ti­on versteht man ver­schie­de­ne Verfahren zur Ka­pa­zi­täts­op­ti­mie­rung. Ziel ist es, die Menge der zu si­chern­den Daten zu mi­ni­mie­ren. Da das weltweite Da­ten­auf­kom­men stetig wächst, ist diese Reduktion es­sen­zi­ell, um In­for­ma­tio­nen res­sour­cen­spa­rend und kos­ten­ef­fi­zi­ent zu verwahren.

Wir un­ter­schei­den bei der Da­ten­re­duk­ti­on primär zwei Ansätze: Da­ten­kom­pres­si­on und De­du­pli­ka­ti­on. Während die ver­lust­freie Kom­pres­si­on Red­un­dan­zen innerhalb einer Datei nutzt, um diese zu ver­dich­ten, gleichen De­du­pli­ka­ti­ons-Al­go­rith­men Daten da­tei­über­grei­fend ab, um Dopp­lun­gen zu vermeiden.

De­du­pli­ka­ti­on

De­du­pli­ka­ti­on ist ein Prozess, der darauf abzielt, Da­ten­red­un­dan­zen auf einem Spei­cher­sys­tem zu vermeiden. Das funk­tio­niert entweder direkt am Spei­cher­ziel oder an der Da­ten­quel­le. Eine De­du­pli­ka­ti­ons-Engine nutzt dabei spezielle Al­go­rith­men, um iden­ti­sche Dateien oder Da­ten­blö­cke auf­zu­spü­ren und zu entfernen. Besonders bei der Da­ten­si­che­rung ist dies das zentrale An­wen­dungs­ge­biet.

Das Ziel: Es werden nur so viele In­for­ma­tio­nen auf den Da­ten­trä­ger ge­schrie­ben, wie für eine ver­lust­freie Wie­der­her­stel­lung absolut notwendig sind. Je mehr Duplikate du entfernst, desto kleiner wird die Da­ten­men­ge, die über­tra­gen oder gesichert werden muss.

Duplikate können auf Datei-Ebene iden­ti­fi­ziert werden (wie etwa bei Git oder Dropbox). Noch ef­fi­zi­en­ter arbeiten jedoch Al­go­rith­men auf der Sub-Datei-Ebene. Hierbei werden Dateien in Da­ten­blö­cke (Chunks) zerlegt und mit ein­deu­ti­gen Prüf­sum­men, den so­ge­nann­ten Hash­wer­ten, markiert. Eine Tracking-Datenbank dient als Kon­troll­in­stanz und verwaltet alle Prüf­sum­men.

Es gibt zwei Varianten der block­ba­sier­ten De­du­pli­ka­ti­on:

  • Feste Block­län­ge: Dateien werden in exakt gleich lange Ab­schnit­te un­ter­teilt, meist ori­en­tiert an der Clus­ter­grö­ße des Datei- oder RAID-Systems (oft 4 KB).
  • Variable Block­län­ge: Der Al­go­rith­mus teilt Daten in flexible Blöcke auf, deren Länge sich nach der Art der Inhalte richtet.

Die Wahl der Block­ein­tei­lung be­ein­flusst die Effizienz massiv. Das zeigt sich besonders bei nach­träg­li­chen Än­de­run­gen: Bei festen Block­grö­ßen werden nach einer Änderung oft alle folgenden Segmente als „neu“ erkannt, da sich die Block­gren­zen ver­schie­ben. Das treibt den Re­chen­auf­wand und die Band­brei­ten­nut­zung in die Höhe.

Arbeitet ein Al­go­rith­mus hingegen mit variablen Block­gren­zen, wirken sich Än­de­run­gen in einem Block nicht auf die Nach­bar­seg­men­te aus. Nur der mo­di­fi­zier­te Block wird angepasst und neu ge­spei­chert, was dein Netzwerk entlastet. Diese Fle­xi­bi­li­tät erfordert jedoch mehr Re­chen­leis­tung, da der Al­go­rith­mus die Auf­tei­lung der Chunks erst berechnen muss.

Da­ten­kom­pres­si­on

Bei der Da­ten­kom­pres­si­on werden Dateien in eine ef­fi­zi­en­te­re Dar­stel­lungs­form um­ge­wan­delt. So re­du­zierst du den Spei­cher­be­darf und verkürzt die Über­tra­gungs­dau­er. Dieser Co­dier­ge­winn lässt sich über zwei Wege erreichen:

  • Redundanz-Kom­pres­si­on: Bei dieser ver­lust­frei­en Methode lassen sich Daten nach der Kom­pres­si­on bitgenau wie­der­her­stel­len. Start- und Zieldaten sind identisch. Das klappt immer dann, wenn eine Datei wie­der­ho­len­de In­for­ma­tio­nen enthält.
  • Ir­rele­vanz-Kom­pres­si­on: Hierbei werden „un­wich­ti­ge“ In­for­ma­tio­nen gelöscht, was immer zu einem Da­ten­ver­lust führt. Die Ori­gi­nal­da­ten lassen sich nur noch annähernd re­kon­stru­ie­ren. Was als ir­rele­vant gilt, ist De­fi­ni­ti­ons­sa­che: Bei MP3-Dateien werden etwa Fre­quen­zen entfernt, die das mensch­li­che Gehör kaum wahrnimmt.

Auf Spei­cher­sys­te­men erfolgt die Kom­pres­si­on grund­sätz­lich ver­lust­frei. Da­ten­ver­lus­te werden jedoch bei der Über­tra­gung von Bildern, Videos oder Audio bewusst genutzt, um die Da­tei­grö­ßen massiv zu schrump­fen.

Sowohl das Codieren als auch das De­co­die­ren braucht Re­chen­power. Wie viel, hängt von der Methode ab. Manche Techniken trimmen auf maximale Kom­pakt­heit, andere auf Schnel­lig­keit. Die Wahl des Ver­fah­rens richtet sich also immer nach deinem konkreten Bedarf.

Methoden zur Da­ten­re­duk­ti­on im Vergleich

Um Backups zu erstellen oder Standard-Da­tei­sys­te­me zu op­ti­mie­ren, setzen Un­ter­neh­men meist auf De­du­pli­ka­ti­on. Der Grund: Diese Systeme arbeiten extrem effizient, wenn viele iden­ti­sche Dateien gesichert werden müssen.

Klas­si­sche Kom­pres­si­ons­ver­fah­ren benötigen oft mehr Re­chen­leis­tung und stärkere Platt­for­men. Am ef­fek­tivs­ten nutzt du deine Spei­cher­sys­te­me durch eine Kom­bi­na­ti­on beider Verfahren: Zuerst entfernt die De­du­pli­ka­ti­on doppelte Dateien, danach werden die ver­blei­ben­den Daten kom­pri­miert.

Zum Hauptmenü