Facebook: „cold storage“ für selten abgerufene Fotos

Über 240 Milliarden Fotos hostet Facebook inzwischen, täglich kommen rund 350 Millionen dazu und gerade mal 8% dieser Fotos sind für 82% des Traffics verantwortlich. Der größte Teil der Fotos wird also eher selten aufgerufen oder auch gar nicht mehr. Eine möglichst energieeffiziente Art der Speicherung hat sich Facebook mit „cold storage“ überlegt.

Es gibt wohl nur wenige Firmen, die solche Datenberge anhäufen wie sie über 1 Milliarde Mitglieder von Facebook dem Unternehmen täglich in Form von Status-Updates, Links, Videos und Fotos geben. Diese Datenmengen müssen irgendwo gespeichert und für den Abruf bereit gehalten werden. Bislang passiert so was in ganz regulären Rechenzentren, in denen die Rechner und Speichersysteme ständig laufen und auf Anfragen reagieren.

Wenn aber gerade mal 8% der Fotos bei Facebook für 82% des Traffics verantwortlich sind, dann merkt man schnell, dass es große Mengen an Daten gibt, auf die kaum noch – oder auch nie wieder – zugegriffen wird. Es erscheint also als pure Verschwendung, diese auf ständig laufenden Systemen vorzuhalten, falls sie doch mal jemand abrufen will. Dafür hat man sich bei Facebook das Konzept von „cold storage“ überlegt. Selten benötigte Daten werden dabei auf Systeme verschoben, die den größten Teil ihrer Zeit im Ruhezustand verbringen sollen. Erst wenn ein User Daten aus diesem „cold storage“ anfordert wird das entsprechende System geweckt und bearbeitet die Anfrage. Dadurch verzögern sich die Antwortzeiten für solche Daten natürlich, aber laut Facebook soll es nur eine Frage von Sekunden oder sogar Millisekunden sein. Wenn man sich anschaut, wie schnell moderne Rechner oder mobile Devices aus dem Ruhezustand hochfahren durchaus realistisch.

Natürlich ist das bislang ein Problem, das direkt nur wenige Anbieter betrifft, aber je mehr Daten überall gesammelt werden, desto mehr werden auch andere Anbieter diese Probleme haben. Eine der technischen Seiten von „Big Data“. Indirekt sind aber natürlich alle Nutzer davon betroffen: Wir alle speichern – ob bewusst oder unbewusst – Daten bei verschiedenen Anbietern und es werden immer mehr Daten. Und wir greifen auch auf solche „in der Cloud“ gespeicherten Daten zu – in Zukunft vielleicht auf weniger populäre Inhalte einfach langsamer als auf die beliebten und aktuellen Daten.

Und nicht zu vernachlässigen ist natürlich auch, dass eingesparter Strom nicht nur dem Budget des Stromverbrauchers, sondern auch der Umwelt zugute kommt – und damit auch wieder uns allen.