Insider packt aus: Das passiert bei Facebook, wenn ihr ein Bild oder Profil meldet

Ihr meldet ein unangemessenes Posting und bekommt von Facebook die Meldung, dass es nicht gegen die Gemeinschaftsstandards verstößt. "Was machen die da?", fragt man sich - wir wollen heute ein wenig hinter die Kulissen blicken und euch erklären, wie die zuständigen Teams arbeiten.
von Carsten Drees am 24. November 2016

Immer öfter muss ich mich aufregen, wenn ich mich bei Facebook herumtreibe. Das hängt zu einem sehr großen Teil daran, dass ich oftmals unter irgendwelchen Links den Diskussionen folgen möchte und dabei dann in den Kommentaren echt in menschliche Abgründe blicke. Da wird gepöbelt und provoziert, unterstellt und verspottet, dabei oftmals an jeder Faktenlage vorbei argumentiert – willkommen im postfaktischen Zeitalter.

So manches mal – gestern war so ein Tag – ärgere ich mich aber dann auch über Facebook selbst. Viele von euch kennen die Situation auch: Man sieht ein unangemessenes Posting, welches auf einem Social Network unserem Empfinden nach nicht zu sehen sein sollte, meldet es bei Facebook und bekommt dann irgendwann die wenig zufriedenstellende Antwort, dass man sich zwar bei euch für die Mithilfe bedankt, der gemeldete Beitrag aber nicht gegen die Gemeinschaftsstandards verstoße. Eine Antwort von Facebook sieht dann zum Beispiel so aus:

Vielen Dank, dass du dir die Zeit genommen hast, einen möglichen Verstoß gegen die Gemeinschaftsstandards zu melden. Solche Meldungen sind sehr wichtig, damit wir eine sichere und einladende Nutzererfahrung auf Facebook sicherstellen können. Wir haben das von dir im Hinblick auf wegen Verherrlichung drastischer Gewalt gemeldete Video geprüft und festgestellt, dass es nicht gegen unsere Gemeinschaftsstandards verstößt.
Bitte teile uns mit, falls dir etwas auffällt, das dich beunruhigt. Es ist unser Ziel, dass Facebook für alle eine sichere und einladende Umgebung bleibt.

Übrigens könnt ihr jederzeit in eurem Support-Postfach nachsehen, was ihr an Facebook gemeldet habt und was aus den Meldungen geworden ist, die stets erwähnten Gemeinschaftsstandards könnt ihr hier nachlesen.

facebook-gemeinschaftsstandards

Bekommt ihr so eine negative Antwort, stellt ihr euch auch vielleicht die Frage, was genau da vorgegangen ist, ob ein Algorithmus oder ein Mensch die Meldung überprüft hat und nicht zuletzt natürlich, wieso die Prüfung nicht zu einer Löschung geführt hat.

Ganz ehrlich: Mir geht es ebenso und in meinem offenen Brief an Mark Zuckerberg gestern schrieb ich ja auch, dass mir das Verständnis fehlt, was die Arbeitsweise in den entsprechenden Instanzen bei Facebook angeht.

facebook-verbesserungsvorschlaege

Was passiert, nachdem ihr ein Posting gemeldet habt?

Mittlerweile habe ich ein klein wenig mehr Einblick, was bei Facebook hinter den Kulissen vor sich geht. Das liegt daran, dass gestern als Reaktion auf meinen Artikel ein ehemaliger Mitarbeiter des Teams Kontakt zu mir aufnahm, der mir ein wenig von dem erklären konnte, was die Arbeitsweise betrifft. Die Person möchte natürlich unerkannt bleiben, aber wir können euch zumindest jetzt einen Einblick gewähren – los geht’s:

Wer kümmert sich um die Facebook-Meldungen und wie viele Menschen sind dort eingebunden?

Die Person war bei der Arvato AG beschäftigt, einer Bertelsmann-Tochter, die sich aktuell exklusiv um die Facebook-Meldungen in Deutschland kümmert. Der Outsourcing-Dienstleister, der sein Social Media Monitoring seit diesem Jahr dem Social Network anbietet, beschäftigt in Berlin ein Team von etwa 600 Personen, die für deutsche Facebook-Meldungen zuständig sind. Damit haben wir schon mal eine Hausnummer, mit der man was anfangen kann – bislang ist da eher von einem etwa 100 Mann starkem Team ausgegangen worden.

Für spezielle Fälle soll es auch noch zuständige Teams in Irland geben (beispielsweise bei Kindesmissbrauch, Selbstverletzungen), die eingeschaltet werden können, prinzipiell laufen die Meldungen deutscher Facebook-Nutzer aber allesamt in Berlin bei Arvato auf. Übrigens gibt es auch Teams, die für Instagram zuständig sind. 

Die Mitarbeiter sind nochmal in verschiedene Teams aufgeteilt, beispielsweise arbeiten 10-15 Personen für das FNRP-Team. FNRP steht für Fake Not Real Person, es werden also in diesem speziellen Team nicht die gemeldeten Beiträge überprüft, sondern gemeldete Profile.

Wie werden die Meldungen abgearbeitet und über wie viele Meldungen reden wir hier?

Ein Vorwurf an Facebook – auch von mir erhoben – ist, dass zu viele Meldungen nie vor einem menschlichen Auge landen, sondern lediglich automatisiert bearbeitet werden. Dem ist aber nicht so, viel mehr arbeiten die Team-Mitglieder und die entsprechenden Algorithmen Hand in Hand. Es gibt von Facebook die Vorgabe, dass täglich 1.850 Tickets – also Meldungen – pro Person abgearbeitet werden sollen. Tatsächlich kommen die Angestellten aber eher auf 800 Tickets pro Tag und es wird im Zwei-Schichten-System (Frühschicht und Spätschicht) gearbeitet.

So kommen im oben bereits erwähnten FNRP-Team täglich etwa 10.000 Tickets zusammen, die von 10-15 Personen in diesem Fall abgearbeitet werden. Wer jetzt mitgerechnet hat, weiß also schon, dass pro Meldung lediglich einige Sekunden Zeit aufgewendet werden. Das ist in diesem Team aber gut zu schaffen, hab ich mir sagen lassen: Es wird geschaut, ob der Name „violent“ ist oder eben nicht, gewalttätige Fotos zu sehen sind und alles andere erledigt dann meist die Automatik.

Etwas mehr Zeit wird oftmals fällig, wenn es um gemeldete Profile aus dem Nazi-Umfeld geht. Logischerweise loten die auch ihre Grenzen aus und wissen, was sie sich erlauben dürfen und was nicht und so muss man bei der Kontrolle oft eben einen genaueren Blick auf die Abbildungen werfen, wenn beispielsweise eine schwarze Sonne als Symbol auftaucht oder ähnliches. Es ist also nicht so, dass – wie von uns oft unterstellt – die Meldungen an der menschlichen Kontrolle vorbeigehen. Vielmehr arbeiten Algorithmus und die Mitarbeiter gleichzeitig an einem solchen Ticket:

Ja genau, der Algorithmus macht schon viel selbst, aber Bilder bewerten und Videos kann der halt nicht, auch Namen ist nicht immer so seine Sache – es sei denn bei Celebs und Role-Player, die erkennt er mittlerweile ganz gut Es gibt dann so ein Update wie bei dem berühmten Napalm-Girl-Bild, das als exklusive Ausnahme kam. Normal ist das ein nacktes Kleinkind und fällt damit unter „Nudity“.

Vergesst bei den genannten Zahlen oben nicht, dass es sich dabei um eine spezifische Gruppe handelt, die sich mit gemeldeten Profilbildern beschäftigt. Das Team, welches sich beispielsweise mit Cybermobbing beschäftigt, hat „nur“ 4.000 bis 5.000 Tickets in der Queue, weil die Arbeit aufwändiger ist. Hier müssen längere Texte gelesen, Videos betrachtet werden etc., sprich: Weniger Arbeit für den Algorithmus, mehr zu tun für den Mitarbeiter.

Wann wird eine Meldung als Hassrede klassifiziert?

Grundsätzlich stuft Facebook Dinge als Hatespeech ein, wenn sie auf irgendeine Weise auf eine „Protected Category“ (PC) abzielen. So sind Mitglieder einer Religion (also Juden wie in unserem gestrigen Beispiel) eine solche Kategorie. Die Religion an sich ist dabei aber nicht grundsätzlich geschützt. Insgesamt gibt es acht dieser geschützten Kategorien und dazu noch mit dem Thema „Flüchtlinge“ eine QPC (Quasi Protected Category) – alles in allem also neun Kategorien, zwischen denen unterschieden wird.

QPC ist dabei eine abgemilderte Kategorie, bei der Facebook eher Dinge laufen lässt als bei den anderen Kategorien. Zum Beispiel ist „Wir wollen keine Asylanten hier“ nach Facebook-Statuten legitim, nicht aber, wenn gegen Asylbewerber Gewalt angedroht wird. Hier habt ihr die insgesamt neun Kategorien im Überblick, nach denen bei Hatespeech unterschieden wird:

PC:

  • race
  • ethnicy
  • national origin
  • serious disability
  • gender
  • sex
  • religious attention
  • sexual orientation

QPC:

  • migrants

Damit nun Hatespeech vorliegt, muss also eine Attacke vorliegen, die sich gegen die oben genannten Kategorien richtet. Zu diesen Attacken gehören:

  • calling for violence, exclusion, segregation
  • degrading generalizations
  • slurs
  • dismissing
  • cursing

Dabei gibt es Dinge, die pauschal nicht durchgehen, andere Punkte, die durchgewunken werden und dazwischen eben auch viele strittige Punkte. So ist beispielsweise eine Beleidigung zu ahnden, die sich gegen eine der PCs oder der QPC richtet, nicht aber automatisch, wenn sie unabhängig davon ausgesprochen wird.

Ein Beitrag wird in jedem Fall gelöscht, wenn zu Gewalt gegen Flüchtlingen aufgerufen wird, oder wenn Flüchtlinge entmenschlicht werden (beispielsweise, indem man sie als Untermenschen bezeichnet oder sie mit Tieren vergleicht). Es stellt auch einen Unterschied dar, ob die gemeldete Formulierung eine Inklusion oder eine Exklusion darstellt. Beispiel: „Nur für Weiße“ ist eine Inklusion und geht durch, „Hier nicht für Schwarze“ wäre eine Exklusion und damit nicht okay für Facebook.

Und wieso ist dann das von mir gemeldete Posting/Profil jetzt immer noch online?

Wir haben jetzt also schon gehört, wie viele Menschen sich um die Meldungen kümmern, wie die Bearbeitung vonstatten geht und was erfüllt sein muss, damit Facebook einer gemeldeten Nachricht oder einem Profil das Prädikat „Hatespeech“ verpasst. Was wir jetzt noch nicht wissen: Wieso gibt es denn so viele Ansatzpunkte für die Teams und dennoch so wenig gelöschte Meldungen?

Vorab: Das da oben ist nur ein kleiner Ausschnitt dessen, was Facebook den Mitarbeitern von Arvato an Regelwerk mit auf den Weg gibt. Insgesamt ist das Manual, welches die angestellten Personen an die Hand bekommen, 48 Seiten dick. Wir haben uns in diesem Beitrag jetzt ausschließlich mit dem Punkt Hassrede beschäftigt, aber es gibt eben für jeden anderen Punkt – Mobbing, Terrorismus, Nacktheit usw. – eben eigene Regeln, die beachtet werden müssen.

Kommen wir jetzt zum Knackpunkt der Geschichte und damit der Crux mit den Meldungen: Facebook gibt ziemlich starre Regeln vor, nach denen sich die Teams richten müssen. Oberste Regel dabei: No Assumption, also keine Vermutungen. Nehmen wir dazu unser konkretes Beispiel von gestern:

wollner

Dazu schreibt mein Informant:

Wir mutmaßen nicht, was der Verfasser des Beitrages gemeint haben könnte – auch wenn es für viele offensichtlich ist. Es ist für Facebook hier einfach zu schwierig, eine klare Grenze zu ziehen, solange der Verstoß gegen die PC nicht vollständig offensichtlich ist. Und so bedauerlich dass in diesem Fall auch ist, scheint es für den Rep erst mal kein Verstoß zu sein. Es ist schlicht keine abwertende Bemerkung, keine Gewalt, kein Vergleich mit Ratten oder ähnliches. FB hat Regeln festgelegt – und die sind recht umfangreich. Aber wie Regeln eben so sind, auch recht starr. Grad, was viel Interpretation zulässt, kann und wird nicht immer vollständig abgedeckt werden.

Uns ist also klar, worauf das Bild und der dazugehörige Kommentar abzielen, dem Mitarbeiter, der sich um die Meldung kümmert ist es auch klar, aber dennoch sind ihm durch die Facebook-Regeln die Hände gebunden. Das Problem in diesem Fall: Wir sehen einen Ofen, sehen Geldscheine auf dem Boden – somit ist die Abbildung eben nicht von vornherein zu löschen, weil es nicht gegen die Gemeinschaftsstandards verstößt. Bei dem Kommentar mit der „Judenfalle“ ist mir die Spucke weggeblieben, als ich es gelesen habe, nichtsdestotrotz verstößt es an sich nicht gegen die Facebook-Regeln, weil es nach diesen strengen Statuten nicht klar genug formuliert ist. Er schreibt eben, dass er diese Falle gebaut hat, aber nicht explizit, dass er mit Geld Juden anlocken will, um sie dann anschließend zu verbrennen.

Dieser Unterschied ist – auch für mich – ein minimaler und nach wie vor würde ich jederzeit wieder damit rechnen, dass so ein Posting ohne große Diskussion sofort nach der Kontrolle entfernt wird. In der Praxis und nach den auf Meinungsfreiheit bedachten Facebook-Regeln muss der Mitarbeiter einen solchen Beitrag aber zähneknirschend online lassen.

Dass dieser Beitrag später dann doch noch gelöscht wurde, ist dem Umstand geschuldet, dass ihn wirklich sehr viele Menschen gemeldet haben und die Nummer größere Kreise zog. Seht es also eher als die Ausnahme, die die Regel bestätigt. Die „Reps“, die sich darum kümmern, haben hier keinen Spielraum und müssen sich streng an die von Facebook vorgegebenen Policies halten.

Ich hab noch ein zweites Beispiel aus der Praxis bekommen, direkt aus dem FNRP-Bereich: Ein Mann nennt sich Hagen Kreuz! Davon gibt es übrigens in der Tat einige bei Facebook, wie ihr auf dem Screenshot sehen könnt.

hagen-kreuz

Unserem Kontakt ist das besagte Profil unzählige Male vorgelegt worden, aber er konnte es nicht sperren. Worauf der Name abzielen könnte, ist äußert offensichtlich, dummerweise ist aber „Hagen“ ein normaler Vorname und „Kreuz“ auch ein üblicher Nachname, so dass „in case of doubt“ zugunsten der Person entschieden und nicht gelöscht wird – immerhin könnte es tatsächlich sein richtiger Name sein. Dem Mitarbeiter sind also die Hände gebunden, was den Namen angeht, die weitere Prüfung beschreibt er wie folgt:

Die letzten 18 Bilder, welche hochgeladen wurden, enthalten nichts, was gegen die Policies verstößt, also auch hier nix. Der Algorithmus prüft noch paar interne Sachen wie Alter des Profils, verbundene Freunde, Aktivitäten etc. Wenn da nix Auffälliges weiter ist – ignore. Dass sein Arbeitsplatz ein KZ sein soll usw. wird nicht abgefragt und ist bei der Profilmeldung kein Punkt – alle Arbeitsstätten kennt man nicht, also wird man hier auch nicht aus Plausibilität prüfen.

Welchen Erkenntnisgewinn bringt uns das nun?

Wir wissen also, wer sich um die Meldungen kümmert, welche Richtlinien zu befolgen sind und dass deren starre Auslegung dazu führt, dass viele in unseren Augen anstößigen Postings dann doch nicht entfernt werden. Wir wissen auch, dass Facebook aber schon mal einknickt, wenn sich nur genügend Leute melden, die ein und denselben Beitrag entfernt haben wollen.

Wenn ihr das jetzt trotz neuer Infos über die Arbeitsweise einigermaßen unbefriedigend findet: Willkommen im Club – geht mir ebenso. Und nicht nur mir: Unser Informant sagt, dass man es im Team eben auch unglücklich findet, die Dinge so starr bewerten zu müssen und nicht mehr eigenen Spielraum zu besitzen. Facebook hat sich hier faktisch verbessert in den letzten Monaten, das sollte man auch durchaus anmerken, aber unterm Strich bleiben einfach viel zu viele Postings, die so nicht auf Facebook stehen sollten, aber eben doch da sind.

Ich hab auch den Unterschied absolut begriffen zwischen der ganz offensichtlichen Stoßrichtung eines Postings, bei dem wir automatisch im Kopf den Zusammenhang erfassen – und den Postings, in denen der gleiche Gedanke auch tatsächlich so klar formuliert wird. „Verpasst ihm eine Kugel“ ist also was anderes als „Erschießt den Asylanten“, obwohl es dasselbe meint.

Ich hab in meinem Rant mehr Personal gefordert, welches sich um die Meldungen kümmern soll. Fordere ich auch immer noch, aber nach den derzeitigen Regeln würde sich nicht viel ändern, fürchte ich. Die Regeln müssen modifiziert werden, damit Facebook von diesem Schund befreit wird.

Darüber hinaus gibt es aber auch nach wie vor viel zu viele Postings, die auch nach den hier aufgeschriebenen Erkenntnissen über die Lösch-Kriterien ganz klar dazu führen sollten, dass ein Beitrag entfernt wird. „Zusammen schlagen und dann mit stein um den hals im kanal versenken das dumme schwein“ ist eine äußerst unmissverständliche Ansage und trotz Meldung immer noch online.

Hier muss der gute Herr Zuckerberg mit seinen Mitarbeitern noch mächtig nacharbeiten und auch, wenn ich dagegen bin, dass vom Staat zu viel reglementiert wird: Hier muss zur Not unsere Regierung dem Kollegen auf die Finger klopfen, wenn er seinen Laden eben nicht sauber halten kann.

Wenn ihr euch jetzt durch diesen ellenlangen Text geackert habt (danke dafür schon mal an dieser Stelle), dann solltet ihr aber trotzdem unbedingt eine Erkenntnis mitnehmen: Die Meldungen werden nicht nur automatisiert bearbeitet, sondern durchaus durch engagierte Mitarbeiter, die viel mehr löschen würden, als man sie derzeit lässt. Lassen wir also unseren Unmut nicht an den Menschen aus, die sich tagtäglich mit unseren Meldungen auseinandersetzen müssen – sie können am wenigsten dazu, dass Facebook so aussieht, wie es nun mal aussieht. Außerdem sollten wir durchaus anerkennen, dass sie sich Tag für Tag durch diesen Dreck kämpfen müssen, von dem wir nur so einen klitzekleinen Ausschnitt mitbekommen. In diesem Zusammenhang will ich unbedingt noch auf den starken Artikel von Bernd verweisen:

Lesenswert: Auf den Philippinen arbeitet die Müllabfuhr des Internets

Wir berichteten ja bereits darüber, dass gegen Mark Zuckerberg und einige seiner Manager-Kollegen wegen des Verdachts auf Beihilfe zur Volksverhetzung ermittelt wird. Vielleicht passiert ja an dieser Front was oder auch bei den Bestrebungen der von Bundesminister Maas eingerichteten Task Force.

Bis es soweit ist, müssen wir mit dem leben, was wir an Möglichkeiten haben. Ich werde also weiterhin fleißig Beiträge und Personen melden und darauf hoffen, dass es viele andere auch tun. Was könnt ihr noch tun? Neben der Meldung wendet euch direkt per Online-Anzeige an die Polizei (Beispiel: Polizei NRW). Dabei ist wichtig, dass ihr vorher die Postings oder Profile mit Screenshots sichert, auf denen auch die URL zu erkennen ist. Im Gegensatz zu mir bei dem Fall mit der „Judenfalle“ (ich komm immer noch nicht auf das Wort klar) solltet ihr aber davon absehen, ein solches Posting oder einen Screenshot davon selbst auf Facebook zu teilen. Schlimmstenfalls könnte es zu einer Gegenanzeige kommen.

Ich will mich jetzt nicht nur dafür bedanken, dass ihr euch jetzt tatsächlich bis ans Ende des Artikels gekämpft habt, sondern auch dafür, dass ihr nun hoffentlich ein wenig mehr Verständnis für die Facebook-Mitarbeiter (bzw. die in den beauftragten Firmen) aufbringt, weiter tapfer alle Hetzer bei Facebook meldet und gegebenenfalls anzeigt.

Und wenn ihr mir darüber hinaus noch einen Gefallen tun wollt: Versucht, zu einem besseren Klima beizutragen. Vielleicht nicht bei jedem Schreibfehler dem Gegenüber sagen, wie verblödet er ist, generell die Betriebstemperatur ein wenig herunterfahren, nicht automatisch auf dumme Sprüche mit Sprüchen der gleichen Kategorie antworten etc. – eigentlich all das, was selbstverständlich sein sollte. Ich glaub immer noch daran, dass die Anständigen weit in der Überzahl sind, auch wenn wir noch so viele Idioten im Netz wahrnehmen. Wenn wir alle ein wenig fairer miteinander umgehen und dem anderen mehr zuhören, dann bin ich sicher, dass wir auch weniger Hetzer und radikalen Dreck auf Facebook finden werden.

 

PS: Wenn ihr noch einen richtig starken und ausführlichen Artikel zu dem Thema lesen wollt, dann lege ich euch den Beitrag wärmstens ans Herz, den Sandra Schink für Smart-Heart verfasst hat! Dort hab ich übrigens auch das schöne Doodle-Video von „Doodle Junkie“ Sandra Martin gefunden, welches ihr etwas weiter oben seht. Sie greift in ihrem Artikel sehr umfassend Facebooks Vorgehensweisen und Argumentationen auf, auch was Punkte wie beispielsweise Nudity angeht, die in unserem Beitrag nicht berücksichtigt wurden. Und sie kommt zu einem Fazit, dem wir uns vollumfänglich anschließen:

Facebook sollte ein dringendes Interesse daran haben, es uns virtuell gleich zu tun, klare Kante zu zeigen und Stellung zu beziehen. Denn wenn das einstige Wohlfühlnetzwerk, das unser virtuelles Wohnzimmer geworden ist, sich zu einem Moloch aus Hass, Drohungen und Gewalt wandelt, werden die Guten dieses Wohnzimmer verlassen, weil sie es einfach nicht mehr ertragen können.