DxOMark - Samsung Galaxy S9 Plus und Google Pixel 2 XL

Kommentar
Über DxOMark, Kamera-Bewertungen ohne Bedeutung und Clickbait-Artikel

“DxOMark sagt, Smartphone X hat die beste Kamera auf dem Markt“. "DxOMark sagt, Smartphone 1 ist mit einem Punkt mehr besser als Smartphone 2. Redet keinen Unsinn". DxO sagt vieles. Viele nehmen DxOMark als Referenz für Smartphone-Kameras, ohne die Seite einmal besucht zu haben. Das tolle Gefühl, eine Zahl als Referenz zu haben und faule Medien-Outlets, welche beim Testen und Vergleichen Zeit sparen wollen, ohne zu hinterfragen, war genug, um die DxOMark in der breiten Masse innerhalb der letzten Jahre extrem beliebt zu machen. Warum Ihr diesen Punktzahlen und Überschriften nicht blind vertrauen solltet, erzähle ich euch hier.
von Ümit Memisoglu am 27. März 2018

Die Gesamtpunktzahl:

Zu allererst betrachten wir die Gesamtpunktzahl. Das ist das, was bei Clickbait-Überschriften und auf der Übersichtsseite von DxOMark zu sehen ist, wenn Ihr nach den Smartphonekamera-Bewertungen schaut. Dabei handelt es sich um Punkte, die nicht beschränkt sind und auch keine Prozentzahlen darstellen, wie viele Leute und Medien das oft annehmen, da sich die Smartphone Bewertungen bisher gezielt unter 100 Punkten platzieren. Erst heute hat sich das geändert: Das Huawei P20 Pro und das P20 haben gerade eben das Samsung Galaxy S9 Plus an der Spitze abgelöst.

Was kann man mit diesen Nummern machen, fragt Ihr? Gute Frage: Einfach ignorieren, denn sie sind überhaupt nicht repräsentativ und völlig willkürlich basierend auf willkürlichen Gewichtungen, die weder den Test, noch die Teilpunkte in einer sinnvollen Form wiedergeben. Was bei dem einen Smartphone stärker gewichtet wird, wird plötzlich beim anderen weniger gewichtet. Inkonsistent nennt sich das. Es ist für Leute, die verzweifelt nach einer einzigen Zahl suchen, egal wie bedeutungslos sie ist, um möglichst einfach zwei Zahlen miteinander zu vergleichen.

DxOMark Teilbewertungen
Teilpunkte werden willkürlich gewichtet, sodass ein Gesamtwert ohne Aussage berechnet wird – Quelle: DxOMark.com

Hat ein Smartphone einen Punkt mehr, ist es automatisch besser und die Konkurrenz ist es nicht mehr Wert beachtet zu werden, wenn man viele Kommentaren unter unseren Testberichten, Social Media Posts und Videos einmal glauben mag. Für den (normalen) Menschen, der logarithmisch denkt, sollte dieser einer Punkt von 98 zu 99 eigentlich kaum etwas ausmachen, aber trotzdem wird man meist dafür beleidigt, wenn man die 98er Kamera nach einer langen Testphase (im Alltag) deutlich besser findet.

Gerade beim Mate 10 Pro musste ich mir trotz Blindvergleich und letzter Platzierung gegen 6 andere Top-Smartphones viel Schwachsinn anhören, da es doch 97 Punkte hat. Dabei sagten wir auch nicht, dass sie schlecht ist, sondern eben nicht ganz auf dem Niveau der Konkurrenz. Dass die Bedingungen genau gleich für jedes Smartphone waren, war auch undenkbar, denn es liegt laut einem Kommentator daran, dass der Autor (ich) das eine Smartphone besser bedienen kann, als das andere. Fanboy ist man dann auch noch.

Eine einzige Zahl sagt kaum etwas aus und nur die wenigsten bemühen sich überhaupt auf die Testberichte von DxOMark zu klicken und die Einzelwertungen, sowie den eigentlichen Bericht zu betrachten, die deutlich aussagekräftiger, da sie tatsächlich gut und aussagekräftig testen können. Hier muss man aber bedenken, was auch zum nächsten Punkt „Aktualität” passt, dass DxOMark im September 2017 ihr Bewertungssystem im Bezug auf Testberichte und Teilpunkte komplett umgestellt hat. Alles was davor kam, lässt sich nicht mehr vernünftig mit allem was danach kam vergleichen. Trotzdem steht die Rangliste noch da, als wäre nichts passiert.

 

Aktualität

Samsung Galaxy S9 Plus und Google Pixel 2 XL

Ein anderer Punkt ist, dass DxOMark nur die Wertung anzeigt, die ein Gerät erhalten hat, sobald es erschien. Das Problem daran ist, dass Smartphone-Kameras überwiegend abhängig von der Software sind. Eine Blende von f/1.6 macht eine Kamera nicht besser als eine f/1.7er Kamera. Es ist meist die Software, die entscheidet, wie gut eine Smartphone-Kamera eigentlich ist, wie wir das z.B. auch beim Google Pixel 2 sehen, welches keine Dualkamera oder die beste Blende benötigt, um dieselben Funktionen wie bei andere Smartphones zu bieten, da sie eine starke Software haben.

Wie wir wissen, ändert sich Software im laufe der Zeit und ein Smartphone erhält besonders in den ersten Monaten viele Updates, welche die oft auch die Kamera optimiert. Das Google Pixel 2 ist auch hier ein gutes Beispiel, da sie bereits mehrere Updates seit dem Launch erhalten hat, die mehr Funktionen und Qualitätsverbesserungen gebracht haben. Dies wird nicht durch die gegebene Punktzahl reflektiert, da diese nicht aktualisiert wird.

Trotzdem sagt man uns: “Ja, aber eure Bewertung ist 3 Monate alt, aber bei DxO ist das am akuellsten“. Nein, das stimmt nicht, denn dort ist die Bewertung genauso alt, weshalb es Sinn macht, dass dort das aktuellste Smartphone besser ist. Deshalb vergleichen wir die Geräte auch immer wieder direkt miteinander, aber hey: DxOMark hat gesprochen und deren Wort wiegt mehr als das aller anderen. Interessiert das überhaupt jemanden, also Medien und Konsumenten? Nicht wirklich, denn die Bequemlichtkeit und besonders das Vertrauen siegt hier beim Konsumenten, die durch Clickbait-Überschriften in die Irre geleitet werden. Ein Hinterfragen findet in solchen Artikeln nie statt. Clicks sind eben wichtiger als der Inhalt.

Smartphone-Hersteller wissen, wie man das zu seinem Vorteil nutzt, um anfängliche Verkäufe deutlich zu fördern und Ihr Produkt durch tolle Überschriften besser zu vermarkten und um ehrlich zu sein: Man kann sie dafür auch nicht beschuldigen, da wir diejenigen sind, die das nicht hinterfragen.

Objektivität

Ein weiteres Problem, dass ich mit DxO habe ist, dass sie wissen, wie man sich als objektiv verkauft, ohne wirklich objektiv zu sein. Das tun übrigens viele Medien auch, aber absolute Objektivität ist unmöglich. Das gibt es schlicht und einfach nicht. Das objektivste an einem Testbericht sind die Spezifikationen. Bei DxOMark ist es nochmal etwas anderes.

DxOMark ist eine Firma zum Testen von Kamerasensoren und sie haben wirklich beeindruckendes Equipment, um Kameras gut und vernünftig zu testen. Das Problem ist jedoch, dass sie gleichzeitig auch eine Beratungsfirma sind. Eine Firma, die von Herstellern dafür bezahlt wird, dass sie möglichst gute Sensoren entwickeln, die die Tests von DxOMark möglichst gut bestehen und auch bestmöglich abschneiden. Deshalb sehen wir auch mit jedem neuen Smartphone auch die nächstbessere Smartphone-Kamera.

Die Ergebnisse im Labor dürften wirklich gut sein, aber sobald andere Bedingungen herrschen und man sich nicht mehr in der Testumgebung befindet, werden sich die Ergebnisse ändern, denn es handelt sich dabei nicht um Alltagstests. Das Ergebnis sieht im Alltag fast immer anders aus. Wie viel Objektivität oder Subjektivität hier am Ende in den Tests von DxOMark steckt, ist schwer zu beurteilen, aber man kann zumindest festlegen, dass die Tests nur bedingt aussagekräftig sind und man sich auch hier eine eigene Meinung durch Betrachten von mehreren Quellen bilden sollte.

Also was könnt Ihr für die Zukunft mitnehmen? Schaut euch nicht nur Zahlen und Benchmarks etc. an, sondern betrachtet das Ganze im Detail und nehmt andere Meinungen und Quellen dazu, um eure Meinung zu bilden. Klickt nicht auf Artikel, deren dreihundert Wörter nur aus dem bedeutungslosen Nennen einer Zahl und Vergleichen mit anderen bedeutungslosen Zahlen besteht, weil die Google-Suche solche Headlines mag. Und zu guter letzt: Beleidigt und beschuldigt nicht einfach Blogger, Journalisten, Youtuber und wer weiß noch wen, die sich noch die Mühe machen, selbst zu testen und Ihre eigene Meinung wiederzugeben, sondern diskutiert oder kommentiert auf respektvolle Art und Weise. So werdet Ihr nämlich gehört und die andere Seite hat weniger Stress.