Samsung ist wieder einmal dabei erwischt worden, wie sie fuer bestimmte Benchmarks ihren SoC auf volle Leistung getrimmt haben. Auf dem neuen Samsung Galaxy Note 3 wurde Code entdeckt, der die Cores der Snapdragon 800 Version Vollgas geben laesst und somit min. 20% mehr Performance bringen soll.

Ach was wird das wieder einen Aufschrei geben bei den weltweiten Medien. Samsung ist wieder einmal “erwischt” worden und zwar von den Kollegen von Ars Technica. Das Galaxy Note 3 in der Snapdragon 800 Version weist Code auf, der die einzelnen Cores wohl um bis zu. 20% schneller laufen laesst und damit entsprechend Benchmark-Ergebnisse beeinflusst. Halleluja!

Also was haben die genau gemacht? Ars Technica hat anhand von Geekbench herausgefunden, dass alle 4 Kerne auf volle Performance geschaltet sind und diese sich auch nicht komplett in den Idle-Mode schieben, wie es z.B. beim Nexus 4 geschieht:

Im obrigen Screenshot seht ihr die CPU-Load des Note 3 waehrend einer normalen App, im Vergleich mit Geekbench. Beim Nexus 4 schaut das unter Geekbench so aus:

Da die einzelnen Kerne waehrend des Benchmarks nicht mehr in den Idle-Modus schalten, beeinflusst dies die Ergebnisse, was Ars Technica dann auch sehenswert anhand des Geekbench beweisen kann:

Jetzt wird es spannend, denn ich frage mich ehrlich gesagt was der ganze Heckmeck soll und wie die Kollegen sich zu so einer Aussage hinreissen lassen koennen:

Benchmarks exist to measure the performance of a phone during normal usage, and a device should never treat a benchmark app differently than a normal app

Nein, diese Benchmarks simulieren kein normales Nutzungsszenario. Es sind nicht mehr und nicht weniger als virtuelle Schwanzvergleiche. Hat sich schon jemals jemand gefragt warum der Vettel bei nem Formel 1 Grand Prix nicht mit einer Richtgeschwindigkeit von 50 (wuerde dann ja bei den Stadt-GPs von Monaco, Singapur und Valencia zutreffen) bzw. 120 (auf allen anderen Strecken) unterwegs ist?
Natuerlich nicht, denn das ist ja ein Rennen und da gewinnt nun einmal der Schnellste!

Was Samsung macht mag vielleicht ein Problem fuer die Tester sein, bei denen Benchmarks inzwischen den fundamentalen Teil ihrer Testberichte ausmachen (wir machen sie auch aber fuer mich sind die verdammt unwichtig), aber es ist sicherlich kein Betrug oder auch nur sonst irgendwas in dieser Richtung.

Seit Jahrzehnten (!!!) sind diese Praktiken in der Industrie weit verbreitet. AMD, Intel, NVIDIA…. sie alle haben es gemacht und ich kann euch versichern, dass einige Hersteller von CPUs und GPUs extrem eng mit den Codern der populaeren Benchmarks zusammenarbeiten.

Und wenn all das dann auch nicht mehr hilft, dann baut man sich halt seinen eigenen Benchmark zusammen! Qualcomm macht dies z.B. mit dem Vellamo, der weltweit von den grossen IT-Seiten als Standard genutzt wird. Und jetzt ratet mal warum da die Snapdragon SoCs immer so gut abschneiden?

Das hier ist ein Skandal der keiner ist sondern endlich einmal die Aussagekraft von Benchmarks relativiert.