staging.inyokaproject.org

Projektvorstellung: OpenBenchmarking.org

projektvorstellung.png

Auf OpenBenchmarking.org findet man Leistungsdaten von Hardware-Komponenten, die unter Linux betrieben werden. Die Benchmarks werden mittels Crowdsourcing automatisiert mit der Phoronix-Testsuite zusammengetragen.

Hinweis:

Dieser Artikel gehört zur Reihe der Projektvorstellungen, die in unregelmäßigen Abständen vergleichsweise unbekannte Projekte vorstellt, um sie so einem breiteren Publikum näher zu bringen. Diese Artikelreihe existiert seit 2008. Alle Projektvorstellungen können im Wikiartikel Projektvorstellungen eingesehen werden.

Leistung

OpenBenchmarking.org 🇬🇧 liefert Testergebnisse zu Chipsätzen, Grafikkarten, Festplatten und CPUs. Die Testergebnisse werden unter verschiedenen Betriebssystemen (z. B. Ubuntu, Fedora, Mac OS X) erhoben.

Um Testergebnisse auf OpenBenchmarking.org zu suchen, gibt es zwei Szenarien:

  1. Man möchte Grafikkarte X mit Grafikkarte Y vergleichen. Wie schnell ist Grafikkarte X in Relation zu anderen Grafikkarten?

  2. Man besitze Grafikkarte X und möchte herausfinden, unter welchem Betriebssystem die Grafikkarte am schnellsten funktioniert.

Funktionsweise

OpenBenchmarking ist ein Crowdsourcing-Projekt. Anwender können mit der Phoronix Test Suite ihr eigenes Computer-System testen und wenn sie wollen die Testergebnisse zu OpenBenchmarking hochladen. Jeder einzelne Test geht dann in die Suchergebnisse auf OpenBenchmarking.org mit ein.

Die Benchmarks der Phoronix-Testsuite umfassen Grafik-, CPU-, und Festplatten-Tests.

Stärken und Schwächen

Der große Vorteil von OpenBenchmarking liegt in der schieren Anzahl an Tests bzw. Testergebnissen und der hohen Aktualität. Anwender schmeißen einfach die Testssuite an, lassen die Tests ein paar Stunden arbeiten und die Ergebnisse erscheinen bei OpenBenchmarking. So werden alle möglichen Hardware-Kombinationen getestet und fließen in die Benchmarks mit ein. Zusätzlich testet das Phoronix-Team auch brandneue Systeme, die unter Umständen noch nicht auf dem Markt sind.

Die automatisierten Tests erfassen nur Geschwindigkeit und Energieverbrauch bestimmter Komponenten. Faktoren wie beispielsweise Darstellungsfehler können sie nicht erfassen. Hier braucht es immer noch menschliche Tester. Auch kann die Phoronix-Testsuite Linux-kritische Komponenten wie Kameras, Fingerprintreader oder Touchpad nicht testen. So können keine Kaufempfehlungen für Komplettsysteme bzw. Laptops mit OpenBenchmarking erzeugt werden.

Zukünftige Entwicklung

OpenBenchmarking ist noch ein sehr junges Projekt. Für die Zukunft sind noch weitere Tests und vor allem mehr Testergebnisse zu erwarten. Bleibt zu hoffen, dass die Entwickler Tests für weitere Komponenten ausarbeiten. Wünschenswert wären noch Community-Funktionen und die Arbeitsweise von Komponenten zu beurteilen und die automatisierten Ergebnisse zu ergänzen.

Allgemeine Kritik an Phoronix

Das Team rund um Phoronix hat in der Vergangenheit einige Benchmarks veröffentlicht, die wenig bis keine Aussagekraft haben:

  • Die meisten Bildschirme haben eine Bildwiederholrate von 60Hz. Wenn man einen Compositor wie KWin oder Compiz benutzt, so erzeugen diese nur genauso viele Frames wie der Monitor überhaupt darstellen kann. Bei einem Monitor mit 60Hz wäre es beispielweise 60 Frames. Alles was darüber hinaus geht wäre Verschwendung von Ressourcen. Die Phoronix Test Suite setzt bei ihren Test zu einem großen Teil auf die Anzahl gerenderter Frames pro Sekunde. Daher lässt sich der Sinn beziehungsweise die Aussagekraft eines solchen Benchmarks anzweifeln.

  • Ein anderer Test 🇬🇧 ist ein Dateisystemvergleich der CPU bound Operationen als Basis hat. Dabei wurde ein Programm kompiliert und die Zeit gemessen die das Dateisystem benötigt um die Daten zu speichern. Diese Zeit ist kein Indikator für die Geschwindigkeit, da nie bekannt ist wie lange das Dateisystem auf die CPU warten muss bis die Daten bei ihm ankommen.

Daher sind die Ergebnisse, die mittels der Testsuite erstellt werden, mit Vorsicht zu genießen. Benchmarks haben generell nur eine geringe Aussagekraft, da die Komponenten der PC-Systeme selten absolut identisch sind. Des Weiteren kann man die zu testenden Faktoren so spezialisieren, das Kandidat B gewinnt, obwohl Kandidat A vermeintlich besser ist. Getreu dem Motto: „traue nie einer Statistik, die du nicht selbst gefälscht hast“. Und zu guter letzt können Hersteller ihre Treiber gezielt auf bestimmte Benchmarks optimieren, um in diesen gut abzuschneiden.


Vielen Dank an Rockiger für die Einsendung dieses Artikels!

Veröffentlicht von UbuntuFlo | 29. Juni 2011 20:45 | Kategorie: Projektvorstellung | # Fehler im Artikel melden

kaputtnik

1 29. Juni 2011 23:56

Sind Benchmarks wirklich so wichtig? Besser fände ich ein automatisiertes Hardwarelisting zur Erstellung einer einheitlichen, normierten Hardwaredatenbank.

Irgendwie ähnelt Linux immer mehr dem anderen BS, zu dem turnusmäßig alle halbe Jahre in einschlägigen Zeitschriften „sensationelle” Optimierungsmöglichkeiten feil geboten werden 😬

agaida

Avatar von agaida
2 30. Juni 2011 04:25

Benchen ist in mehrfacher Hinsicht sinnvoll und wichtig. Das Ergebnis ist es eher weniger. Das ist auch mein Hauptkritikpunkt an der Phoronixsuite. Durch ein ordentliches Benchen meines Systems kann ich eventuelle Fehlkonfigurationen im meinen Systemen finden und eventuell abstellen. Dazu muss ich allerdings einige Voraussetzungen erfüllen: Ich muss die Ergebnisse werten und wichten können. Ich darf Benchmarking nicht an den reinen Zahlen festmachen, sondern muss das gewünschte Ergebnis im Auge behalten können. Ich muss das Fachwissen haben, meine Konfiguration entsprechend gestalten zu können. Ich sollte kreativ lesen, schreiben und vor allem rechnen können.

Genau diese Fähigkeiten werden meiner Ansicht nach durch standardisierte Benchmarks wenig gefördert. Um das an einem vielleicht blöden Beispiel festzumachen: Ich lasse einen Datenbank-Benchmark duchlaufen. Das Ergebnis ist niederschmetternd. ich optimiere das System, in dem ich bestimmte Parameter ändere, die eventuell grundfalsch waren und benche wieder. Ich komme auf die Resultate, die im Vergleich mit anderen Systemen zu erwarten sind. Toll, ich habe einen ordentlich konfigurierten Rechner. Doch was sagt das jetzt aus. Wurde mit MySQL 5.1 gebencht, habe ich ein vergleichbar schnelles System mit MySQL 5.1. Dass der Einsatz von 5.5 oder gar des Percona-Servers noch mal einen Turbo gezündet hätte, den ich im realen Leben wirklich mehr als spüren kann, wird durch so etwas nicht abgedeckt. Das kann ich nicht mal vergleichend benchen, da die eventuell optimaleren Programme, um ein Problem anzugehen, nicht im Standard-Bench drin sind und das naturgemäß nicht die Aufgabe eines Benchmarks ist, Äpfel mit Birnen zu vergleichen.

Wenn man das verallgemeinert, könnte man sagen, alle auf herkömmlichem Weg gewonnenen Ergebnisse sind irgendwo für die Tonne. Wenn ich nach diesen Tests aber durch Spielerwechsel eventuelle Engpässe beseitigen kann, wird man das zwar nicht mehr vergleichend messen können, dann haben diese Sachen aber sehr wohl einen Sinn gehabt.

Bordi

Avatar von Bordi
3 30. Juni 2011 14:08

@2: Dito! Das kommt einem gezielten Portscan für Port 80 gleich.

Ubuntu_Neuling_1981

Avatar von Ubuntu_Neuling_1981
4 30. Juni 2011 17:21

Glaube ganz fest daran das http://openbenchmarking.org/ zum Linux Gegenstück aller Futuremark Mark 3D wird … 😉

mgraesslin

Avatar von mgraesslin
5 30. Juni 2011 22:54

Sehr Schade, dass hier die im Konzept schon total fehlerhaften Benchmarks von Phoronix beworben werden ☹

Werbung in eigener Sache: in der nächsten Ausgabe des freienMagazins 🇩🇪 habe ich einen der Benchmarks von Phoronix analysiert und auseinandergenommen. Sehr empfehlenswerte Lektüre für alle, die Benchmarks verwenden wollen oder an die Meldungen über Benchmarks glauben.

serenity

Avatar von serenity
6 1. Juli 2011 06:06

@5: Deswegen habe ich extra den Abschnitt Allgemeine Kritik an Phoronix dazu geschrieben.

CruelJ

Avatar von CruelJ
7 1. Juli 2011 11:11

Das man von einem Fasteinmannprojekt erwartet aussagekräftige Leistungsvergleiche ohne jegliche Beteiligung des eigenen Gehirns zu leisten, finde ich schon fragwürdig.

ChemicalBrother

Ehemaliger

8 1. Juli 2011 12:37

@5: Ich freu mich drauf. Die Benchmarks, die ich von Phoronix nachvollziehen wollte, hatten alle (bei mir) ein komplett anderes Ergebnis. Und dass Phoronix keine Fehlerbalken einbaut, ist auch etwas arm (noch schlimmer ist deren Schlussfolgerung).