Das Gesamtbild

Manche mögen an dieser Einführung in Verlaufsdiagramme nichts neues entdecken. Zu Beginn sprachen wir jedoch von neuen Methoden und selbst erstellten Regeln. Das war in den letzten Minuten dann auch der Fall. So wie diese Einführung soll der Test aussehen. Wichtige Diagramme, die für Verständnis und Erkenntnis nötig sind, sollen nicht einfach im Raum stehen. Wann immer möglich, soll der Leser an der Diskussion teil haben können. Dazu gehört auch, dass Gedankengänge deutlich werden. Warum wurde dieser Benchmark ausgeführt, welche Schlussfolgerungen zieht der Autor daraus, wie kommt er auf die Idee, den Test nun mit diesen Einstellungen zu tätigen?

Oftmals ist "Benchmarking" nur eine Ansammlung von Standard-Applikationen mit Standard-Auflösungen/Einstellungen und kopierten Texten zur Erklärung des Programms. Dabei sollten Resultate und Schlussfolgerungen im Vordergrund stehen, das benutzte Programm entweder im voraus erklärt oder während des Tests analysiert werden. Unwichtige Ergebnisse haben im Test nichts zu suchen und können allenfalls als Beweis für später zurückgehalten werden. Warum den Leser mit unnötigen Diagrammen überhäufen? Eine Rechtfertigung dazu im Textteil des Artikels sollte genügen.

Sicherlich setzt das ein hohes Maß an Vertrauen in den Autor voraus. Allerdings gilt die berechtigte Frage, ob dies nicht sowieso schon der Fall ist? Muss der Leser bei Timedemo und Durchschnittswerten, selbst bei der Auswahl an Savegames, nicht vollstes Vertrauen in den Autor legen? Vielleicht entsteht Vertrauen, wenn der Leser nicht nur im Fazit an den Gedanken des Autors teilhaben kann. Dies ist unsere Philosophie für die folgenden Seiten. Wir hoffen, dass neben dem Ergebnis auch der eigentliche Weg dahin deutlich wird. Und letztlich hoffen wir, damit auch Vertrauen und Glaubwürdigkeit zu gewinnen.

Der Testablauf

Bevor es losgeht, müssen wir noch den einen oder anderen Punkt erläutern. Da uns der Performancevergleich zwischen Windows XP und Windows Vista interessiert, soll uns jedes funktionierende Mittel recht sein. Egal ob dies nun Durchschnittswerte, Timedemos oder echte Spielszenen sind. Hat sich eine Methode für uns im Test als gut und vernünftig bewiesen, sind deren Nachteile in allen anderen Bereichen logischerweise völlig vernachlässigbar. Wichtig ist nur, dies auch begründen zu können.

Der überwiegende Anteil an Tests wird zwar durch Verlaufsdiagramme dargestellt, der Durchschnittswert sollte trotzdem immer mit angegeben werden. Zum einen um darzustellen, ob und wie weit dieser Wert daneben liegt, zum anderen lässt sich damit ab und an ein langwieriger und komplizierter Vergleich einsparen.

Zum Schluss sollten wir noch über den "leicht unübersichtlichen" Teil reden. Nicht alle Diagramme werden so einfach und schnell erfassbar sein wie im Diagramm zu Comanche4. Hier eines der schöneren Beispiele:

Abbildung 6: Drei gleiche Durchläufe, aber unterschiedliche Abläufe

Nicht erschrecken, selbst dieses Durcheinander hat Zweck und Aussagekraft. Auf die Beschriftung wurde speziell verzichtet. Der Trick besteht darin, den abstrakten, aber wichtigen Anteil auszufiltern. Wir sehen drei vermeintlich unterschiedliche Abläufe. Daher sollte man gar nicht erst versuchen, die Diagramme übereinander zu legen, es wird schlicht und einfach nicht funktionieren. Was sagt uns das Chaos? Zum einen verhalten sich alle drei Diagramme nahezu identisch. Sobald man nicht mehr einzelne Punkte, sondern den Verlauf als Ganzes betrachtet, ist das relativ gut zu sehen. Ohne erkennbare Vor- oder Nachteile liegen sie alle drei zwischen 30fps und 60fps.

Wir werden später sehen, dass diese relativ gleichmäßige Suppe auf eine starke GPU-Limitierung hindeutet. Im speziellen handelt es sich um unterschiedliche Durchläufe des gleichen Levels mit hoher Auflösung und Anti-Aliasing. Interessant ist der Durchschnitt von 42 fps, den alle gleichsam erreichen. Zusammen ergeben beide Informationen ein rundes Bild, der Durchschnitt alleine verrät jedoch nichts mehr über die Szene selbst. Für alle weiteren Diagramme werden wir, der Übersichtlichkeit zuliebe, meist nur zwei Verläufe zusammen darstellen und werden zudem immer den Durchschnitt angeben.