So testet c’t: Messverfahren und -geräte
Jährlich durchlaufen mehr als tausend Produkte von der fingernagelkleinen Micro-SD-Karte bis zum Riesenfernseher mit zwei Metern Bilddiagonale unseren Testparcours. Wir zeigen Ihnen am Beispiel eines Komplett-PCs, wie wir dabei vorgehen und welche Messtechnik wir dafür verwenden oder sogar selbst ausgetüftelt haben.
Ein Kollege brachte es einmal gut auf den Punkt: „Wenn die Leser wüssten, welcher Aufwand hinter einer einzigen Zahl in unserer Testtabelle steckt.“ Bis am Ende ein fertiger Testartikel im gedruckten Heft erscheint, steht nicht nur für den Autor oder die Autorin eine Menge Arbeit an. Denn die meisten Hardware-Tests führen wir nicht allein durch, sondern sie entstehen in Teamarbeit mit den technischen Assistenten.
Sie nehmen uns für jede c’t-Ausgabe eine Vielzahl an Messungen ab. Das entlastet nicht nur die Redaktion, damit sich diese auf Recherche und das Artikelschreiben konzentrieren kann. Es hat auch den Vorteil, dass diese Spezialisten mit teils jahrzehntelanger Erfahrung auch bei knappen Produktionsterminen und zickigen Testgeräten verlässliche Ergebnisse liefern.
Das erklärt, warum wir von wenigen Ausnahmen abgesehen im eigenen Haus messen und dafür Personal und umfangreiches Messequipment bereithalten. Gibt es Probleme oder Unklarheiten, kann man das fix im persönlichen Gespräch klären und gegebenenfalls nachtesten. Außerdem sparen die kurzen Wege viel Zeit.
Teamwork
Für unsere Tests messen wir zahlreiche objektive Kriterien wie Leistungsaufnahme, Betriebsgeräusch, Schnittstellengeschwindigkeiten, Audio- und Displayqualität und selbstverständlich die Performance in verschiedenen Szenarien. Daneben geben wir aber auch unsere subjektive Einschätzung wieder. Dadurch können Sie Fehlkäufe vermeiden und finden leichter das passende Produkt für Ihren individuellen Einsatzzweck. Weil die Anforderungen so unterschiedlich sind, verzichten wir seit Anbeginn auf Gesamtnoten.
Am Beispiel eines Komplett-PCs zeigen wir unser Testprozedere. Das grundsätzliche Vorgehen unterscheidet sich dabei kaum von anderen Gerätekategorien. Die Redakteure arbeiten jedoch selbstverantwortlich und legen den Fokus auf unterschiedliche Aspekte, um beispielsweise auf Besonderheiten des jeweiligen Produkts näher einzugehen.
Die meisten Tests verlangen Vorarbeit, denn nur wenige Geräte kommen plötzlich und automatisch in der Redaktion an. Manchmal geht es um brandneue Produkte, manchmal um eine abgestimmte und repräsentative Auswahl ähnlicher Geräte, dann wieder um Tipps von Lesern oder Kollegen. Jedenfalls müssen Testgeräte ausgewählt, bestellt oder als Testmuster angefragt werden.
Nachdem der Rechner bei uns in der Redaktion angekommen ist (siehe S. 46), erfasst ihn die Büroassistenz in unserer Produktionsdatenbank und verpasst ihm eine eindeutige Testgerätenummer. Der zuständige Redakteur erhält eine automatische Mailbenachrichtigung, dass die heiß ersehnte Hardware im Zentralbüro abholbereit steht. Zudem lassen sich Messergebnisse und Produktfotos anhand der Nummer besser zuordnen als mit oft sperrigen Produktbezeichnungen.
Die technischen Daten, Messwerte, Voreinstellungen und den Lieferumfang halten wir in großen Messtabellen fest. Im Hardware-Ressort verwenden wir für Prozessoren, Mainboards und Komplett-PCs sowie unsere Bauvorschläge eine über 20 Jahre organisch gewachsene Vorlage, die wir regelmäßig aktualisieren, überarbeiten und entschlacken. So interessiert heute niemanden mehr die Zahl der Floppy-Anschlüsse und der Durchsatz von FireWire, dafür kommen immer schnellere USB-Dialekte hinzu.
Die Tabelle liegt auf einem lokalen Server. Dank der Dateifreigabe von LibreOffice können mehrere Redakteure und Assistenten sie gleichzeitig ausfüllen. Wir beginnen bei jedem Test mit einer Blankovorlage, weil wir sonst schnell den Überblick verlieren würden. Denn pro getestetem PC erfassen wir ungefähr 1000 Messwerte und Eigenschaften. Dazu gehören BIOS-Voreinstellungen, Versionsnummern, verwendete Hardware und Abläufe, die wir dokumentieren. Die Tabelle dient für uns somit auch als To-do-Liste, deren Punkte wir nacheinander abarbeiten.
Auf dem Server liegen die Tabellen archiviert nach Jahr und Ausgabe. Im vergangenen Jahr hatten wir beispielsweise an einem Artikel über die Aufrüstung des c’t-Bauvorschlags für den „Optimalen PC“ (siehe auch S. 90) von 2017 gearbeitet. Innerhalb weniger Minuten konnten wir anhand der damaligen Tabelle nicht nur exakt die verwendeten Komponenten heraussuchen, sondern mittels BIOS-Einstellungen und Messwerten auch nachprüfen, ob alles noch fehlerfrei funktioniert.
Teststart
Nach einem ersten Blick, ob es zu Transportschäden gekommen ist, schalten wir den Rechner ein. Statt ins Betriebssystem zu booten, führt der erste Weg ins BIOS-Setup. Von einem USB-Stick starten wir eine Backup-Software und legen ein Abbild der Systempartition an. Kommt es im Testverlauf zu Problemen, können wir so immer wieder zum Auslieferungszustand zurückkehren. Das hilft vor allem bei Diskussionen mit Herstellern, die unterstellen, dass ein Problem von uns verursacht sei.
Zudem schaffen wir auf der jeweiligen System-SSD etwas Platz für unsere Benchmark-Partition. Wie die Messwerttabelle liegen unsere zahlreichen Diagnose- und Benchmark-Programme ebenfalls auf einem internen Server. Per Batchdatei kommen die Daten automatisch auf das Testsystem und sind immer auf einem einheitlichen, aktuellen Stand.
Bei einem Komplett-PC erfassen wir nicht nur die eingebauten Komponenten und sämtliche Anschlüsse, sondern auch wichtige BIOS-Voreinstellungen wie Energiesparmodi, Speichertimings und CPU-Power-Limits. Weiterhin dokumentieren wir die Versionen der wichtigsten Treiber sowie welche Software der Hersteller auf dem PC vorinstalliert hat.
Besondere Anpassungen am Betriebssystem nehmen wir nicht vor. Wir schalten lediglich den automatischen Standby-Zustand bei Inaktivität ab, damit sich der Rechner nicht mitten im Benchmark schlafen legt. Zudem trennen wir ihn vom Netzwerk, damit das Windows-Update nicht dazwischen grätscht. Anschließend prüfen wir, ob die Taktsteuerung des Prozessors einwandfrei funktioniert und dass der Geräte-Manager von Windows keine Fehler zeigt. Wenn etwas nicht stimmt, kontaktieren wir ebenso wie bei Transportschäden den Hersteller.
Geschwindigkeitsmessung
Die meisten Leser dürfte vor allem interessieren, wie schnell der getestete Rechner ist. Dazu messen wir die Performance mit unterschiedlichen Programmen, die wir je nach Geräteklasse anpassen. Für Gaming-PCs lassen wir mehrere 3D-Spiele in unterschiedlichen Auflösungen wie Full HD und 4K laufen. Das schenken wir uns wiederum bei Mini-PCs mit integrierter Grafik, wo ohnehin nur einstellige Bildraten zu erwarten wären. Bei Grafik-Workstations kommt Spezialsoftware wie Specviewperf hinzu, die die GPU-Performance bei CAD-Software und Konstruktionsprogrammen ermittelt.
Einige Standardbenchmarks gehören jedoch zu jedem Test [1]. Dazu zählt der Rendering-Benchmark Cinebench R23, der vom 3D-Rendering-Programm Cinema 4D abstammt. Er misst sowohl die für Office wichtige Singlethreading- als auch die für anspruchsvolle Programme entscheidende Multithreading-Leistung des Prozessors in vergleichsweise kurzer Zeit. Dabei nutzt der Cinebench auch moderne Befehlssatzerweiterungen wie AVX. Andere Komponenten wie Arbeitsspeichergröße und -geschwindigkeit oder SSD-Tempo haben keinen Einfluss. Der Cinebench eignet sich somit perfekt, die Performance vom Celeron mit zwei Kernen bis zum Dual-Socket-Server mit 128 CPU-Kernen zu vergleichen, zumal er auch Apples M1- und M2-Prozessoren gut auslastet.
Mindestens ebenso wichtig ist die Leistung mit realen Anwendungen. Zu unserem Parcours gehören: Dateien mit 7-Zip komprimieren, Videos mit Handbrake rekodieren, 3D-Szenen mit Blender rendern und den Linux-Kernel mit Kcbench kompilieren. Jede Anwendung belastet den Arbeitsspeicher und die unterschiedlichen Rechenwerke in der CPU anders und offenbart so spezifische Stärken und Schwächen des Prozessors.
Benchmark-Suiten oder komplett durchgeskriptete Benchmarks verwenden wir nur in Ausnahmefällen. Stattdessen führen wir die Messungen lieber von Hand und unter Beobachtung durch, denn nur so fallen beispielsweise Bildaussetzer oder Fehler auf. Zu den Ausnahmen zählt unter anderem der Office-Benchmark Sysmark 30. Die Suite misst die Leistung eines Windows-PCs mit gängiger Bürosoftware wie MS Office, Google Chrome und Adobe Creative Suite.
Die 3D-Spiele-Benchmarks laufen pro Auflösung und Spiel gleich dreimal, um Ausreißer zu erkennen. Bei unerklärlich hohen oder niedrigen Werten wiederholen wir aber auch andere Messungen. Manchmal reicht dafür auch schon ein ungutes Bauchgefühl, denn bei c’t gilt das Motto Qualität vor Quantität. Wenn Ergebnisse nicht plausibel sind, lassen wir im Zweifel lieber einen Messwert weg.
Wattmeter
Das wohl wichtigste Werkzeug im Hardware-Ressort und der technischen Assistenz hört auf die Bezeichnung LMG95. Das „Präzisions-Leistungsmessgerät“ von ZES Zimmer bestimmt die Leistungsaufnahme von nahezu allen elektrischen Geräten. Das trifft nicht nur auf Desktop-PCs, Notebooks und NAS mit Schuko- oder Eurostecker zu. Über spezielle Messadapter können wir damit beispielsweise auch den Energiebedarf von USB-Geräten wie externen SSDs ermitteln.
Vor allem wegen seiner hohen Genauigkeit über einen großen Messbereich eignet es sich perfekt für uns, denn wir wollen korrekte Ergebnisse im Soft-Off-Zustand mit wenigen hundert Milliwatt, aber auch bei Volllast einer 1200-Watt-Workstation. Für eine nichtlineare Last von 2,8 Watt bei 230 Volt haben wir einst den Messfehler ausgerechnet: Er beträgt lediglich ±0,04 Watt. Selbstverständlich schicken wir unsere diversen LMG95 alle zwei Jahre zum Kalibrieren an den Hersteller. Schließlich müssen wir im Extremfall vor Gericht unsere Testergebnisse und Schlussfolgerungen beweisen können, falls ein Hersteller diese anzweifelt. Zum Glück kam das bisher nicht vor.
Deshalb stehen in den c’t-Labors insgesamt sechs LMG95, die bei mehreren Kollegen im Dauereinsatz sind. Bei Benchmarks schließen wir den PC möglichst kontinuierlich ans Leistungsmessgerät an und können so dank der grafischen Anzeige sichergehen, dass Windows alle Hintergrundaktivitäten beendet hat. Auch in der Geräuschmesskabine dient die Leistungsmessung als Kontrolle, um sicherzustellen, dass Prozessor und Grafikkarte bei der Volllastmessung auch wirklich am Anschlag arbeiten.
Bei einzelnen Komponenten wie Grafikkarten reichen die Fähigkeiten des LMG95 nicht aus, denn über den Steckplatz laufen mit 3,3 und 12 Volt bereits zwei verschiedene Spannungsschienen. Bei High-End-Karten kommen dann noch mehrere PEG-Stromstecker mit drei oder vier Leitungspaaren für 12 Volt hinzu. Für die Leistungsaufnahmemessungen von Steckkarten verwenden wir deshalb seit rund zehn Jahren einen selbst entwickelten ATX-Messplatz [2].
Dieser misst parallel auf bis zu acht Versorgungsschienen die über den Verbraucher abfallende Spannung und den fließenden Strom. Das passiert 20.000-mal pro Sekunde. Am ATX12V-Stecker können wir darüber beispielsweise beobachten, wie der Prozessor zwischen den verschiedenen Energiesparzuständen hin und her wechselt. Die Grafikkarten betreiben wir über eine Riser-Card in einem Testsystem, um die Stromleitungen vom Mainboard anzapfen zu können. Dem c’t-ATX-Messplatz selbst steht ein Steuerrechner zur Seite, die Verbindung bildet eine PCIe-Express-Messkarte vom Typ ME-4660s. Per Labview können wir die Messdaten auch grafisch darstellen.
Durchsatzmesser
Außer Rechenleistung und Energiebedarf prüfen wir bei PCs, Mainboards und Komponenten auch die Geschwindigkeit gängiger Schnittstellen und der eingebauten Massenspeicher. Dafür verwenden wir die Software IOmeter, die Multithreading-tauglich ist und mit mehreren Datenströmen parallel misst. Dadurch schöpft sie die Fähigkeiten moderner NVME-SSDs aus.
Für die Messungen verwenden wir unterschiedliche Zugriffsprofile. Außer dem sequenziellen Durchsatz beim Lesen und Schreiben ermitteln wir die sogenannten IOPS (I/O-Operationen pro Sekunde). Dabei misst IOMeter die Latenz bei zufälligen Zugriffen auf 4-KByte-Blöcke. Um die Geschwindigkeit von schnellen USB-Ports wie USB 3.2 Gen 2×2 mit rund 2 GByte/s zu messen, darf das angeschlossene Medium nicht zum Flaschenhals werden. Deshalb ersetzen wir unseren Testdatenträger regelmäßig durch die schnellste am Markt erhältliche USB-SSD.
Zum Messen der Ethernet-Geschwindigkeit dient ein Desktop-PC mit 10-Gbit/s-Erweiterungskarte als Gegenstelle. Dieser läuft unter Linux und lässt sich per SSH und fester IP-Adresse auch von Windows-Rechnern aus steuern. Die eigentliche Messung erfolgt mit dem Tool iperf. Um nicht jedes Mal die fehlerträchtigen Kommandozeilenparameter von Hand eingeben zu müssen, nutzen wir Batch-Dateien.
Außer diversen Messungen führen wir bei PCs und Mainboards auch Funktionstests durch. Dazu gehört unter anderem das Aufwecken per Wake-on-LAN und USB-Tastatur aus dem Standby (ACPI S3) und Soft-Off (S5). Außerdem testen wir den Multimonitorbetrieb mit mehreren hochauflösenden Displays und messen die Bootdauer per Stoppuhr.
Bei Mainboards schauen wir uns zudem die Qualität der Lüfterregelung an. Dazu schließen wir ein Zweikanaloszilloskop vom Typ Owon SDS5032E über einen Messadapter nacheinander an alle Lüfteranschlüsse an und prüfen, ob das PWM-Signal die Spezifikation von 25 Kilohertz Steuerfrequenz und 5 Volt Spannung beim Maximalpegel erfüllt. Ein weiterer Punkt auf der Checkliste ist, ob das Mainboard über den gesamten Bereich von 0 bis 100 Prozent Tastverhältnis regelt. Die gleiche Messung machen wir im spannungsgeregelten 3-Pin-Modus, denn manche Boards können die Spannung am Lüfteranschluss lediglich von 12 auf 8 Volt, aber nicht tiefer absenken, sodass Gehäuselüfter unnötig schnell laufen.
Wie leise darf es sein?
An dieser Stelle hat der Komplett-PC die erste Hälfte der Tests absolviert. Nun wandert er vom zweiten Stockwerk in die Testräume im Erdgeschoss (siehe S. 52). Ein wichtiges Kriterium nicht nur für die Redaktion, sondern auch für die Leserschaft ist eine möglichst geringe Lautstärke. Die messen wir im Leerlauf sowie bei den unterschiedlichen Lastszenarien der Leistungsaufnahme in einer rund 16 Quadratmeter großen schallarmen Kabine [3]. Diese steht auf entkoppelten Füßen. Der Raum, in dem sie steht, erhielt beim Einbau vor rund zehn Jahren zusätzlich gedämmte Türen. Schlitze im Estrich halten Geräusche aus dem Büroflur fern, etwa Trittschall.
Im Inneren der Messkammer sind Wände und Decke mit Schaumstoffkeilen ausgekleidet, die akustische Reflexionen verringern. Weil Schaumstoff nicht nur gegen Lärm, sondern auch thermisch isoliert, schalten wir zwischen den einzelnen Geräuschmessungen leistungshungriger Systeme eine Lüftung hinzu. Mit einem Gaming-PC, der 500 Watt verheizt, klettert die Temperatur binnen einer halben Stunde in der Kabine sonst um 10 Grad nach oben, was die Messergebnisse verfälschen würde: Die Lüfter drehen auf.
Als Messaufbau orientieren wir uns an einer alten Norm für Fernschreibarbeitsplätze. Auf einem Referenztisch aus Massivholz nimmt der Desktop-PC an markierten Stelle Platz. Reihum stehen im Abstand von 50 Zentimetern statt der in der Industrie sonst üblichen 100 Zentimeter zum Testkandidaten vier Kondensatormikrofone. Die Messtechnik befindet sich außerhalb der Kabine. Über ein Audiofrontend der Firma Head Acoustics mit betagter SCSI-2-Schnittstelle gelangen die digitalisierten Signaldaten in einen Messrechner. Die rund 20 Jahre alte Software erfordert Windows XP, weshalb der PC nicht im normalen Netzwerk hängt.
Typischerweise messen wir über einen Zeitraum von zehn Sekunden. Auch hier gilt: Mithören ist Pflicht, damit rumpelnde Aufzüge oder ungewöhnliche Geräusche des Prüflings die Messung nicht verfälschen. Am Ende erhalten wir die Lautheit in der Einheit Sone, die das menschliche Hörempfinden besser wiedergibt als Dezibel. Zudem bietet sie den Vorteil, dass ein doppelter Wert auch doppelter Lautstärke entspricht [4]. Leise Desktop-PCs kommen auf eine Lautheit von maximal 0,5 Sone, was in der c’t-Testtabelle dann die Note sehr gut ergibt. In Halbsoneschritten verschlechtert sich die Note, alles über 2 Sone bekommt ein „sehr schlecht“.
Guter Ton
Gleich nebenan steht der Aufbau, um die Qualität analoger Audioein- und -ausgänge zu bestimmen. Dabei spielen wir für die Wiedergabequalität eine Testdatei ab und schicken das analoge Audiosignal in einen UPV-Analyzer von Rohde & Schwarz. Das Messgerät zeigt den Frequenzverlauf sofort grafisch an.
Zu den ermittelten Messwerten gehören unter anderem der Dynamikumfang, die Linearität des Frequenzgangs und der Ausgangspegel. Daraus bilden wir dann eine Note. Für die Aufnahmequalität ist das Prozedere analog, nur dass der Analyzer dann als Tongenerator dient. Zusätzlich testen wir die digitalen Audiofähigkeiten von SPDIF- und HDMI-Ports, insbesondere welche Formate der PC darüber ausgibt.
Um die Geschwindigkeit seiner WLAN-Schnittstelle zu messen, muss der Komplett-PC noch ein Stockwerk tiefer in den Keller umziehen. Dort ist dank dicker Stahlbetonwände und langer Flure einer der wenigen dafür geeigneten Plätze in unserem Verlagsgebäude. In diesem funken sonst zahlreiche Drahtlosnetzwerke in verschiedenen Frequenzbändern, wodurch wir die Ergebnisse auch erwürfeln könnten statt sie weitgehend reproduzierbar zu messen.
Stationär haben wir einen aktuellen Router in einem Regal platziert, der alle aktuellen WLAN-Dialekte inklusive Wi-Fi 6E im 6-GHz-Band spricht. Das Testgerät steht auf einem Rollwagen beziehungsweise einem standardisierten WLAN-Messkarton. Auf dem Fußboden des langen Kellerflurs gibt es mehrere Markierungen, so können wir den Durchsatz reproduzierbar bei Entfernungen von bis zu 20 Metern bestimmen. Die Daten kommen von einem am Router angeschlossenen Linux-PC, auf dem das bereits erwähnte Tool iperf läuft [5].
Pixelzähler
Handelt es sich um einen All-in-one-PC, also ein Gerät mit integriertem Bildschirm, messen wir üblicherweise zusätzlich die Displayqualität wie bei Monitoren, Fernsehern oder Smartphones. Dazu darf der Rechner wieder ein Stockwerk höher ins Monitorlabor. Dort können wir mit dem Conoscope in einer einzigen Messung die Bildeigenschaften bei direkter Draufsicht und aus sämtlichen Einblickwinkeln bestimmen.
Das blaue Ungetüm im Wert einer kleineren Eigentumswohnung erfasst den vom Messpunkt am Testdisplay ausgehenden Lichtkegel durch ein spezielles Weitwinkelobjektiv mit einem Öffnungswinkel von 160 Grad. Das Prinzip gleicht einem inversen Fischaugenobjektiv, das den kompletten Lichtkegel erfasst und als rundes Schnittbild auf den Messsensor projiziert. So können wir beispielsweise das Kontrastverhältnis über den kompletten Blickwinkelbereich ermitteln.
Das Farbspektrum und den nativen Farbraum des Displays ermitteln wir mit einem Spektralfotometer ebenfalls am Conoscope. Weil das Spektrometer durch das konoskopische Objektiv hindurchschaut, können wir die Farbtreue nicht nur in der direkten Draufsicht, sondern wie beim seitlichen Blick aufs Display messen. Weil das Conoscope und die dazugehörige PC-Software schon einige Jahre auf dem Buckel haben, kommt ähnlich wie bei der Geräuschmessung ein Retrorechner mit Windows XP zum Einsatz.
Deshalb stehen in der Redaktion außer den persönlichen Arbeitsplatzrechnern für die rund sechzig Redakteure und den internen Servern für Messdaten, Produktionssysteme und Dokumentationswebseiten auch rund ein Dutzend Steuerrechner für die diversen Messgeräte. Dazu kommen noch Testrechner, an die wir Prüflinge anschließen, etwa Drucker und Scanner.
Für einen Test benötigen wir selbstverständlich auch die zugehörigen Testgeräte. Wo diese herkommen, erklärt der folgende Artikel. (chh@ct.de)