Neuer Test-Standard ISO 29119 – pro und contra

Inhaltsverzeichnis

Erste Teile des neuen ISO-Standards zum Software-Testen sind seit letztem Jahr finalisiert, andere werden schon bald folgen. Was für die einen als notwendige Änderung für die Qualitätssicherung erscheint, stößt bei anderen auf heftigen Widerstand. Beide Seiten haben ihre guten Gründe.

In den vergangenen Monaten flammte eine Diskussion rund um den neuen Test-Standard ISO 29119 auf. Auf der einen Seite lautet der Vorwurf, dass sich die Befürworter des neuen Standards eine Existenz mit schwergewichtigen und veralteten Vorgehensweisen sichern wollen. Auf der anderen sind die Mitglieder rund um die Arbeitsgruppen verwundert darüber, warum diese Kritik erst so spät aufkommt und die Kritiker sich nicht schon viel früher einer der Arbeitsgruppen angeschlossen haben.

Beide Seite bringen offenbar schlüssige Argumente. Deshalb scheint es, als sei der Manager, der die Qualität seiner Produkte verbessern will, wieder mal einem Trilemma ausgesetzt. Ändert er nichts, bleibt alles so gut – oder schlecht –, wie es ist. Startet er eine Initiative rund um ISO 29119, dann könnte er am Ende herausfinden, dass er zwar viel Geld in die Veränderung investiert hat, aber damit auch die Entwicklungskosten hoch treibt. Wo sind die Alternative der ISO-29119-Opposition?

Aktualisierung notwendig

ISO/IEC/IEEE 29119 löst einige in die Jahre gekommenen Standards rund um das Softwaretesten ab. Zum einen handelt es sich dabei um den IEEE 829 zur Testdokumentation von 2008, IEEE 1008 zu Unit Testing aus 2009 und BS 7925 zu Testtechniken.

Der neue Standard ist in fünf Teile aufgeteilt. Im ersten Teil geht es um Konzepte und Definitionen. Im zweiten werden Testprozesse behandelt. Der dritte Teil bearbeitet die Testdokumentation. Teil vier berücksichtigt Testtechniken. Im fünften Teil versucht der Standard, an die agile Entwicklung mit Keyword-driven Testing anzuschließen.

Die ISO verteilt die Dokumente gegen eine jeweilige Gebühr an Einzelpersonen. Als PDF kosten Teil 1 und 2 jeweils 88 US-Dollar; für Teil 3 veranschlagt die IEEE 155 US-Dollar; Teil 4 und 5 sind bisher noch nicht veröffentlicht. Die gedruckten Ausgaben sind jeweils ein wenig teurer.

Die ISO verlangt für eine derartige Norm ein international abgestimmtes Verfahren. Dabei gründen sich verschiedene lokale Gruppen, die Feedback zu den Standards geben und diese stetig weiterentwickeln. Um zu einem Dokument zu kommen, das veröffentlicht werden kann, fließen viele Arbeitsstunden in die Ausarbeitung und ständige Verbesserung. Deshalb wundert es nicht, dass die Grundlagen für den neuen Standard bereits 2010 geschaffen wurden.

Bedenkt man, dass derart viel Arbeit in diese Dokumente geflossen ist, dann sind diese Preise nachvollziehbar. In der Praxis wird so allerdings eine Kostenbarriere geschaffen, die erst mal davon abschrecken kann, sich tiefergehend mit dem Standard auseinanderzusetzen.

Kritikpunkte en masse

Die Opposition hat einige Kritikpunkte auf Lager. Zum einen bringt der Test-Consultant James Christie das Argument des Rent-Seekings auf. Dabei handelt es sich um politische Lobby-Arbeit, die einem eine politische Rente sichern soll. Er führte in seinem Vortrag auf der Conference der Association for Software Testing (CAST) in New York City in diesem Jahr weiter aus, dass ISO 29119 als Hauptzielgruppe Industrien mit einer starken Normung habe.

Dabei handelt es sich vor allem um Banken, Telekommunikationsunternehmen oder den Rüstungs- und Atomenergiesektor. Aber auch öffentliche Ausschreibungen von Regierungen werden vermutlich das Einhalten von Standards wie ISO 29119 vertraglich einfordern, sofern er erst einmal komplett erstellt ist. Unter diesen Gesichtspunkten wird auch das Argument des Rent-Seekings deutlich. Ist der Standard erst draußen und setzen mehr und mehr Industrien auf ihn, dann werden große Testanbieter zunehmend gezielt nach Erfahrungen mit ISO 29119 suchen und ihr Personal entsprechend schulen und ausbilden.

Weitere Argumente umfassen, dass es sich bei den Inhalten nicht um einen international anerkannten Standard handele. Die Community hinter der Opposition ist die sogenannte Context-driven Testing Community. Markant für sie ist die kritische Auseinandersetzung mit verschiedenen Sichtweisen. Beispielsweise raten Cem Kaner, James Bach und Bret Pettichord in "Lessons Learned in Software Testing" – einem Schlüsselwerk der Community – in Lektion 145, den IEEE-829-Standard für Testdokumentation zu verwenden. Lektion 146 auf der gleichen Seite rät dazu, IEEE 829 nicht zu nutzen. Natürlich beleuchten die Autoren die jeweiligen Umständen, unter denen der Einsatz sinnvoll ist und wo nicht.

Obwohl Christie seinen Vortrag auf der CAST gehalten hat, hat sich die dahinter stehende Association for Software Testing (AST) bislang nicht öffentlich zu einem Statement diesbezüglich bekannt. Die International Society for Software Testing hingegen hat sich klar hinter die Petition zum Stopp von ISO 29119 positioniert. Beide Organisationen unterstützen die Prinzipien des Context-driven Testing. Dieses will über konstruktiven Austausch und tiefgehende Argumentationsführung die kontextabhängigen Faktoren ergründen und Tester wie Manager eher zum Nachdenken als zum blinden Befolgen von Richtlinien anregen.

Die Sichtweise, dass alles auf den Kontext ankomme, ist auch ausschlaggebend für die Kritik an ISO 29119. Böse Zungen behaupten sogar, dass sich die Context-driven Testing Community nicht einig darüber sei, ob sie ISO 29119 kritisieren sollte. Aus der Sicht der Kritiker ist der Standard nicht universell einsetzbar und kann in Einzelfällen sogar mehr Schaden anrichten, als wenn man ihn nicht befolgt. Außerdem ist ein Kritikpunkt, dass viele der beschriebenen Techniken und Vorgehensweisen veraltet seien und unnötigen Mehraufwand und damit auch Mehrkosten zur Folge hätten.

Ein dritter Kritikpunkt ist, dass die Community in die Ausarbeitung nicht involviert werde. Die Protagonisten von ISO 29119 behaupten zwar, dass einflussreiche Tester aus der Context-driven Testing Community an der Ausarbeitung des Standards mitgewirkt hätten, doch bleibt bislang unklar, um wen es sich dabei genau gehandelt haben soll. Fakt ist, dass ISO 29119 behauptet, jetzt auch agile Vorgehensweisen zu unterstützen. In der Tat ist dieses einer der großen Verkaufsargumente, wenn man dem Werbematerial glauben schenken mag. Allerdings bleibt unklar, welche agilen Vorreiter an der Ausarbeitung mitgewirkt haben. Lisa Crispin, Janet Gregory, Gojko Adzic und weitere agile Namensträger tauchen leider nicht unter den Autoren auf.

Fazit

Und was nun?

Was kann man aus der ganzen Diskussion nun ableiten? Die Softwareindustrie im Allgemeinen hat seit Jahren ein Qualitätsproblem. Da liegt es doch nahe, dass man bei der Qualitätssicherung ansetzt und durch einen international anerkannten Standard die Qualität der eigenen Produkte und Dienstleistungen verbessert.

Für Tester bedeutet das, dass sie sich mit dem Standard auseinandersetzen sollten. Zugegeben, die rund 300 US-Dollar sind unter Umständen ein großer Brocken für den einen oder anderen, aber für eine Karriere im Softwaretesten sicherlich eine notwendige Investition. Tester sollten auf jeden Fall wissen, ob sie sich mit dem Standard identifizieren, ob sie glauben, damit arbeiten zu können, und dann eine Entscheidung treffen. Für jemanden, der sich mit dem Standard nicht anfreunden kann, könnte das bedeuten, diesen entweder aktiv anzufechten oder sich unabhängig von möglichen Industrien zu machen, die diesen einsetzen wollen. Für jemanden, der den Standard gutheißt, könnte das bedeuten, dass man diesen seinem Chef vorstellt und weitere Schritte zur Adaption abstimmt.

Für einen Testmanager oder Projektleiter könnte das heißen, dass er sich ebenfalls mit dem Standard konstruktiv auseinandersetzen sollte. Kann das Vorgehen, das ISO 29119 vorschlägt, zu einer Verbesserung führen? Oder führt es zu derart erhöhten Kosten, dass man nicht länger wettbewerbsfähig ist? Auf jeden Fall sollte ein Manager, der über eine Änderung in der Arbeitsweise nachdenkt, sich mit der neuen Vorgehensweise aktiv auseinandersetzen.

Und was bleibt dem Rest? Vermutlich nur die Hoffnung darauf, dass diejenigen, die sich mit ISO 29119 auseinandersetzen, zu einer sinnvollen Entscheidung darüber kommen, ob sie diesen Standard bei sich einführen wollen. Im schlimmsten Fall setzen auf ihn lediglich Industrien rund um Regierungsaufträge und enden wie das amerikanische healthcare.gov-Projekt am Ende des letzten Jahres. Auf jeden Fall kann es nicht schaden, sich ebenfalls kritisch mit dem Standard auseinanderzusetzen und für seinen eignen Karriereweg eine bewusste Entscheidung hin oder weg von ISO 29119 zu treffen.

Markus Gärtner
arbeitet als CST, agiler Trainer, Coach und Berater für die it-agile GmbH in Hamburg. Er schrieb unter anderem "ATDD by Example – A Practical Guide to Acceptance Test-Driven Development" erhielt den Most Influential Agile Testing Professional Person Award in 2013 und steuert zur Softwerkskammer, der deutschen Software Craftsmanship Bewegung, bei. (ane)