Was ist Testautomatisierung?

Testautomatisierung beschreibt Prozesse zur Qualitätssicherung von Software ohne dass dabei ein manuelles Eingreifen notwendig wird. Sowohl Anforderungen hinsichtlich der User Experience, als auch der Fachlogik und Applikationsschnittstellen lassen sich dabei ohne das Zutun des Menschen überprüfen. Die Ziele liegen auf der Hand. Es geht darum, zeitaufwändige und repetitive Tätigkeiten zu beschleunigen und die Testabdeckung zu erhöhen, um am Ende ein möglichst zuverlässiges, funktionierendes und effizientes Softwareprodukt bieten zu können. 

Folgende Vorteile der Testautomatisierung lassen sich festhalten: 

• Durch automatisierte Testfälle können Zeitersparnisse erzielt werden, indem manuelle Arbeit reduziert wird. Dies schafft insbesondere in komplexen Projekten große Kostenvorteile und größere Testabdeckung.
• Programmierer erhalten durch automatisierte Tests schneller Feedback zu Ihrer Arbeit. So können Fehler grundsätzlich schneller erkannt werden. 
• Automatisierte Testfälle laufen in gleichen Schritten ab. Das Risiko menschlicher Fehler während der Testausführung ist so deutlich geringer. 
• Mit richtiger Methodik und Strategie können automatisiert Testfälle flexibel an Veränderungen angepasst werden und bieten somit eine langfristige Skalierbarkeit.

 

Die fünf Phasen des Test(automatisierungs)prozesses

Unabhängig davon, ob die Qualitätssicherung manuell oder automatisiert stattfindet, muss sie gut durchdacht und strukturiert sein. Insbesondere bei der Testautomatisierung gilt es, Anforderungen frühzeitig zu erheben und erste Testaktivitäten zu starten. Dabei bringt jedes Projekt seine ganz eigenen Herausforderungen mit, die nur mit einer sorgfältigen Vorgehensweise bewältigt werden können. Ein typischer Testprozess, der in einem agilen Umfeld interaktiv durchlaufen werden kann, gliedert sich in folgende fünf Phasen:

1. Planung und Steuerung

In dieser Phase besteht die Hauptaufgabe darin, eine klare Teststrategie zu entwickeln, die Testziele festzulegen und Anforderungen zusammenzutragen. Der Testmanager erstellt hierfür ein Testkonzept, das die Rahmenbedingungen detailliert beschreibt. Das Ergebnis ist ein Dokument, in dem unter anderem die Testarten, die angestrebte Testtiefe und die Testobjekte genau definiert sind. Darüber hinaus enthält es eine Risikoanalyse, eine Einschätzung bezüglich Zeit und Ressourcen und bestimmt die wichtigsten KPIs zur Erfolgsmessung. Für die Testautomatisierung können dabei bereits wesentliche Metriken wie die Automatisierungsabdeckung (Automation Coverage), die Testdurchführungszeit (Test Execution Time) und der Return on Investment (ROI) berücksichtigt werden.

2. Testdesign und Spezifikation

In der zweiten Phase überprüft der Testanalyst zunächst die Ergebnisse der vorherigen Schritte auf Konsistenz und Vollständigkeit. Sobald die erfassten Anforderungen als ausreichend bewertet werden, beginnt die Definition der eigentlichen Testfälle. Hier wird präzise festgelegt, wie die Anforderungen durch spezifische Testszenarien abgedeckt werden und welche Resultate bei welchen Eingabewerte erwartet werden.

3. Testimplementierung und Testausführung

Nun wird die technische Umsetzung der Automatisierungsskripte vorangebracht. Bei der Testautomatisierungen starten IT-Spezialisten hier mit der Erstellung erster Automatisierungsskripte. Für diese Programmiertätigkeiten können Testautomatisierungstools wie WebdriverIO, Cypress oder Selenium eingesetzt werden. 

Nach durchgeführten Codereviewes können die Testfälle auf funktionaler und/oder logischer Ebene gruppiert werden. Anschließend beginnt die eigentliche Ausführung der Testskripte in einer geeigneten Umgebung. Die Ergebnisse werden umfangreich protokolliert und in einem Tracking-System sowie Fehler- und Fortschrittsberichten zusammengefasst, die im vierten Schritt ausgewertet werden können. 

4. Auswertung und Berichterstellung

Die Testresultate werden im Kontext der Testendkriterien und der anfangs erhobenen Anforderungen bewertet. Dabei stehen z.B. die Qualität als auch die Codeabdeckung und Anzahl der gefundenen Fehler im Mittelpunkt. Der Testautomatisierer befasst sich mit Ablaufprotokollen, Log-Dateien und Berichten, die für eine abschließende Auswertung große Bedeutung haben. Abschließend folgt eine Interpretation der Ergebnisse, um einzuschätzen zu können, inwieweit die Qualitätsstandards der Software erfüllt wurden. 

5. Nachbereitung und Abschluss 

In der letzten Phase wird der gesamte Testprozess zu Ende gebracht. Dabei werden die wichtigsten Dokumente sowie die automatisierten Testfälle archiviert. Schlussendlich sollte der gesamte Prozess gründlich reflektiert werden: Welche Testarten ließen sich gut umsetzen, welche weniger? Welche Probleme wurden im Voraus nicht erkannt? Konnte die Testautomatisierung unentdeckte Fehler hervorbringen? Hat sich die Investition in die Testautomatisierung gelohnt? Die gewonnenen Erkenntnisse und Erfahrungen werden zusammengetragen, sodass gewisse „Learnings“ für nachfolgende Projekte entstehen. 

 

Die Testpyramide

Die Testautomatisierung ist eine effektive Methode, um manuelle Arbeiten effizient und kostengünstig von Maschinen übernehmen zu lassen. Um eine gute Teststrategie zu entwickeln, bietet sich ein Blick auf die Testpyramide an. Diese dient sowohl im klassischen als auch im automatisierten Testing als Orientierung und stellt die unterschiedlichen Testarten in der Softwareentwicklung dar.

• Unittests bilden die Grundlage der Testpyramide. Sie überprüfen kleine Codeabschnitte, beispielsweise einzelne Methoden. Unittests, die oft auch als Komponententests bezeichnet werden, lassen sich in der Regel ohne großen Zeitaufwand erstellen und sind meist unkompliziert durchzuführen.
  

  

• Im Gegensatz dazu prüfen Integrationstests, ob mehrere Komponenten oder Codeabschnitte gemeinsam korrekt arbeiten und das gewünschte Verhalten zeigen. Diese Tests gewährleisten zudem, dass die Schnittstellen zwischen verschiedenen Anwendungen ordnungsgemäß funktionieren. Man unterscheidet zwischen verschiedenen Arten von Integrationstests wie Top-down-Integration und Bottom-up-Integration. 
• Systemtests hingegen werden typischerweise in einer produktionsnahen Umgebung durchgeführt. Sie überprüfen mehrere Funktionalitäten des Systems und validieren, ob die Software als Gesamtheit ihr gewünschtes Verhalten zeigt. Besonders in der agilen Softwareentwicklung, in der regelmäßige Regressionstests stattfinden, ist es sinnvoll, diese Tests zu automatisieren, um stets sicherstellen zu können, dass neue Änderungen das bisherige Verhalten nicht negativ beeinflussen.
• Ganz oben in der Pyramide stehen die Akzeptanz- und Abnahmetests. Diese Form der Qualitätssicherung prüft, ob die Software den Wünschen der Endbenutzer entspricht. Automatisierte Akzeptanztests werden im Frontend der Anwendung durchgeführt und simulieren das Verhalten eines echten Benutzers.

Neben den in der Pyramide dargestellten Testarten sind auch nicht-funktionale Tests von großer Bedeutung. Sie tragen dazu bei, dass die Anwendung nicht nur funktional, sondern auch leistungsfähig ist. Zu den bekanntesten nicht-funktionalen Tests zählen Last- und Performancetests.

 

Häufige Fehler in der Testautomatisierung

In vielen Organisationen fehlt leider das Verständnis dafür, wie wichtig und zugleich herausfordernd die Testautomatisierung sein kann. Sie erfordert stets eine qualifizierte Herangehensweise, um ihre Vorteile voll auszuschöpfen und die Komplexität des Testprojekts beherrschbar zu machen. Ohne eine durchdachte Methoden und die richtige Automatisierungsstrategie besteht das Risiko, dass schwerwiegende Fehler auftreten, die deutlichen Mehraufwand verursachen. Im Folgenden möchten wir Ihnen einige dieser Fehlerquellen genauer vorstellen:

• Fehlende Ziele und zu hohe Erwartungen: Reduktion von manuellen Regressionstests? Eine schnelle Lieferzeit neuer Softwareversionen oder eine erhöhte Testabdeckung? Welche Module und Funktionen sollen durch die Testautomatisierung abgedeckt werden? Bevor mit der eigentlichen Automatisierung begonnen wird, sollten konkrete Ziele bestimmt werden.

• Fehlende Strategie: Einfach loslegen, ohne eine genaue Strategie in petto zu haben, ist in Sachen Testautomatisierung keine gute Idee. Vorab sollte über den Testumfang, die automatisierten Testtypen und Testebenen nachgedacht werden und gründlich überlegt werden, welche Frameworks und Tools verwendet wird. Auch gilt es vorab, das Testdatenmanagement zu planen und konkrete Bewertungsmetriken herauszuarbeiten.

• In vielen Teams sind mangelnde Programmierfähigkeiten und Wissen über die Testautomatisierung der Grund dafür, warum die Qualitätssicherung immer noch manuell ausgeführt wird. Die Testautomatisierung kann ähnlich komplex wie das eigentliche Softwareentwicklungsprojekt werden und erfordert kontinuierliches Lernen und regelmäßige Schulungen. 

• Die falschen Werkzeuge: Selenium, WebdriverIO, Playwright oder Cypress? JMeter oder Locust? JUnit oder pytest? Die richtige Auswahl des Testautomatisierungstools sollte je nach Anwendungsfall und Testfall durchdacht gewählt werden. Unpassende Werkzeuge können bei der Testskalierung schnell an ihre Grenzen stoßen, hohe Wartungskosten verursachen und lange Testlaufzeiten verursachen. 

• Hohe Wartungskosten: Die richtige Testarchitektur und passende Automatisierungstools sind entscheidend, dass Wartungskosten in Zaum gehalten werden können. Um Testfälle auch auf lange Sicht automatisiert ausführen zu können, müssen auch andere Aspekte sorgfältig geplant werden. Wie werden die Test bei Änderungen im Code gewartet? Wer kümmert sich um die nötigen Anpassungen?

• Mangelnde Kommunikation zwischen Programmierern und Testern: Insbesondere in agilen Softwareprojekten ist eine enge Zusammenarbeit zwischen Entwicklern und dem Qualitätsmanagement entscheidend. Mit den richtigen Prozesse und regelmäßigen Absprachen können Probleme frühzeitig zu erkannt und gelöst werden.

• Fehlende Bewusstsein auf Management-Ebene: Testautomatisierung erfordert erfahrenes Personal und damit einhergehende finanzielle Investitionen. Wenn das Management dies nicht erkennt, wird es schwierig, mit der Testautomatisierung voranzukommen. 

 

Testautomatisierung im Kontext der Agilität

Agilität in der Softwareentwicklung ist seit Jahren ein zentrales Thema. Software wird heute nicht mehr in einem durchgehenden Prozess entwickelt, stattdessen erfolgt die Entwicklung iterativ und inkrementell. Klare, lineare Phasen sind nicht mehr der Standard. Stattdessen wird ein Softwareprojekt in sogenannte Sprints unterteilt. Durch regelmäßige Anforderungserhebungen und kontinuierliches Kundenfeedback entsteht schrittweise eine ausgereifte Endlösung.

In diesem Kontext spielt die automatisierte Testung eine entscheidende Rolle, insbesondere im Rahmen von Continuous Development-Prozessen. Automatisierte Tests bieten den Entwicklerteams schnelle Rückmeldungen zur Codequalität. Fehler können frühzeitig identifiziert werden und gewährleisten, dass der Code vor der Bereitstellung umfassend getestet wird.