Der Playwright Test Agent
Der wichtigste Bestandteil des Setups war der Playwright Test Agent.
Playwright bringt aktuell drei zentrale Test Agents mit. Diese können unabhängig voneinander, nacheinander oder als kompletter Agent-Workflow verwendet werden:
- 1. Der Testplanner-Agent hilft, einen ausführlichen Testplan für die Anwendung zu erstellen.
- 2. Der Generator-Agent nimmt den Markdown-Testplan und erzeugt daraus automatisch echte Playwright-Testdateien.
- 3. Der Healer-Agent führt die Test-Suite aus und versucht fehlschlagende Tests automatisch zu reparieren. Dieser Self-Healing-Ansatz ist besonders spannend, da dadurch Wartungsaufwand in UI-Testprojekten reduziert werden kann.
Installation
Die Installation der neuen Playwright Test Agents war erstaunlich unkompliziert. Im Projektverzeichnis habe ich folgenden Befehl ausgeführt:
npx playwright init-agents --loop=vscode
Das Setup in VS Code
Im Projekt wurden danach mehrere Agent-Dateien unter folgendem Verzeichnis hinterlegt:
.github/agents/..
Neben den eigentlichen Agent-Dateien erstellt Playwright noch weitere wichtige Konfigurationsdateien. Dazu gehört unter anderem die mcp.json.
Zusätzlich wurde automatisch eine sogenannte Seed-Datei erzeugt: Diese dient als einfacher Ausgangspunkt für weitere AI-generierte Tests. Dadurch erhalten die Agents bereits einen ersten Browser-Kontext und eine grundlegende Teststruktur. Außerdem eignet sich die Datei ideal als erster Smoke-Test, um das gesamte MCP- und Playwright-Setup schnell zu prüfen. Ich habe den page.goto-Befehl geändert, um zunächst meine Website https://walter-test-engineering.de/ aufzurufen zu lassen.
Nun kann es losgehen
Ich nutze nun GitHub Copilot Chat, um den Agents die ersten Anweisungen zu geben. Um sicherzustellen, dass diese für Copilot tatsächlich verfügbar sind, frage ich gezielt nach, ob er die entsprechenden Agenten im Workspace auch erkennt.
Passt also 🙂
Testplan automatisch erstellen lassen
Nun starte ich mit der Erstellung eines Testplans und habe einfach folgenden Prompt verwendet:
Generate a testplan for the website https://walter-test-engineering.de/
Daraufhin wurde ein strukturierter Testplan erstellt.
Copilot nutzte dabei sichtbar den Planner-Agent und zeigte dabei „used reference“ an. Ein erster Testplan wurde also erstellt, lasst uns diesen doch gleich noch in dem Projekt ablegen:
Und ja, die Datei ist tatsächlich unter specs zu finden:
Automatische Testgenerierung und anschließende Ausführung
Nach dem Testplan wollte ich nun einen echten Playwright-Tests generieren lassen. Um es einfach zu halten, habe ich nun prüfen lassen, ob ein Suchicon im Hauptmenü der Website vorhanden ist.
Mit dem Ergebnis war ich anfangs aber nicht wirklich zufrieden, denn die Selektoren waren mir etwas zu generisch. Ich habe Copilot also angewiesen, die Website zu besuchen und einen neuen Testfall zu erstellen, der konkret mit den Selektoren der Website arbeitet.
Außerdem habe ich den Testfall etwas erweitert, er öffnet die Website und prüft, ob sich die Suchfunktion im Header über einen präzisen CSS-Selektor öffnen lässt. Anschließend wird kontrolliert, ob das Suchfeld sichtbar ist und Eingaben wie „test“ korrekt angenommen werden:
Ich bin mit dem Testfall jetzt zufrieden und lasse diesen auch gleich ausführen:
Der spannende Teil: AI-Self-Healing
Ich habe absichtlich einen Selector des Input-Fields kaputt gemacht und dort einfach „Test123“ eingetragen.
Der Test schlug erwartungsgemäß fehl.
Anschließend habe ich den Healer-Agent genutzt, um den Test zu reparieren, und auch das war ein voller Erfolg 🙂
Der Healer analysierte DOM, Locator und Timing-Probleme und reparierte den Test automatisch.
Ein erstes Fazit zu den Playwright Agents
Die Kombination aus MCP, GitHub Copilot und Playwright Agents zeigt eindrucksvoll, wie stark sich moderne Testautomatisierung aktuell weiterentwickelt. KI-gestützte Ansätze ermöglichen es, Tests schneller zu erstellen, repetitive Aufgaben zu automatisieren und neue Testideen deutlich effizienter umzusetzen.
Besonders bei Smoke-Tests, UI-Regressionstests, explorativen Tests und schnellen Testprototypen können solche Tools ihre Stärken in meinen Augen sehr gut ausspielen. Dadurch gewinnen wir QA Engineers mehr Zeit für strategische Aufgaben, komplexe Testfälle und die qualitative Bewertung von Software. Ich denke, gerade der MCP-Ansatz entwickelt sich derzeit rasant weiter und dürfte das Qualitätssicherung von Software in den kommenden Jahren nachhaltig beeinflussen. Ich werde hier berichten :).
Weiterführende Links
