Klassische Testautomatisierungstools wie Selenium oder WebdriverIO arbeiten mit Selektoren, die bei UI-Änderungen oft angepasst werden müssen. Das Unternehmen AskUI verfolgt einen anderen Ansatz: Statt technischer Selektoren nutzt das Tool künstliche Intelligenz im Testing, um Benutzeroberflächen so zu verstehen wie ein Mensch. So können Tests robuster, wartungsärmer und intuitiver erstellt werden. In dieser Woche habe ich mir AskUI etwas genauer angeschaut und möchte Dir hier verraten, wie es funktioniert und wann der Einsatz sinnvoll ist.
Was ist AskUI?
AskUI ist ein KI-gestütztes Testautomatisierungs-Tool, das auf visueller Erkennung basiert.
Statt CSS- oder XPath-Selektoren verwendet AskUI Computer Vision, um UI-Elemente auf dem Bildschirm zu identifizieren. Dadurch kann das Tool Anwendungen über Desktop, Web und teilweise Mobile hinweg automatisieren.
Tests werden häufig in einer natürlichen, beschreibenden Sprache formuliert, z. B. „Klicke auf Login“ oder „Fülle das E-Mail-Feld aus“.
Wo wird AskUI eingesetzt?
AskUI wird kann dort untersützen, wo klassische UI-Automation häufig an ihre Grenzen stößt:
- End-to-End-Tests
Automatisierung kompletter Benutzerabläufe über mehrere Systeme hinweg - Cross-Plattform-Testing
Tests auf Web-, Desktop- und teilweise Mobile-Anwendungen - Regression Testing
Sicherstellung, dass UI-Änderungen bestehende Funktionen nicht beschädigen - Testautomatisierung ohne stabile Selektoren
Ideal für dynamische oder häufig wechselnde Oberflächen - CI/CD-Integration
Einbindung in Pipelines wie Jenkins, Docker oder GitHub Actions
Wie funktioniert AskUI in der Praxis?
Ein typischer Testablauf in AskUI basiert auf visuellen Kommandos:
- Schritt 1: Anwendung starten
- Schritt 2: UI-Element visuell erkennen lassen
- Schritt 3: Aktion ausführen (Klick, Input, Scroll)
- Schritt 4: Ergebnis validieren (z. B. Text sichtbar)
Im Gegensatz zu klassischen Frameworks werden keine technischen Selektoren benötigt. Stattdessen erkennt die KI Elemente anhand ihrer visuellen Struktur.
Warum ist AskUI besonders interessant?
1. Weniger Wartung von Tests:
Da AskUI UI-Elemente visuell erkennt, müssen Tests bei Layout-Änderungen oft nicht angepasst werden.
2. Natursprachliche Steuerung:
Testfälle können in einer verständlichen Sprache formuliert werden, was auch nicht-technischen Teammitgliedern den Einstieg erleichtert. Siehe dazu auch nachfolgende Screenshots.
3. Plattformübergreifend:
AskUI funktioniert auf verschiedenen Betriebssystemen und UI-Typen.
4. Skalierbar für moderne CI/CD-Umgebungen:
Das Tool lässt sich in Docker- und Pipeline-Umgebungen integrieren und eignet sich für Enterprise-Workflows.
Vorteile und Nachteile von AskUI
Vorteile
- Keine oder kaum Selektoren notwendig
- Robust gegenüber UI-Änderungen
- KI-gestützte Objekterkennung
- Gut für komplexe E2E-Szenarien
- Für Entwickler geeignet, siehe nachfolgend
- CI/CD-fähig
Nachteile
- Kommerzielle Lösung (kein Open Source)
- Abhängigkeit von KI-Erkennung (nicht immer 100 % deterministisch)
- Debugging kann schwieriger sein als bei klassischen Tools
Ist AskUI für Entwickler geeignet?
AskUI lässt sich problemlos in Entwicklungsumgebungen wie Visual Studio Code nutzen, ohne dass eine eigene VS-Code-Erweiterung erforderlich ist. In der Praxis wird AskUI häufig in Node.js- oder TypeScript-Projekten eingesetzt, wodurch VS Code vor allem als Editor für die Testskripte dient.
Die eigentliche Ausführung der Tests erfolgt über die Kommandozeile oder innerhalb von CI/CD-Pipelines wie GitLab oder GitHub Actions. Dadurch eignet sich AskUI besonders für Entwicklerteams, die bereits mit modernen JavaScript-Stacks arbeiten und ihre Testautomatisierung nahtlos in bestehende Entwicklungsumgebungen integrieren möchten.
Ein YouTube-Video von AskUI zeigt zudem eindrucksvoll, wie die Automatisierung in der Praxis funktioniert: Ganz ohne Selektoren, sondern über natürliche Sprachbefehle wie „click the middle of the white canvas on the Chrome browser“, versteht die KI die Benutzeroberfläche und führt Aktionen ähnlich wie ein menschlicher Nutzer aus.
AskUI im Vergleich zu klassischen Tools
| Kriterium | AskUI | Klassische Tools (z. B. Selenium/WebdriverIO) |
|---|---|---|
| Technologie | KI / Computer Vision | DOM / Selektoren |
| Wartung | Niedrig | Höher bei UI-Änderungen |
| Stabilität | Visuell robust | Abhängig von DOM-Struktur |
| Erstellung von Tests | Natursprachlich möglich | Code-basiert |
| Ideal für | Komplexe E2E-Workflows | Unit- & UI-Tests mit stabilen Selektoren |
Für wen ist AskUI geeignet?
AskUI eignet sich besonders für:
- QA Engineers in komplexen UI-Umgebungen
- Teams mit häufig wechselnden Frontends
- Unternehmen mit CI/CD-Pipelines
- Organisationen, die Testwartung mit KI reduzieren möchten
Typische Einsatzbereiche
- SaaS-Plattformen mit dynamischen UIs
- Enterprise-Anwendungen
- Cross-Platform Testing
- Regression Testing in großen Projekten
Vergleich zu Applitools
AskUI und Applitools, mehr dazu hier, verfolgen beide das Ziel, UI-Tests robuster zu machen, setzen dabei jedoch unterschiedliche Schwerpunkte.
Applitools konzentriert sich primär auf visuelles Testing und sogenannte Visual-AI-Regressionstests. Dabei werden Screenshots von Anwendungen miteinander verglichen, um selbst kleinste visuelle Abweichungen im UI zu erkennen. Besonders in Design-lastigen Anwendungen oder bei pixelgenauer Qualitätssicherung ist dieser Ansatz sehr stark.
Tipp: In diesem Tutorial habe ich mal ein kleinen Test auf meiner eigenen Website mit Applitools gestartet.
AskUI hingegen geht einen Schritt weiter in Richtung Interaktion: Statt nur visuelle Unterschiede zu erkennen, automatisiert AskUI aktiv Benutzeraktionen über Computer Vision und natürliche Sprache. Damit eignet sich AskUI stärker für komplette End-to-End-Workflows, während Applitools eher im Bereich visueller Validierung und Regression Testing seine Stärken hat.
In der Praxis werden beide Tools teilweise sogar kombiniert: Applitools zur visuellen Absicherung des Layouts und AskUI zur Automatisierung der tatsächlichen Benutzerinteraktionen.
Fazit
AskUI ist ein modernes KI-basiertes UI-Automation-Tool, das klassische Selektor-Ansätze ergänzt oder ersetzt.
Besonders in dynamischen Systemen und komplexen End-to-End-Szenarien bietet AskUI einen großen Vorteil durch seine visuelle Erkennung und reduzierte Wartung.
Für Teams, die stark auf klassische Frameworks setzen, kann es jedoch eher als Ergänzung denn als vollständiger Ersatz dienen.
Weiterführende Links
FAQ
Was ist AskUI?
AskUI ist ein KI-basiertes UI-Automation-Tool, das Benutzeroberflächen visuell erkennt und automatisiert.
Ist AskUI Open Source?
Nein, AskUI ist eine kommerzielle Lösung mit Enterprise-Fokus.
Welche Technologien nutzt AskUI?
Computer Vision, KI und Natural Language Processing.
Wofür wird AskUI verwendet?
Vor allem für UI- und End-to-End-Testautomatisierung in komplexen Anwendungen.