Das Testen von Workflows, die sich über mehrere Anwendungen und Plattformen erstrecken, ist eine anspruchsvolle Aufgabe. Stellen Sie sich einen Testfall vor, der zuerst eine API aufruft, dann muss ein Benutzer Informationen in seine Web-App eingeben, damit der Endbenutzer die Aktualisierung schließlich in seiner nativen App auf einem Smartphone sieht. Eine echte End-to-End-Automatisierung ist heute nahezu unmöglich.

Aktuelle Ansätze versuchen, plattformübergreifend mit Hilfe von Web-Apps zu automatisieren, die auf (mobilen) Browsern laufen. Native Apps auf Android oder iOS können nur mit rechen- und zeitintensiven Techniken wie der Bild-in-Bild-Suche in den Workflow eingebunden werden, da ihnen Code-Selektoren fehlen, die auf dem Document-Object-Model (DOM) arbeiten.

Mit dem Aufkommen des maschinellen Lernens/der künstlichen Intelligenz können wir Modelle trainieren, die Elemente auf Benutzeroberflächen allein auf der Grundlage visueller Attribute erkennen. Damit wird es möglich, jede Plattform zu automatisieren, wenn man sie mit der Automatisierung auf Betriebssystemebene kombiniert.

In diesem Vortrag werde ich eine Live-Demo zeigen, die die Zuhörer Schritt für Schritt durch eine typische 2-Faktor-Authentifizierung mit einem physischen Smartphone führt. Wir werden sehen, welche Automatisierungen heute möglich sind und wie sie das Testen von bisher nicht testbaren Workflows ermöglichen.