Gastbeitrag: Die Erfolgsgeschichte von AskUI und Carl, dem Test-Butler

Was ist Testautomatisierung und wer steckt hinter AskUI?

Softwaretests überprüfen Software auf die Erfüllung von definierten Anforderungen. Eine Kategorie von Softwaretests ist das User Interface (UI) Testing. User Interfaces bestimmen mittlerweile einen Großteil unseres Alltags. Ob beim Einkaufen im Web oder dem Stellen eines Weckers auf dem Mobilgerät, überall wird mit Buttons, Textfeldern und anderen UI-Elementen interagiert. Um die Funktionalität dieser Elemente sicherzustellen, müssen sie getestet werden. Dieser Prozess wird UI Testing genannt. Geschieht dieser Prozess automatisiert, sprechen wir von Testautomatisierung.

Unternehmen müssen ihre Software permanent aus Nutzersicht testen. Dies konnte zwar lange manuell bewältigt werden, doch die heutigen fast täglichen Releasezyklen und komplexe Benutzeroberflächen haben die Anforderungen massiv gesteigert. Manuell kann dieser Aufwand kaum noch gestemmt werden, weshalb Betreiber immer häufiger fehleranfällige Software veröffentlichen. Dies führt bei Unternehmen und Nutzern zu Frustration.

AskUI konfrontiert dieses Problem durch eine innovative Lösung - eine KI-gestützte Bilderkennung testet User Interfaces wie ein Mensch, nur automatisiert. Das interdisziplinäre Team besteht heute aus zwei Softwareentwicklern, einem Geschäftsführer und einem Marketing-Beauftragten. Aus Studierenden des KIT in Karlsruhe und der RWTH in Aachen wurden Unternehmer.

Gemeinsam mit ersten Pilotpartnern entwickelte das Team einen ersten Prototyp. Bei der Entwicklung dieses Prototyps stand der Nachweis der Funktionsfähigkeit im Vordergrund. Als diese bestätigt werden konnte, stand die Frage im Raum: Wie gestaltet man eigentlich eine harmonische, benutzerfreundliche Kommunikation zwischen Mensch und Maschine? An diesem Punkt stieß das Mittelstand 4.0-Kompetenzzentrum Usability dazu.

Ziel, Methodik und Ergebnisse der Studie

Kurze Zeit nach der Ausschreibung des KI-Pilotprojekts lernte KI-Trainer Manuel Kulzer vom Kompetenzzentrum Usability die drei Gründer bei einem “Kaffeeklatsch” online kennen. Rückblickend beschreibt er den ersten Kontakt mit dem Team so: “AskUI beeindruckte mit einer durchdachten KI-Anwendungsidee, die auch schon zum Teil implementiert war.”

Gemeinsam wurde der Rahmen des Pilotprojekts abgesteckt. Das Ziel der Studie war es, Methoden für die Usability- und User-Experience-Evaluation der KI-Anwendung auf den Prüfstand zu stellen. Ein wichtiger Faktor der User Experience von KI-Assistenzsystemen ist die Zusammenarbeit und die Kommunikation mit der KI. Daher sollte auch geprüft werden, inwiefern empathische Eigenschaften der KI sich auf die Vertrauensbildung zwischen Mensch und KI und eine positive User Experience auswirken können.

Zunächst wurden im Zuge eines A/B-Testings zwei Prototypen der Test-Software entwickelt: Eine empathische Version, die eher menschliche Emotion und Ausdrucksweisen zeigte und eine neutrale, rein sachliche Version als Vergleich. Für die Evaluation der beiden Prototypen wurden jeweils zehn Nutzertests durchgeführt, in denen sowohl quantitative Fragebögen als auch qualitative Interviews zum Einsatz kamen. In den Fragebögen konnten die Nutzer auf Skalen bewerten, ob sie den jeweiligen Prototypen beispielsweise intuitiv oder die Kommunikation mit dem eigens entwickelten KI-Maskottchen “Carl” angenehm empfanden.

Carl ist der Butler, der den Anwender durch das Tool führt und Auskunft darüber gibt, was gerade geschieht, wenn die KI automatisiert das User Interface bedient. Carl erklärt beispielsweise “Ich sehe mir das mal an”, wenn er ein Bild der Applikation macht, “gib mir noch einen Moment”, wenn das Bild auf Elemente untersucht wird, oder auch “super, das funktioniert einwandfrei”, wenn ein Testschritt erfolgreich ausgeführt wurde. Das Team von AskUI beobachtete die Reaktionen der Teilnehmer auf den Assistenten sehr genau. Die Gründer bekamen erstmals die Gelegenheit zu sehen, wie außenstehende Nutzer auf ihr Produkt reagierten. Die Teilnehmenden kamen aus verschiedensten Disziplinen und brachten unterschiedliche Vorerfahrungen mit. Eine freudige Begleiterscheinung dieser Vielseitigkeit war für die Gründer, dass die Teilnehmenden auch auf zahlreiche Dinge aufmerksam machten, die über den eigentlichen Prototypen hinausgingen.

Doch wie fiel das Ergebnis der Studie nun aus? Die Auswertung der Fragebögen und Interviews zeigte vor allem, dass weniger erfahrene Software Tester die empathische Version bevorzugten. Besonders gelobt wurde hier die Transparenz über den Prozess, der durch die Begleitung ermöglicht wurde. Erfahrene Informatiker hingegen fanden den Assistenten nett, bevorzugten es jedoch, ausschließlich technische Informationen zu erhalten. Das Projekt hat insgesamt gezeigt, dass schon die Form der Ausdrucksweise einer KI die wahrgenommene Usability und User Experience beeinflusst.

Quo vadis, AskUI?

Was bedeuten diese Ergebnisse für die weitere Entwicklung des Prototypen und wo steht AskUI heute? In einem halben Jahr kann bei einem Startup viel passieren, wie die Gründer gezeigt haben.

Inzwischen hat das Team im Rahmen des Accelerator Programms “CyberLab” Büroräume in Karlsruhe bezogen. Hier erhält das Team eine intensive Betreuung, um das Produkt und die Entwicklung voranzutreiben. Seit Januar 2021 wird das Team zudem durch das EXIST Gründerstipendium gefördert. Das Stipendium unterstützt innovative Gründungsideen bei der Realisierung des Vorhabens. Das Stipendium kann als wegweisender Gradmesser für die Zukunftsfähigkeit und das Potenzial einer Idee gedeutet werden. Von großer Bedeutung war hierfür neben der Verankerung in Gründernetzwerken auch die Beteiligung an Projekten wie der Evaluation des Kompetenzzentrum Usability.

Im März dieses Jahres war es dann soweit: Der Prototyp, der im Herbst noch gemeinsam getestet wurde, konnte durch den offiziellen Produktlaunch im Zuge der Unternehmensgründung abgelöst werden. Damit hat das Unternehmen nun die letzte Stufe der Realisierung erreicht, nicht zuletzt dank der hervorragenden Unterstützung der Studienteilnehmer und des Kompetenzzentrums Usability. Geschäftsführer Jonas Menesklou sagt hierüber: “Der Rahmen des Projekts war perfekt, weil wir ehrliches und konstruktives Feedback bekommen haben.” Der Technische Direktor Dominik Klotz ergänzt: “Wir wurden auf zahlreiche Dinge aufmerksam gemacht, die den eigentlichen Rahmen des Projekts sogar überstiegen.” Auch Manuel Kulzer zieht ein durchweg positives Fazit: “Zu sehen, wie unterschiedliche Menschen auf solche Gestaltungsformen von KI im Gegensatz zu neutralen und kaum wahrnehmbaren Formen reagieren und sowohl Stärken als auch Schwächen beider Versionen zu verstehen, war extrem spannend und lehrreich.”

Das Team von AskUI bedankt sich für die intensive Betreuung und ist mit Manuel Kulzer auch nach Abschluss des Projekts gerne in Kontakt geblieben. Jonas Menesklou betont abschließend, “jedes junge Team muss sein Produkt früher oder später der Evaluation durch Dritte stellen. Wir haben mit dem Kompetenzzentrum einen wahren Glücksgriff für diesen Schritt gemacht.”

Autor: Kilian van Zwoll, AskUI