Funktionstests von Website-Elementen wie z. B. eines Logins oder Warenkorbs sind normalerweise eine trockene und eintönige Angelegenheit – die Tester müssen die Testanweisungen des Projektverantwortlichen häufig händisch durchführen und dabei Fehler der Website dokumentieren. Und das bei hunderten bis tausenden von Funktionen über verschiedene Geräte, Betriebssysteme und Browser hinweg. Abhilfe verspricht das Karlsruher Startup AskYourUI, wo derzeit eine Künstliche Intelligenz (KI) entwickelt wird, die solche Funktionstests von Websites weitgehend automatisieren soll. Die KI kann Testanweisungen in natürlicher Sprache aufnehmen, die betreffenden Website-Elemente erkennen und dann selbstständig die Tests durchführen. Die Entscheidungen der KI, inwiefern eine Funktion als erfolgreich oder fehlerhaft eingeordnet werden kann, müssen jedoch noch von Menschen kontrolliert und bei Bedarf korrigiert werden. An dieser Stelle treten also die Nutzenden mit der KI in Interaktion – und diese sollte bestenfalls reibungslos ablaufen und für die Nutzenden ein positives Erlebnis darstellen.
Eine Analyse der Nutzergruppen und deren Nutzungskontexte war bei AskYourUI bereits aus einem vorausgegangenen Projekt vorhanden. Bei der Frage, wie die Mensch-KI-Interaktion ihres Tools derzeit wahrgenommen wird und weiter verbessert werden könnte, kam für AskYourUI das Mittelstand 4.0-Kompetenzzentrum Usability ins Spiel. Das Ziel des gemeinsamen Projekts sollte es sein, Methoden für die Evaluation der Usability und User Experience (zusammen: UUX) des KI-Tools kennenzulernen und zudem zu überprüfen, wie sich eine empathische Gestaltung der KI auf die User Experience (UX) auswirkt. Um letzteren Punkt zu untersuchen, wurden zunächst Ideen für menschliche, emotionale Darstellungsformen der KI gesammelt, die in einem Prototyp umgesetzt und getestet werden könnten. Mithilfe einfacher schriftlicher Storyboards und Skizzen wurde festgelegt, wie eine empathische (d.h. emotional und menschlich wirkende) und eine neutrale (d.h. rein sachliche) Version des KI-Systems aussehen und sich verhalten könnten (z. B. siehe Titelbild). Beide Versionen wurden anschließend von AskYourUI als funktionale Prototypen umgesetzt.
Für die Evaluation der Prototypen wurden Usability-Tests geplant, in denen ein typisches Aufgabenszenario bearbeitet werden sollte. Im Szenario ging es um das Testen mehrerer Funktionen einer beispielhaften Shop-Website, die eigens für die Studie erstellt wurde. Während der Bearbeitung der Aufgaben mit dem prototypischen KI-System sollten die Probanden das Laute Denken anwenden, um Probleme, aber auch positive Eindrücke für das Projektteam sofort erkennbar zu machen. Im Anschluss sollten Fragebögen vorgelegt und ein qualitatives Interview mit den Probanden geführt werden. Als Fragebögen wurden der QUESI für die Bewertung der Intuitivität (Usability) und der meCUE in der Kurzversion für die Erhebung positiver und negativer Emotionen (User Experience) ausgewählt. Um ausreichend Daten für einen aussagekräftigen Vergleich der Prototypen zu gewinnen, sollte jeder Proband beide Versionen der KI nacheinander testen und bewerten, wobei die Reihenfolge der Versionen in den Tests stets abgewechselt wurde.
Bei der Durchführung der Tests traten anfangs zwar noch einige unerwartete technische Schwierigkeiten auf, doch letztendlich wurden für beide KI-Versionen je zehn Fragebogen-Sets beantwortet und Interviews geführt. Bei der Auswertung des QUESI-Fragebogens zeigte sich, dass die neutrale Version in Bezug auf den Grad der wahrgenommenen kognitiven Beanspruchung, Lernaufwand und Vertrautheit minimal besser abschnitt als die empathische Version, insgesamt wurden aber beide Versionen gut bewertet und unterschieden sich nur kaum. Interessanter war die Auswertung des meCUE. Während die neutrale Version hier hauptsächliche moderat gute Gesamturteile erhielt, wirkte die empathische Version wohl polarisierender: Sie erhielt zwar einige eher negative Bewertungen, dafür aber auch einige herausragend gute. Im Gesamturteil wurde die empathische Version etwas besser bewertet als die neutrale Version.
Für sich alleine stehend wären diese Ergebnisse wohl schwierig zu interpretieren, doch glücklicherweise war mit der qualitativen Auswertung der Interviews für ein tieferes Verständnis der Hintergründe gesorgt. So zeigte sich, dass gerade den erfahrenen Software-Testern in der empathischen Version detaillierte, technische Informationen in der Kommunikation seitens der KI gefehlt hatten, während Neulinge und Nicht-Informatiker die empathische Version der KI vor allem wegen ihrer freundlichen und unterhaltsamen Darstellung und Ausdrucksweise bevorzugten. Als Konsequenz daraus arbeitet AskYourUI nun an einer hybriden Version ihrer KI, die das Beste aus beiden Welten vereint. Wir wünschen dem Unternehmen dabei weiterhin viel Erfolg und sind gespannt auf das Ergebnis des fertigen KI-Systems!
12.01.21
