Remote Usability Tests im KI-Umsetzungsprojekt

Nach der Finalisierung des Interaktionskonzepts und Prototyps wurden im Rahmen des KI-Umsetzungsprojekts remote Usability Tests durchgeführt.

Durchführung

Die Usability Tests wurden mit acht Teilnehmenden durchgeführt, wobei der erste Test einen internen Pilottest darstellte. Da alle Usability Tests remote abliefen war dieser Pilottest sehr hilfreich, um das ganze Set-up und den erstellten Leitfaden vorab zu prüfen. Die weiteren sieben Teilnehmenden waren Mitarbeitende der Firma Rosswag und repräsentierten die zukünftige Nutzergruppe. Im Usability Test wurde den Teilnehmenden ein Szenario der Angebotskalkulation beschrieben. Sie sollten daraufhin verschiedene Aufgaben mit Hilfe des Kalkulationstools lösen. Die Beobachtungen wurden in einem klassischen Protokoll dokumentiert und auf digitalen Notizzetteln festgehalten, um die spätere Auswertung zu erleichtern. Innerhalb des Usability Tests stehen die Gedanken und Erwartungen der Nutzenden im Vordergrund. Um diese persönlichen Eindrücke zu erfahren, ist es hilfreich offene Fragen zu formulieren, damit die Nutzenden sich kreativ äußern konnten.

Durch die gute Vorbereitung und den Pilottest konnten die Usability Tests auch remote problemlos durchgeführt werden. Eine Herausforderung bestand lediglich in der Nutzung und Interaktion mit Maus und Tastatur, da man diese durch die Webcam nicht beobachten konnte. So konnte im Pilottest nicht nachvollzogen werden, wie der Teilnehmende mit dem 3D-Modell interagiert. Für die weiteren Tests wurde daher darauf hingewiesen, die Eingabe durch Maus und Tastatur in das Laute Denken einzubeziehen.
Sehr gut funktioniert hat die Anleitung der Teilnehmenden, da alle notwendigen Dokumente zuvor über einen bereitgestellten Link zur Verfügung gestellt wurden. Es gab demnach nicht nur ein ausführlichen Leitfaden für den Moderierenden, sondern auch einen Leitfaden für die Teilnehmen mit allen Schritten, notwendigen Informationen und Links. So konnte viel Zeit für organisatorische Punkte während den Tests gespart werden.

Die Tests lieferten dem Unternehmen NuCOS durch die Methode des Lauten Denkens viele Einblicke und Erkenntnisse zur intuitiven Nutzung mit dem entwickelten Kalkulationstool. Dabei äußerten die Teilnehmenden alle Erwartungen und Gedanken, die sie vor, während und nach der Interaktion mit einem bestimmten Element hatten. Offene Fragen waren in manchen Fällen auch hilfreich um die Interaktion detaillierter zu verstehen. Somit konnten die Nutzenden sich kreativ äußern. Zwischen den verschiedenen Usability Tests war es für das Unternehmen allerdings herausfordernd, das Tool aufgrund der Beobachtungen nicht sofort zu verbessern. Die Vergleichbarkeit der unterschiedlichen Ergebnisse wäre ansonsten nicht gewährleistet gewesen.

Ergebnisse

Für die Auswertung der Usability Tests stand eine große Menge an Beobachtungen zur Verfügung, die es zu strukturieren galt. Die Beobachtungen wurden nach Häufigkeit und Bedeutung pro Ansicht im Kalkulationstool klassifiziert. Die Ergebnisse für eine Ansicht im Kalkulationstool sind in der Abbildung "Angebotsansicht" dargestellt.

Dabei wurde der Handlungsbedarf aufgrund der Beobachtungen folgendermaßen kategorisiert:

1. Softwarefehler, der behoben werden muss (bug, rot),
2. Softwareentwicklungen, die direkt implementiert werden können (fuchsia),
3. weiterer Aufwand muss abgeschätzt werden (gelb),
4. eine Entscheidung mit Rosswag ist nötig (grün),
5. eine Abstimmung mit Rosswag ist nötig (cyan) und
6. momentan kein Handlungsbedarf (grau).

Durch die Usability Tests konnten bereits Softwarefehler gefunden werden und die Tests konnten somit einen Teil zum Software-Testing beitragen. Besonders hilfreich war es auch in den Tests zu sehen wie die Nutzenden konkret mit der Software interagieren. Beispielsweise wurden Kontrollkästchen (Checkboxen) in einer anderen Art und Weise interpretiert wie das vom Entwicklerteam erwartet wurde. Die Entwickelnden wollten durch die Kontrollkästchen eine Anzeigeoption bereitstellen wohingegen viele Teilnehmenden das Kontrollkästchen als Element zur Aktivierung einer Interaktionsfläche gesehen hatten. Die Usability Tests haben auch verdeutlicht, dass die Kostenberechnung für den 3D-Druck noch detaillierter und in Absprache mit der Zielgruppe konzipiert werden muss.

Im Anschluss an die Usability Tests wurde die Anwendung auch auf die wahrgenommene pragmatische und hedonische Qualität mithilfe des AttrakDiff-Fragebogens untersucht (Mehr zum Fragebogen). Die Anwendung weist nach Auswertung eine hohe Attraktivität auf. Dabei fiel die Beurteilung mit einer geringen Abweichung der verschiedenen Nutzenden aus.

In diesem Anwendungsfall boten die Usability Tests eine wertvolle Möglichkeit sowohl die bereits positiven Aspekte der Anwendung als auch die Verbesserungspotenziale in der Konzeption und Umsetzung der Anwendung zu benennen. Nun werden die Verbesserungen in die Anwendung eingepflegt und in einem weiteren Iterationsschritt mit Hilfe weiterer Usability Tests validiert.

Autoren: Carmen Straub, Anika Spohrer