Pilotprojekt: Remote Usability Tests zur Evaluierung eines agilen Umfragetools

Hintergrund

Die AgyleOS GmbH operiert im Bereich der agilen Softwareentwicklung und unterstützt hier Unternehmen, die ihre Strukturen bereits auf agiles Arbeiten umgestellt haben, indem sie Tools für Visualisierung, Management und Ausbau ihrer Agilität für diese Unternehmen bereitstellt. Das Ziel ist es den Medienbruch zwischen analogen und digitalen Tools gering zu halten. Mithilfe der Tools können alle relevanten Daten an einem zentralen Ort zusammengetragen werden und die Selbstorganisation der Teams kann so gefördert werden, was wiederum zu einer örtlichen und zeitlichen Flexibilität der Teams beiträgt.

Zum Zeitpunkt der Kooperation, befand sich AgyleOS gerade in der Entwicklung eines neuen agilen Umfragetools, welches genauer untersucht werden sollte.

Ziel des Pilotprojekts

Ziel des Projekts war die Testung des neuen Umfragetools hinsichtlich der Frage, ob Nutzende befähigt werden Umfragen zu erstellen. Außerdem sollte untersucht werden, ob die Visualisierung der Ergebnisse für die Nutzenden verständlich gestaltet wurde. Zu diesem Zweck sollten Prüfaufgaben erstellt werden, anhand derer die Nutzbarkeit des Tools näher untersucht werden konnte.

Methoden

Zur Beantwortung der Fragestellung wurden Remote Usability Tests unter Einsatz des lauten Denkens über zwei Tage hinweg mithilfe von Google Meet und Zoom durchgeführt. Zu Beginn des Tests wurden die Versuchsteilnehmenden begrüßt und über den Zweck der Aufgabe aufgeklärt. Anschließend bearbeiteten sie einige einführende Fragen, die Prüfaufgaben, sowie Feedback-Fragen am Ende der Sitzung. Die Fragen zu Beginn zielten darauf ab, Informationen über den demografischen Hintergrund der Teilnehmenden zu erhalten, sowie deren Vorerfahrung mit Tools von AgyleOS, die allgemeine Technikaffinität und Kenntnisse anderer Befragungsinstrumenten zu erfassen. Während der Prüfaufgaben sollten die Versuchspersonen die Methode des lauten Denkens anwenden und so ihren Eindruck des Umfragetools während der Bearbeitung schildern. Die Fragen im Anschluss widmeten sich möglichen Schwierigkeiten während der Bearbeitung, sowie einer Einschätzung des allgemeinen Designs des Tools.

Alle Kommentare der Versuchspersonen wurden protokolliert und in die Kategorien „Usability Probleme“, „Hinweise“ und „positive Erkenntnisse“ eingegliedert. TestleiterInnen und ProtokollantInnen einigten sich hierbei gemeinsam auf die am besten passende Kategorie für alle Hinweise der Versuchspersonen.

Ergebnisse

Die ermittelten Erkenntnisse wurden im Rahmen eines Instant Usability Reports aufbereitet. Hier wurden zunächst die Probleme konkretisiert und Verbesserungsvorschläge ausgearbeitet. Danach wurden sie einem Schweregrad (gering, schwerwiegend, katastrophal) bezüglich der Bedienbarkeit zugeordnet, sowie die Anzahl der AnwenderInnen für die einzelnen Problem erfasst. Abschließend wurde ein Produktentwickler von AgyleOS einbezogen, welcher die Probleme anhand ihrer Relevanz im Sinne einer schleunigen Überarbeitung durch AgyleOS in eine Reihenfolge brachte.

Zusätzlich wurden die Erkenntnisse in Bezug zu den ursprünglichen Fragestellungen gebracht. Hier zeigten sich zwar einige kleinere Stolpersteine, insgesamt zeichnete sich das Tool jedoch durch eine klare und einfache Bedienung aus.

Zusammengefasst nimmt AgyleOS, neben den konkreten Ergebnissen über mögliche Nutzungsprobleme, auch das Wissen um Remote Usability Tests als sinnvolle Methode zur Untersuchung der Anwendbarkeit eines neuen Tools mit.