Mit der Valenzmethode User Experience messen – geht auch remote

Die Valenzmethode (Burmester, 2013) ist ein formatives Evaluationsinstrument zur Messung der User Experience von Systemen und Produkten welche auf dem Bedürfnismodell von Hassenzahl (2008) aufbaut. Sie soll DesignerInnen Informationen liefern, mit denen die Gestaltung des Produktes hinsichtlich der User Experience optimiert werden kann. Die Methode lässt sich in zwei Phasen unterteilen: Im ersten Teil, der Explorationsphase, nutzen TeilnehmerInnen das zu evaluierende Produkt zunächst frei. Gleichzeitig sind sie aufgefordert auf ihre durch die Interaktion ausgelösten Gefühle zu achten und diese durch das Betätigen einer grünen Plustaste, für positive Gefühle bzw. roten Minustaste, für negative Gefühle, zu protokollieren. Die Exploration sowie die Protokolldaten der positiven und negativen Gefühle (Valenzmarker) werden aufgezeichnet. Im zweiten Teil, der retrospektiven Phase, werden die TeilnehmerInnen zu den Valenzmarkern befragt wodurch herausgearbeitet wird, welche gestalterischen Aspekte für die Valenzmarker verantwortlich sind und worin die Bedeutung des Gestaltungsaspekts liegt. 

Das Verfahren war bisher auf den Präsenzkontakt ausgelegt: In einem UX-Labor wird den TeilnehmerInnen für die Explorationsphase ein zu evaluierendes Produkt oder System zusammen mit einer Vorrichtung in Form einer kleinen Fernbedienung, dem Markergerät mit der die Valenzmarker gesetzt werden (siehe Abbildung 2), vorgelegt. Der gesamte Ablauf wird gefilmt. In der retrospektiven Phase wird das Video anschließend gemeinsam mit den TeilnehmerInnen auf einem Bildschirm angeschaut. Parallel dazu wird ein persönliches Interview mit den TeilnehmerInnen geführt, welches stark auf persönliche Bedeutungen und Bedürfnisse fokussiert und dementsprechend von einer guten zwischenmenschlichen Beziehung profitiert. In Pandemiezeiten sind solche Kontakte jedoch nicht möglich. Um dennoch die User Experience von Produkten untersuchen zu können, war es für uns in zwei Studien erforderlich das Verfahren an remote Bedingungen zu adaptieren: Die TeilnehmerInnen wurden nicht in ein UX-Labor, sondern zu einem virtuellen Meeting in einem Videokonferenztool eingeladen. Dadurch wurden Anpassungen bei den beiden Phasen der Valenzmethode erforderlich, die im Folgenden vorgestellt werden. Abschließend werden die Herausforderungen und Vorteile dieser Adaptionen diskutiert.

Explorationsphase

Unserer Erfahrung nach, ist die Möglichkeiten der Adaption der Explorationsphase abhängig vom Stand des Produktes:

In unserer ersten Studie wurde den TeilnehmerInnen der Prototyp in Form eines textbasierten Szenarios vorgelegt. Das Dokument wurde online über einen Link zugänglich gemacht, so dass es von den TeilnehmerInnen bearbeitet werden konnte. Sie wurden aufgefordert, sobald durch bestimmte Aspekte des Szenarios Emotionen bei ihnen ausgelöst werden, die entsprechenden Textstellen zu markieren und jeweils mit einem Plus- oder Minus-Zeichen, als Valenzmarker, zu kommentieren. Eine Videoaufnahme der Exploration des Prototyps war in dieser Studie nicht erforderlich, da die Emotionen über die Kommentarfunktion unmittelbar im textbasierten Prototyp festgehalten wurden.

Auch wenn der Prototyp bereits in Form von Screens ausgearbeitet oder vielleicht sogar klickbar ist, kann dieser den TeilnehmerInnen online zur Verfügung gestellt werden. In unserem zweiten Anwendungsfall, wurde der Prototyp mit dem browserbasierten Cloud-Designtool Figma erstellt. Figma ist ein Tool, mit welchem man kollaborativ an gemeinsamen Entwürfen arbeiten kann, ähnlich wie Adobe XD oder Sketch. Einzelne Elemente können dabei miteinander verknüpft werden, um durch das Produkt zu navigieren oder Effekte wie Wischen, Blinken, etc. zu erzielen. Um es den TeilnehmerInnen zu ermöglichen, neben der Navigation durch den Prototypen Valenzmarker zu setzen, wurde für die Studie in Figma ein virtuelles  Markergerät mit klickbaren Schaltflächen erstellt (siehe Abbildung 1). Diese wurde neben dem Prototyp dargestellt und leuchtete bei einem Klick entsprechend grün oder rot auf. Zur Dokumentation der Explorationsphase und Valenzmarker wurde der von den TeilnehmerInnen zur gemeinsamen Ansicht geteilte Bildschirm durch das Videokonferenztool aufgezeichnet.

Retrospektive Befragung 

Für die Phase der retrospektiven Befragung wurde in unserer ersten Studie einfach das kommentierte Textdokument zur gemeinsamen Ansicht im Videokonferenztool geteilt. Anschließend wurden die einzelnen Kommentare mit der Laddering-Technik (Reynolds & Gutman, 1988) durchgesprochen. 

In der zweiten Studie, in der ein navigierbarer Prototyp vorlag, wurde in der retrospektive Befragungsphase gemeinsam mit den TeilnehmerInnen das Video der Explorationsphase angeschaut und an den entsprechenden Stellen (aufleuchtendes Markergerät) gestoppt um die jeweiligen Valenzmarker zu besprechen. 

Um die Interviews anschließend auswerten zu können, wurden die Befragungsphasen bei beiden Studien mit dem Videokonferenztool aufgezeichnet.

Einschränkungen und Herausforderungen

• Ablenkungen lassen sich unter remote Bedingungen schlechter vermeiden als in der kontrollierten Laborsituation. Daher sollten die TeilnehmerInnen vorab gut gebrieft werden damit sie sich einen möglichst störungsfreien Platz für die Dauer der Untersuchung suchen.
• Je nach Ausarbeitungsgrad des Prototyps, kann dessen Erstellung aufwändiger sein. Um eine möglichst realistische Darstellung zu vermitteln, kann es notwendig sein, nicht nur das Produkt, sondern z. B. auch ein Tablet-Rahmen oder eine Fernbedienung zu gestalten. Einmal erstellt, kann das jeweilige Setup aber dann auf neue Projekte übertragen werden.
• Um ein möglichst natürliches Gespräch in der Videokonferenz entstehen zu lassen, sollte auf eine stabile Internetverbindung geachtet werden. Da oft persönliche Themen angeschnitten werden, führen Zeitverzögerungen oder Tonprobleme zu Missverständnissen, Unterbrechungen oder unangenehmen Gesprächspausen.
• Da die Durchführung der Valenzmethode am Bildschirm anstrengender ist als im realen Leben sollten auf jeden Fall genügend Möglichkeiten für Pausen einkalkuliert werden. Die TeilnehmerInnen sollten hierauf explizit aufmerksam gemacht werden.
• Unter Laborbedingungen werden die TeilnehmerInnen ausschließlich mit dem Produkt oder System konfrontiert, das mit der Valenzmethode untersucht werden soll. Unter remote Bedingungen müssen die TeilnehmerInnen jedoch mit weiteren Anwendungen, wie beispielsweise Internetbrowsern oder dem Videokonferenztool, interagieren. Je nachdem, wie versiert die TeilnehmerInnen im Umgang mit diesen Anwendungen sind, erhöht sich der zeitliche Aufwand der Untersuchung: Die TeilnehmerInnen müssen dabei unterstützt werden, das Setup zu öffnen und die notwendigen Einstellungen vorzunehmen. Zudem kann sich die Unsicherheit im Umgang mit den Anwendungen negativ auf das Selbstvertrauen der TeilnehmerInnen auswirken. Diese Erfahrung bestätigt sich im Übrigen auch bei anderen Verfahren, die vom Labor in eine virtuelle Umgebung überführt werden, wie beispielsweise Usability-Tests. Insgesamt ist es bei der remote Durchführung von Methoden daher besonders wichtig, durch eine professionelle Interviewführung eine angenehme Atmosphäre zu erzeugen.

Vorteile

• Die TeilnehmerInnen können die Studie in einem gewohnten Umfeld durchführen und sind so eventuell auch bereitwilliger, sich den InterviewerInnen zu öffnen.
• Je spezifischer das Produkt, desto spezifischer die Zielgruppe. Die Möglichkeiten der Akquise erhöhen sich immens, wenn auf die remote Variante der Valenzmethode zurückgegriffen werden kann. Personen können dann nicht nur aus dem näheren Umkreis, sondern weltweit akquiriert werden.
• Die Anreise der TeilnehmerInnen fällt weg. Hierdurch können Anfahrtskosten sowie Emissionen eingespart werden.
• Die Aufzeichnung der beiden Phasen ist sehr unkompliziert, da dies per Knopfdruck innerhalb der Videokonferenz umgesetzt werden kann, anstatt komplizierte Kamerainstallationen einzurichten.
• Die InterviewerInnen haben die Möglichkeit parallel zur Videokonferenz den Leitfaden zu öffnen. Dies ermöglicht eine offenere Haltung gegenüber den TeilnehmerInnen und die Situation wirkt natürlicher.
• Die Vorbereitungszeit der einzelnen Durchführungen ist im Vergleich zum Labor geringer, da nichts aufbaut werden muss. Außerdem ist man nicht an Raumkapazitäten gebunden.

Fazit

Mit ein bisschen Vorbereitung lässt sich die Valenzmethode unserer Erfahrungen nach auch remote sehr gewinnbringend einsetzen. Sie kann einen wichtigen Beitrag im Prozess der menschzentrierten Digitalisierung leisten indem Erlebnisse von NutzerInnen analysiert werden können. Durch die remote Variante kann der Kreis von potentiellen NutzerInnen vergrößert werden. Kontaktieren Sie uns gerne, wenn Sie weitere Fragen zur Methode haben. Wir freuen uns zudem, wenn Sie Ihre Erfahrungen mit der remote Variante der Valenzmethode mit uns per Mail oder unter dem Hashtag #UUXremote teilen.

Burmester, M. (2013). Valenzmethode – Formative Evaluation der User Experience. In K. Scherfer & H. Volpers (Eds.), Methoden der Webwissenschaft – Ein Handbuch. Bd. I Anwendungsbezogene Methoden(Vol. 11, pp. 141–160). Münster: LIT Verlag.

Hassenzahl, M. (2008). User experience (UX): towards an experiential perspective on product quality. In Proceedings of the 20th International Conference of the Association Francophone d’Interaction Homme-Machine (pp. 11–15). ACM. Retrieved from portal.acm.org/citation.cfm?id=1512717

Reynolds, T. J., & Gutman, J. (1988). Laddering theory, method, analysis, and interpretation. Journal of Advertising Research, 28(1), 11–31. Retrieved from marketing.byu.edu/htmlpages/courses/490r/ladderingtheory.doc