"STAMMTISCH: It's not Rocket Science": Crowd Feedback

Die kontinuierliche Bewertung interaktiver Designs durch die Benutzer ist entscheidend für die Akzeptanz und Zufriedenheit der Benutzer mit interaktiven Systemen. Effektive Evaluierungstechniken werden beispielsweise für Websites als wesentlich für eine erfolgreiche Kundengewinnung angesehen. Ein typisches Mittel für eine effektive Evaluation ist das Sammeln von Nutzerfeedback in situ, während der Nutzung einer Website.

Das Einholen von Feedback in situ mit Hilfe von Pop-ups oder Feedback-Buttons ist ein effektives Mittel, um Probleme zu identifizieren, bestehende Funktionen kritisch zu reflektieren oder neue, zusätzliche Anforderungen zu sammeln, um die Akzeptanz bei den Nutzern zu erhöhen. Allerdings werden solche Feedback-Aufforderungen von den Nutzern oft als störend und lästig empfunden. Die Bereitschaft, sich auf die Feedbackanfrage einzulassen und sinnvolles Feedback zu geben, ist in der Regel gering. Eine mögliche Lösung, um diesem Problem entgegenzuwirken, ist die Einbindung von bezahlten Crowdworkern zur Einholung von Design-Feedback, auch Crowd-Feedback genannt. Crowd-Feedback-Systeme ermöglichen die groß angelegte Sammlung von Feedback zu Crowdsourcing-Aufgaben auf Plattformen wie Amazon Mechanical Turk (MTurk) und Prolific. Crowd-Feedback hat sich als skalierbarer Ansatz erwiesen, um erfolgreich unterschiedliche Meinungen einzuholen und interaktive Designs zu verbessern. Im Gegensatz zu diesen Vorteilen hat Crowd-Feedback jedoch auch erhebliche Nachteile: Erstens fehlt den Crowdworkern der reale Nutzungskontext, wenn sie Feedback zu interaktiven Systemen wie Websites geben. Sie sind höchstwahrscheinlich keine wirklichen Nutzer der Website und haben keine wirkliche Erfahrung mit ihr. Sie sind möglicherweise nicht einmal mit dem spezifischen Kontext der Website vertraut. Dies kann ihr Feedback verzerren. Es hat sich gezeigt, dass die Bereitstellung von Kontext die Empathie der Crowdworker erhöht, was wiederum die Qualität und Quantität des Feedbacks verbessert. Kontext, z.B. in Form von Personas, wirkt sich positiv auf die Empathie aus, da er hilft, die Gedanken und Gefühle der realen Nutzer zu erkennen und zu verstehen. Zweitens, wenn Crowd-Feedback-Systeme einen künstlichen Nutzungskontext wie ein Szenario oder eine Persona anbieten, erhöht sich der Aufwand für die Mitarbeiter, sich in das künstliche Nutzungsszenario hineinzuversetzen. Dieser Mehraufwand muss natürlich kompensiert werden. Ein Missverhältnis zwischen dem Aufwand für eine Aufgabe und der monetären Vergütung ist der Hauptgrund für Crowdworker, Aufgaben zurückzugeben, abzubrechen oder abzulehnen, und ist auch einer der beiden Gründe für die niedrigen Stundenlöhne von Crowdworkern, die bei etwa 2 bis 5 Dollar liegen. Drittens werden Crowd-Feedback-Studien auf Crowdsourcing-Plattformen in der Regel zu einem bestimmten Zeitpunkt durchgeführt. Sie erfassen Feedback nur für eine Momentaufnahme des Systems und ermöglichen keine kontinuierliche Erfassung von Feedback. Aufgrund dieser Nachteile ist In-Situ-Feedback vorzuziehen, da die Feedbackgeber das System und seine Funktionalitäten im Kontext und in Echtzeit erleben.