Fragebogen

• Erheben von quantitativen Aussagen von Nutzern
• Vergleich verschiedener Produkte
• Repräsentative Aussagen für die gesamte Benutzergruppe erhalten

Teilnehmer (Welche externen Teilnehmer sind eingebunden?)

Fragebögen sollten von einer Mindestanzahl von 10-30 Teilnehmern ausgefüllt werden. Die Teilnehmer selbst können Endnutzer, aber auch Experten oder andere Stakeholder sein. Die Befragung kann entweder direkt vor Ort oder remote per Online-Fragebogen erfolgen. Letztere Variante bietet vor allem beim Zugang zu Nutzergruppen eine Vorteil, kann aber in geringerem Maße mit anderen Methoden in einer Session kombiniert werden.

Organisator (Welche internen Teilnehmer sind eingebunden?)

Als durchführende Person ist mindestens ein interner Teilnehmer eingebunden. Er übernimmt die Rolle des Fragenbogenautors, des Durchführenden der Befragung sowie des Analysten. Je nach Stichprobenumfang, Umfang des Fragebogens, benötigte inhaltliche Expertise bei der Erstellung des Fragebogens, Zugriff auf die Zielgruppe und Art der Durchführunge (Paper-Pencil vs. Online) können auch mehrere Personen mit der Gestaltung- und Durchführung der Fragebogenbefragung eingebunden sein. Um die Rolle des Fragebogenautors adäquat ausfüllen zu können sollten ein Basis-Usability-Know-how sowie grundlegende Kenntnisse in Statistik und Testtheorie vorhanden sein. Die Rolle des Durchführenden erfordert die Kenntnis der Fragebogeninhalte.

Vorbereitung

• Definition der Ziele: Welche Fragen oder Hypotesen sollen beantwortet werden? Welcher Teil des Produkts soll evaluiert werden?
• Festlegen welcher Fragebogen benutzt werden soll. Fragebogen können selbst entwickelt und erstellt werden, oder es kann auf standardisierte Fragebogen zurückgegriffen werden (vgl. Praxis-Tipps):
  • AttrakDiff
  • IsoMetrics
  • ISONORM 9241-110-S
  • QUIS
  • SUMI
  • SUS
  • WAMMI
  • …
• Art der Einbeziehung der Teilnehmer festlegen:
• Physikalische Einbeziehung: Z.B. Ausfüllen des Fragebogens nach einem Usability-Test bzw. im Rahmen einer anderen Usability-Methode.
• „Remote-Einbeziehung“: Den Probanden wird der Fragbogen per Post oder E-Mail zugeschickt.
• Wählen wie Personen ausgewählt werden sollen, die an der Befragung teilnehmen: entweder als zufällige Stichprobe oder nach bestimmten Kriterien
• Anzahl der teilnehmenden Personen festlegen: Wie viele Personen müssen befragt werden, um statistisch genügend gesicherte Aussagen machen zu können?
• Personen auswählen, die befragt werden sollen
• Zeitplanung durchführen
• Fragebogen erstellen
• Formulierung der Fragen
• Wahl der Antwortmöglichkeiten
• Konstruktion von Skalen aus Fragesequenzen
• Zusammenstellung der Fragen und Fragesequenzen zu einem Fragebogen
• Fragebogen testen, um zu überprüfen, ob alles richtig verstanden wird und Bearbeitungsdauer festzustellen
• Auswertung der Daten planen
• Die Fragebogen werden den Teilnehmern zugänglich gemacht, z.B. per E-Mail

Durchführung

Die Teilnehmer beantworten die Fragebogen

Nachbereitung

• Statistische Auswertung der Ergebnisse
• Ableiten von Erkenntnissen

Aussagen über die Gebrauchstauglichkeit des Produkts.

• Höhere Objektivität als z.B. Interviews, da keine Beeinflussung durch Dritte gegeben ist.
• Fragebogen können relativ unaufwändig an jeder Stelle des Entwicklungsprozesses eingesetzt werden.
• Es gibt eine Vielzahl standardisierter Fragebogen zur Usability-Evaluation.
• Es können viele Teilnehmer mittels Onlineerhebung erreicht werden.
• Es können objektive und statistisch vergleichbare Daten gewonnen werden.

• Die Erstellung und Auswertung von Fragebogen ist aufwendig.
• Fragebogen müssen methodisch korrekt erstellt und eingesetzt werden, um aussagekräftige Ergebnisse zu erhalten. Für selbsterstellte Fragebogen ist nicht sicher gestellt, dass sie die Gütekriterien Objektivität, Reliabilität und Validität hinreichend erfüllen. Daher sind sie „mit Vorsicht zu genießen“, nach Möglichkeit sollten standardisierte Fragebogen verwendet werden.
• Standardisierte Fragebogen lassen nur wenig Raum zur Anpassung durch den Anwender.
• Es sind keine Nachfragen möglich
• Es sind viele Nutzer notwendig.
• Es können nur bereits bekannte Informationen abgefragt werden.
• Menschen tun und denken nicht immer das, was sie bei einer Befragung angeben.
• Aufgrund von sozialem Druck füllen Menschen oft unbewusst Fragebogen zu positiv oder zu negativ aus. Dies kann zum einen den Grund haben, dass die Befragten glauben, der Auftraggeber freue sich über positive Ergebnisse und zum anderen dass sie glauben Fehler bzw. negative Aspekte finden zu müssen. Betreffende Fragebogen sollten daher von erfahrenen Psychologen entworfen werden.

• Wichtig ist, die Anonymität und den Datenschutz zu gewährleisten (Usetree, 2014b).
• Es ist ggf. auf die Durchführungshinweise der jeweiligen Fragebogen zu achten (Simply Usable, 2015).

• Papier-Fragebogen
• Online-Fragebogen (vgl. Methodenbeschreibung Kapitel 4.3.5)
• Telefonbefragung: Proband wird per Telefon angerufen, und bekommt die Fragen gestellt (Richter & Flückiger, 2010).
• Standardisierte Fragebogen: (eine Auswahl wird im Folgenden kurz beschrieben)
  • AttrakDiff: Es wird erfasst, wie die Nutzer die Qualität und Attraktivität eines Produkts bewerten (vgl. Methodenbeschreibung Kapitel 4.3.4).
  • IsoMetrics: Der Fragebogen steht in zwei Versionen zur Verfügung. Eine für den Einsatz während des Entwicklungsprozesses einer Software (IsoMetrics (short)) und eine für die Bewertung einer fertigen Software (IsoMetrix (long). Die Langform besteht aus 90 Items, die anhand einer fünfstufigen Skala bewertet werden. Zusätzlich wird die Bedeutsamkeit der Items vom Nutzer bewertet. Letztere Bewertung findet bei der kurzen Version nicht statt, außerdem beinhaltet der Fragebogen weniger Items.
    Die Auswertung des Fragebogens liefert eine detaillierte Auflistung von Usability-Problemen, die mit Hilfe einfacher Kategorisierungen priorisiert werden können. In der Langform ist die Bearbeitung des Fragebogens allerdings recht zeitintensiv.
    Zur Anwendung des Fragebogens steht ein Softwaretool zur Verfügung. (Sarodnick & Brau, 2011)
  • ISONORM 9241-110-S: Der Fragebogen besteht aus 21 Items (Fragen) die nach einer Skala von sieben Gestaltungsanforderungen der DIN EN ISO 9241-110 von sehr negativ (---) bis sehr positiv (+++) bewertet werden. Durch die Normierung des Fragebogens lassen sich die Ergebnisse unterschiedlicher Befragungen miteinander vergleichen.
    Das Ausfüllen des Fragebogens dauert ca. 15 Minuten. Zur Auswertung wird eine Mittelwertberechnung angewendet. Es ergeben sich Hinweise, in welchen Bereichen Schwachpunkte vom Teilnehmer wahrgenommen wurden. Lösungsansätze zur Besaitung der Probleme werden durch die Methode nicht angeboten.
    Der Fragebogen steht kostenlos zur Verfügung und kann sowohl papiergestützt als auch online durchgeführt werden (Sarodnick & Brau, 2011).
  • QUIS (Questionnaire for User Interface Satisfaction): Dieser Fragebogen erfasst ausschließlich die subjektive Zufriedenheit der Nutzer mit dem Benutzerinterface. Der Fragebogen umfasst 90 Items, die je aus zwei gegensätzlichen Adjektiven bestehen, die anhand einer neunstufigen Skala vom Nutzer bewertet werden. Der Umfang der Fragen kann durch den Versuchsleiter angepasst werden indem Item-Gruppen weggelassen werden. Der Fragebogen ist nicht kostenlos nutzbar und muss lizensiert werden. Es ist ein Online-Tool verfügbar. (Sarodnick & Brau, 2011)
  • SUMI (Software Usability Measurement Inventory): Der Fragebogen zielt darauf ab, die Eindrücke, Gefühle und die Zufriedenheit der Nutzer im Umgang mit einer Software zu ermitteln. Es sind 50 Items enthalten, die in die fünf Unterskalen Emotion (affect), Effizienz (efficiency), Erlernbarkeit (learnablility), Hilfsbereitschaft (helpfulness) und Kontrolle (control) eingeteilt sind. Der Nutzer wählt bei der Beantwortung, ob er den Aussagen zustimmt, nicht zustimmt oder unentschlossen ist. Die Auswertung liefert einen globalen Wert, welcher die subjektive Gebrauchstauglichkeit widerspiegelt. Zur Anwendung der Methode wird eine Mindestmenge von zehn Teilnehmern empfohlen. Das Ausfüllen eines Fragebogens dauert ca. 5 Minuten. Die Verwendung ist kostenpflichtig. (Kirakowski & Corbett, 1993; Sarodnick & Brau, 2011)
  • SUS (System Usability Scale): Dieser kurze Fragebogen ermöglicht eine umfassende Bewertung der Gebrauchstauglichkeit. Er enthält 10 Items, die mittels einer fünf-stufigen Skala bewertet werden. Der Nutzer beantwortet die Fragen direkt nachdem er das zu bewertende Produkt getestet hat, ohne dass zuvor eine Nachbesprechung stattfindet. Die Bewertung soll ohne großes Nachdenken erfolgen. Im Zweifel soll die Mitte der Skala gewählt werden. Die Auswertung der Ergebnisse liefert einen Wert, der ein Maß für die gesamte Gebrauchstauglichkeit des Produkts angibt. Das Verfahren kann kostenfrei angewendet werden. (Bangor, Kortum, & Miller, 2008; Brooke)
  • WAMMI (Website Analysis and Measurement Inventory): Dieser Fragebogen ist auf Webseiten spezialisiert stellt eine Weiterentwicklung es SUMI dar. Er enthält 20 Items auf den gleichen fünf Skalen, wobei „affect“ durch „attractivity“ ersetzt wurde. Der Fragebogen lässt sich auf der zu testenden Webseite eingliedern und kann direkt aus ihr gestartet werden. Zur Interpretation der Ergebnisse besteht die Möglichkeit die sich ergebenen Kennwerte mit einer Datenbank zu vergleichen. Die Anwendung ist kostenpflichtig. (Sarodnick & Brau, 2011)