User Experience Roundtable am 8.1.07: Stephan Nufer über Remote Usability Tests

Auf dem uxHH-Stammtisch am 8. Januar 2007 berichtete Stephan Nufer unter dem Titel "Remote Usability Tests – eine Erweiterung der Usability-Toolbox für Online-Shops" über seine Diplomarbeit, in der er ein Verfahren zum Remote Usability Testing beschreibt, das von OTTO und SirValUse gemeinsam entwickelt worden ist.

Das System funktioniert mittels eines Proxy-Servers, der den Probanden eine leicht modifizierte Version der Original-Website zur Verfügung stellt. Die modifizierten Seiten weisen am Seitenfuß einen Frame auf, der mehrere Buttons beinhaltet, mit denen so genannte Critical Incidents gemeldet werden können - also besonders positive oder negative Ereignisse, die die Einschätzung eines Produktes beeinflussen. Die einzelnen Incidents werden von den Probanden kurz beschrieben und gemeinsam mit einer Abbildung des Mauspfades gespeichert.

Gegenüber klassischen Labortests weist das Remote Usability Testing folgende Vorteile auf:

• Höhere ökologische Validität der Ergebnisse, da die Probanden die Systeme zuhause, in ihrer vertrauten Umgebung nutzen zu Zeitpunkten und mit Zielen, die sie selbst gewählt haben.
• Höhere Repräsentativität der Stichprobe gegenüber Labor-Tests, da die Probanden nicht nur aus der Stadtbevölkerung in der Umgebung des Labors rekrutiert werden.
• Günstiger in der Auswertung, da nur die von den Probanden gemeldeten Critical Incidents begutachtet werden (im Optimalfall - in einem gewissen Anteil der Fälle müssen die Logfiles hinzugezogen werden, um die Problemmeldung zu verstehen). So kann die Untersuchung auch mit einer deutlich höheren Anzahl von Probanden durchgeführt werden.
  

Um die Qualität der Methode und ihrer Ergebnisse zu prüfen, wurde ein Methodenvergleich zwischen dem Remote Usability Testing und dem klassischen Labortest durchgeführt. Die Ergebnisse, die Stephan vorlegte, sprachen deutlich für die Methode, v.a. dann, wenn es darum geht, eine große Anzahl von Probanden teilnehmen zu lassen und diese Probanden sonst kaum für einen klassischen Labortest zu rekrutieren wären.

Sobald die Folien verfügbar sind, werde ich sie hier auch verlinken.

Update: Die Folien finden sich nun auf Matthias Müller-Proves Website (1,8MB PDF).