Wie kann Pilot-Testing die UX-Forschung verbessern? | UX-Forschung #9

Heute erklären wir, was Pilot-Tests sind und wie sie mit der Durchführung von UX-Forschung zusammenhängen. Sie werden auch sehen, wie sie den gesamten UX-Prozess verbessern können, um zufriedenstellende sowie zuverlässige Ergebnisse zu liefern.

Pilot-Tests – Inhaltsverzeichnis:

1. Was sind Pilot-Tests?
2. Was sind Pilot-Tests in der UX-Forschung?
3. Wie können Pilot-Tests die UX-Forschung verbessern?
4. Zusammenfassung

Was sind Pilot-Tests?

Pilotierung bedeutet per Definition die Umsetzung eines vorläufigen Projekts, das darauf abzielt, Barrieren zu identifizieren und wertvolle Informationen zu sammeln, die für die weitere Entwicklung des Projekts in größerem Maßstab erforderlich sind. Kurz gesagt, es handelt sich um vorläufige, inoffizielle Tests eines bestimmten Produkts oder einer Lösung sowie um das Auffinden von Fehlern – alles, um die Leistung vor der tatsächlichen Veröffentlichung oder Anwendung zu verbessern. In diesem Artikel werden wir “Pilotierung” synonym mit “Pilot-Tests” verwenden und erklären, was Pilotierung im Kontext der UX-Forschung ist.

Was sind Pilot-Tests in der UX-Forschung?

Pilot-Tests in der UX betreffen jene Forschungssitzungen, die einmal oder zweimal vor dem eigentlichen Test oder Interview stattfinden. Dies ermöglicht eine Feinabstimmung der Benutzerfreundlichkeit der Umfrage für den Befragten, was es einfacher und effizienter macht, die tatsächliche Umfrage zu einem späteren Zeitpunkt durchzuführen. Es erlaubt uns, den Inhalt der Aufgaben zu validieren – ob sie für die Benutzer verständlich und klar sind, die geschätzte Zeit der Umfrage zu erfahren, was uns eine bessere, realistischere Planung ermöglicht, und falls der Test selbst reibungslos verläuft, können wir zusätzliche Daten für die Forschungsanalyse gewinnen.

In einem Pilot-Test findet in der Regel eine oder zwei Sitzungen vor dem Haupttest statt. Diese geringe Anzahl von Sitzungen ist typischerweise ausreichend, um sich auf den echten Test vorzubereiten und sicherzustellen, dass alles in Ordnung ist. Der Zweck des Versuchs besteht darin, zu bewerten und sicherzustellen, dass die vollständige, ordnungsgemäße Studie so reibungslos wie möglich verläuft. Es gibt mehrere Situationen, in denen Pilot-Tests besonders entscheidend sind:

• Wenn der Designer neu in der Organisation oder im Team ist oder keine Erfahrung mit Usability-Tests hat. Dies hilft beim ersten Versuch mit einer Testsitzung, deren Ergebnisse wir im Falle eines Misserfolgs immer von der offiziellen Analyse ausschließen können.
• Tests in einem unbekannten Fachgebiet. Wenn Sie kein Experte in einem bestimmten Bereich sind, kann Ihnen das Pilot-Testen helfen, sich besser vorzubereiten.
• Durchführung eines Remote-Tests ohne Moderation. Immer wenn die Anweisungen für einen Test nicht direkt vom Forscher stammen, sondern an Testbenutzer gesendet werden, die unabhängig handeln müssen. Die Anweisungen benötigen Pilot-Tests, um die Möglichkeit von Fehlinterpretationen zu verringern. Im Falle von unmoderierten Tests hat der Teilnehmer keine Möglichkeit, um Klarstellung zu bitten, wenn er während des Tests auf ein Problem stößt.
• Durchführung einer quantitativen Umfrage. Typischerweise betreffen diese großangelegte Projekte, die darauf abzielen, statistisch signifikante Ergebnisse zu erzielen. In solchen Umfragen muss jede Sitzung dem gleichen Muster folgen, daher erfordern sie ein strenges Szenario, das einer robusten Bewertung unterzogen wird.

Wie können Pilot-Tests die UX-Forschung verbessern?

Pilot-Tests ermöglichen es, die tatsächliche Forschung mit Benutzern erheblich zu verbessern – und damit das Ergebnis des Projekts zu beeinflussen. Einer der Hauptvorteile von Pilot-Tests ist, dass sie eine sogenannte “Generalprobe” vor der Studie sind. Dies ermöglicht es, sicherzustellen, dass der Moderator und das gesamte Forschungsteam auf alle Eventualitäten vorbereitet sind, zu überprüfen, dass alle notwendigen Materialien gedruckt sind, die Website funktioniert und funktionsfähig ist, das Einverständnisformular vorbereitet ist und die (funktionierenden) Kameras im richtigen Winkel eingerichtet sind. Eine Generalprobe vor der Umfrage ist eine großartige Möglichkeit, die Bereitschaft des Teams zu überprüfen.

Pilot-Studien haben auch einen weiteren wertvollen Vorteil – sie ermöglichen es uns, Aufgaben zu testen. Wenn der Benutzer mit dem Test (wie wir angenommen haben) aufgrund einer schlecht formulierten Aufgabe nicht zurechtkommt, beeinträchtigen wir die Ergebnisse der Studie negativ. Übermäßig komplizierte, unklare Aufgabeninhalte nehmen Zeit für das Studium der Benutzeroberfläche in Anspruch, erfordern das Umschreiben des Aufgabeninhalts und zusätzliche Erklärungen und lenken sowohl den Benutzer als auch den Moderator ab. Oft können Aufgaben, die für Forscher und Designer klar und einfach erscheinen, aus der Sicht des Benutzers schwierig und verwirrend sein. Ein Pilot-Test ermöglicht es, solche Schwachstellen vor der eigentlichen Studie zu identifizieren. Dies ermöglicht es Ihnen, den Inhalt oder den Umfang der Aufgaben in Ruhe zu modifizieren und eine reibungslose Studie – und bessere Ergebnisse – sicherzustellen!

Pilot-Tests sind auch wichtig wegen der Zeitplanung – sie ermöglichen es, genauer zu bestimmen, wie lange die tatsächlichen Tests dauern werden, und die Meetings mit den Testbenutzern besser zu planen. Die Schätzung der Zeit, die benötigt wird, um eine Aufgabe basierend auf der eigenen Erfahrung abzuschließen, kann oft die tatsächliche benötigte Zeit verfehlen. Daher ermöglicht die Durchführung eines Piloten mit ein oder zwei Pilotbenutzern, dies mit viel größerer Genauigkeit zu bestimmen.

Der letzte Vorteil von Pilot-Tests, über den wir sprechen möchten, ist, dass wir, wenn alles reibungslos verläuft, Daten gewinnen, die wir in der endgültigen Forschungsanalyse verwenden können. Wenn die Pilot-Sitzung keine größeren Fehler in den Vorbereitungen des Teams aufdeckt, unser Tester-Benutzer alle geplanten Aufgaben ausführt und keine Probleme hat, deren Inhalt zu interpretieren, gewinnen wir wertvolle Daten, die bleiben können. Obwohl Pilot-Tests uns nicht nur wertvolle Informationen über den Verlauf des Tests und unsere Vorbereitung liefern können, sondern auch über das Produkt selbst, die Benutzerfreundlichkeit der Benutzeroberfläche und deren Funktionalität.

Zusammenfassung

Wir hoffen, dass wir Sie davon überzeugen konnten, dass Pilot-Tests in der UX-Forschung sehr wichtig sind und dass sie viele Vorteile für das Projektteam, den Verlauf weiterer Forschungen, deren Ergebnisse und den endgültigen Projekteffekt im weiteren Sinne haben. Abschließend haben wir zwei Tipps für Sie zur Planung von Pilot-Studien:

• Um das Beste aus der Pilot-Sitzung herauszuholen, planen Sie sie mindestens 1 Tag vor der Zielstudie. Ein solcher Schritt gibt Ihnen und Ihrem Team ausreichend Zeit, um notwendige Anpassungen vor der nächsten Studie vorzunehmen.
• Bei der Rekrutierung von Teilnehmern für die Studie suchen Sie nach Personen, die mit dem Profil Ihrer Benutzer übereinstimmen, damit ihr Feedback relevanter wird (Sie werden diese Studie in die endgültige Analyse der Ergebnisse einfügen – da der Testbenutzer dem Profil Ihres Zielbenutzers entspricht).

Wir wissen, dass die Durchführung von Pilot-Tests zusätzlichen Zeit- und Arbeitsaufwand für Ihr Team bedeutet: Sie müssen zusätzliche Teilnehmer rekrutieren, Materialien mehrere Tage im Voraus vorbereiten sowie eine zusätzliche Sitzung (oder sogar mehrere) planen und durchführen. Berücksichtigen Sie jedoch die Vorteile – indem Sie sich für Pilot-Tests entscheiden, erhöhen Sie die Chancen, dass der endgültige Test reibungslos verläuft und Ergebnisse liefert, die für Ihr Team und letztendlich für Ihr Produkt wertvoll sind.

Wenn Ihnen unsere Inhalte gefallen, treten Sie unserer aktiven Community auf Facebook, Twitter, LinkedIn, Instagram, YouTube, Pinterest, TikTok.