UX-Evaluation: Slido vs. frag.jetzt

Aus THM-Wiki
Wechseln zu: Navigation, Suche

Zurück zur E-Learningseite

Slido vs. frag.jetzt .png
UX-Evaluation
Tool-Typ Audience Response Systeme
mit digitalem Back Channel
Kommerzielles Tool Slido
Open-Source-Tool frag.jetzt
Tool-Einführung frag.jetzt Tutorial
Slido Tutorial
UX-Testmethode Lautes Denken
UX-Fragebögen AttrakDiff, VisAWI, UEQ
Probanden 3 Studierende
  • Alter: 24-29 Jahre
  • Social Media Systems
Gruppenmitglieder
  • Anne Michel
  • Felix Schulz
  • Nadine Gruß
  • Laura Nagel
Stand Sommersemester 2020

Dieser Artikel beschäftigt sich mit der UX-Evaluation der beiden Audience Response Systeme (mit digitalem Back Channel) Slido und frag.jetzt. Die Evaluation wurde im Rahmen des Moduls E-Learning im Studiengang Social Media Systems im Sommersemester 2020 durchgeführt und ausgewertet. Die Evaluation der beiden Tools wurde anhand von Probandenbefragungen durchgeführt. Zur Analyse der Tools wurde die Testmethode "Lautes Denken", sowie die UX-Fragebögen VisAWI, AtttrakDiff und UEQ genutzt.


Management Summary

Um die Usability und die User Experience des Open Source Tools frag.jetzt zu verbessern wurde es mit dem kommerziellen Konkurrenz-Tool Slido verglichen. Auf diese Weise sollte entschieden werden, welche Usability Tweaks in Zukunft zu realisieren sind. Hierzu wurde eine Probandenbefragung mit 3 Probanden mittels der Methode "Lautes Denken" durchgeführt. Zur weiteren Evaluation wurden die UX-Fragebögen VisAWI, AttrakDiff und UEQ von den Probanden ausgefüllt und anschließend durch die Projektgruppe ausgewertet*. Die Projektgruppe empfiehlt die Entwicklung eines einheitlichen Farbdesigns für frag.jetzt, das auf die Zielgruppe unbedingt abgestimmt sein muss. Außerdem wird empfohlen den Upvote-Button in seiner Funktionalität zu überprüfen und die Nutzer bei möglichen Wartungsarbeiten auf der Webseite in Kenntnis zu setzen. Abschließend wird die Beantwortung einer Frage per Text durch Klicken auf die gestellte Frage empfohlen.
Im Vergleich der beiden Tools empfiehlt es sich basierend auf den Ergebnissen der Evaluation das Tool frag.jetzt für Hochschulen und Universitäten zu verwenden.
*Es ist jedoch zu beachten, dass aussagekräftige Ergebnisse mit den hier durchgeführten UX-Testmethoden erst ab einer Teilnehmerzahl von 10 Personen gewährleistet werden können.

Einleitung: Die Methode "Lautes Denken"

Mit der Methode „Lautes Denken“ von Uwe Frommann ist es möglich Einblicke in die mentalen Prozesse einer Versuchsperson zu bekommen. Durch das laute Aussprechen von Gedanken der Probanden, können Gefühle, Rückschlüsse auf Eindrücke oder Absichten gezogen werden. Diese Methode bringt das Ziel mit sich, Verbesserungsvorschläge oder Optimierungspotential in dem jeweiligen Tool/Lernmaterial durch das Feedback der Probanden heraus zu finden. Die Probanden testen die Benutzerfreundlichkeit und die Gebrauchstauglichkeit und sprechen jeden Schritt und jeden Gedanken laut aus (vgl. Frommann 2005).

Ablauf

Bei der Methode „Lautes Denken“ bearbeiten verschiedene Probanden, aber jeder einzeln, einen Ausschnitt einer E-Learning Umgebung. 5 Probanden sind dabei schon ausreichend. Für den hier durchgeführten Test wurden drei Probanden befragt. Durch die Durchführung der Versuchsperson soll an reichhaltigen Informationen über relevante Aspekte der Bearbeitung des jeweiligen Lerntools gewonnen werden (vgl. Frommann 2005). Der Proband soll stets motiviert werden und falls nötig immer Mal wieder daran erinnert werden, laut auszusprechen was er denkt. Des Weiteren gibt es eine Beobachterin, die die Eindrücke schriftlich dokumentiert. Es ist wichtig das Gesprochene schriftlich fest zu halten, um es später auswerten zu können.

Durchführung

Einstieg

Für die Durchführung der Forschungsmethode wurden im Vorfeld drei Probanden ausgewählt. Es wurde besonders darauf geachtet, dass keiner der Probanden eines der Tools bereits verwendet. Mit jedem Probanden wurde ein Einzeltermin zur Durchführung der Aufgabenstellung von Slido und frag.jetzt festgelegt. Im Anschluss an die Terminvergabe wurden die drei Fragebögen VisAWI, AttrakDiff und UEQ erstellt. Die erstellen Fragebögen, sowie die Aufgabenstellung für Slido und frag.jetzt wurden in das Open-Source-Webkonferenzsystem Big Blue Button (BBB) eingefügt und mit den Probanden geteilt. Per Link über WhatsApp erhält der Proband Zugang zu einem BBB Raum. Zu Beginn wird die Versuchsperson gebeten ihren Catch zu löschen, um die Aufgabenstellung problemlos lösen zu können. Die Aufgabenstellung für das Tool Slido lautet wie folgt: Begebe dich auf die Startseite von Slido https://www.sli.do/de, erstelle dir ein neues Konto, logge dich bei deinem Konto ein, erstelle ein “schnelles Event”, öffne Slido nun in einem weiteren Tab und platziere beide Tabs nebeneinander, im zweiten Tab betrittst du das Event nun als Teilnehmer über den Event-Code, stelle nun 3 Fragen zu einem Thema deiner Wahl (z.B zu Corona), eine Frage musst du selbst beantworten können, gib einer deiner Fragen nun ein Upvote, wechsel nun wieder in das Fenster mit dem erstellten Event, wechsel nun zur Admin Ansicht und finde heraus wie du die Frage mit Texteingabe beantworten kannst. wechsel abschließend wieder zum Teilnehmer Fenster und sieh nach ob deine Frage beantwortet wurde. Im Anschluss an die Durchführung mit der Methode „Lautes Denken“ erfolgt ein Interview mit Fragen zur Bedienbarkeit, dem Design und der Verständlichkeit. Als letzten Punkt wird der Proband gebeten die oben bereits genannten zwei Fragebögen auszufüllen. Ist das Tool Slido abgeschlossen, folgt eine kurze 15-minütige Pause. In Anschluss geht es mit dem digitalen Feedback Tool frag.jetzt weiter. Der Proband wird im Vorfeld ebenfalls gebeten seinen Catch erneut zu löschen und wird dann durch die Aufgabenstellung geleitet. Die Aufgabenstellung für frag.jetzt lautet wie folgt: Begebe dich auf die Startseite von frag.jetzt https://frag.jetzt/home, erstelle eine neue Sitzung und vergib einen Namen, öffne einen neuen Tab und platziere beide nebeneinander, kopiere den Sitzungscode in das Fenster, erstelle im zweiten Tab 4 Fragen über den Studiengang SMS die du selbst beantworten kannst, gib einer deiner Fragen ein Upvote, gehe zurück zum ersten Tab und beantworte genau diese Frage, begib dich wieder in das zweite Tab und schaue aus Fragensteller Sicht ob deine Frage beantwortet wurde, abschließend gehst du noch einmal in das erste Tab und löscht die Frage vollständig. Hierbei erfolgt ebenfalls wie oben bereits genannt im Anschluss ein kleines Interview und die zwei Fragebögen wurden ausgefüllt. Zum Schluss wird der Proband freundlich verabschiedet und es wird sich für seine Teilnahme bedankt.

Beobachtung

Proband 1: Männlich, 25 Jahre, Social Media Systems, Vertiefung: Medien, 3. Semester Aufzeichnung

Proband 2: Weiblich, 26 Jahre, Social Media Systems, Vertiefung: Management, 4. Semester Aufzeichnung

Proband 3: Weiblich, 22 Jahre, Social Media Systems, Vertiefung: Medien, 4. Semester Aufzeichnung

Slido-Proband 1

Proband 1 folgt zu Beginn dem Link in den geteilten Notizen zur Startseite von Slido. Proband schaut in die geteilten Notizen und beginnt mit dem Abarbeiten der oben erläuterten Aufgabenstellung. Testperson findet auf der Startseite, dass Slido einen sehr übersichtlichen ersten Eindruck erweckt. Proband hat den Registrierungs-Button direkt gefunden. Sieht den Button mit “Create Event”, da er ein schnelles Event erstellen soll und klickt auf den Button. Erstellt neuen Tab und klickt anschließend auf “Event starten”. Proband ist sich anschließend nicht sicher, wo er den Event-Code eingeben soll. Klickt herum und sagt immer wieder “Vielleicht den Code hier eingeben?”, “Oder hier?”. Erstellt anschließend drei Fragen. Beim Beantworten der Fragen meint Proband, dass es nicht einfach sei die Funktion des Beantwortens zu finden. Nachdem er die Funktion gefunden hat, sieht er direkt, wo er die Antwort abschicken kann -> Pfeil. Sagt noch zusätzlich “Gut zu erkennen”.

frag.jetzt-Proband 1

Proband 1 folgte ebenfalls dem Link in den geteilten Notizen zu der Startseite von Slido. Proband geht wieder zurück in die geteilten Notizen und nimmt sich dem Abarbeiten der gestellten Aufgaben an. Proband sagt, dass frag.jetzt sehr übersichtlich sei und sieht auf den ersten Blick, wo er eine neue Sitzung erstellen kann. Der Sitzungscode springe direkt ins Auge und es lasse sich direkt erkennen, dass über das Disketten-Symbol der Code kopiert werden könne. Er sagt, dass es praktisch sei, dass man beim drüber hovern direkt lesen kann, was bei einem Klick auf eines der Symbole geschieht. Es sei allerdings verwirrend, dass sich der Vollbildmodus, beim Erstellen von Fragen, von selbst öffnet, das hat Proband nicht erwartet und wusste kurz nicht wie er reagieren soll. Das Erstellen der vier Fragen verlief problemlos. Allerdings sorgten Technische Probleme bei frag.jetzt dafür, dass Proband Frage nicht upvoten konnte. Die Beantwortung der Frage wird zuerst über ein Klicken auf die Frage selbst versucht zu lösen, was jedoch nicht funktioniert. Danach wird aber direkt das Sprechblasen Symbol gefunden. Die Blaue Markierung des Sprechblasen Symbols lotst den Probanden direkt zum richtigen Symbol, um die Antwort anzeigen zu lassen. Das Löschen der Frage war für die Testperson sehr einfach.

Slido-Proband 2

Proband 2 war bei Slido bereits registriert. Arbeitet anschließend die restlichen Aufgabenstellungen Schritt für Schritt ab. Testperson klickt direkt auf “Schnelles Event” und gibt den dazugehörigen Code in den zweiten Tab ein und positioniert beide Fenster nebeneinander. Gibt die erste Frage ein und klickt anschließend direkt auf “Senden”. Proband ist verwirrt von der Ansicht, dadurch war es für Proband schwierig der Frage ein Upvote zu geben. Versucht nach der Fragestellung auf das “Hand-Hoch-Symbol” zu klicken. Proband weiß nicht, wo man die Frage beantworten soll und klickt wild drauf los und entfernt ausversehen die Frage. Proband konnte Frage nicht mit Anleitung beantworten.

frag.jetzt-Proband 2

Auch Proband 2 folgt dem Link in den geteilten Notizen und gelangt auf die Seite von frag.jetzt. Das Erstellen einer neuen Sitzung hat problemlos geklappt und war leicht zu finden. Proband konnte die vier Fragen sofort und ohne Probleme anlegen. Erstellen Fragen wurden direkt danach gesehen. Hat also alles funktioniert. Proband hatte leider Internetprobleme und konnte uns daher teilweise schlecht verstehen. War irritiert wie viele Fragen sie beantworten soll. Die Aufgabenstellung sah eine vor. Konnte aber dennoch den Button zum Beantworten finden und beantwortete eine Frage. Testperson konnte abschließend genau diese Frage löschen, äußerte dies aber als Frage.

Slido-Proband 3

Proband 3 hatte keinerlei Probleme bei der Erstellung des Kontos. Findet die Farbwahl “hellgrau” unpassend. Hat trotz allem den Event Code schnell gefunden. Proband hatte beim Erstellen und Upvoten der Frage keine Probleme. Testperson hatte kleinere Schwierigkeiten die Fragen mit einem Text zu beantworten, hat Fragen stattdessen archiviert, hat es dann aber gefunden. Textantwort konnte erst nach Maximierung des Fensters abgesendet werden (Absende-Button wurde nicht gefunden). Die Textantwort hat Proband anschließend direkt gesehen.

frag.jetzt-Proband 3

Proband 3 konnte direkt auf der Startseite erkennen, wie eine neue Sitzung erstellt wird. Testperson hatte keinerlei Schwierigkeiten die Fragen zu stellen. Testperson hat versehentlich die bereits erstellte Sitzung verlassen und hat gedacht die Sitzung wäre gelöscht. Proband befand sich im Fragefenster und klickte ausversehen zwei Mal auf den sich oben in der Ecke befeindeten Pfeil, der Abbrechen bedeutet. Testperson hätte lediglich ein einziges Mal draufklicken müssen. Erstelle eine neue Sitzung anschließend wieder zügig und begann erneut. Anhand der Mimik des Probanden konnte erkenntlich gemacht werden, dass Proband über das Abbrechen überrascht war. Proband findet das Menü bei frag.jetzt übersichtlicher als bei Slido. Keine Probleme gehabt beim Finden des Buttons für das Beantworten der Fragen. Sieht anschließend direkt, dass die Frage beantwortet wurde. Testperson sieht ohne Aufforderung, dass eine Frage auch mit einem Upvote versehen werden kann. Hat schnell gefunden, wie die Frage gelöscht werden kann. War sich allerdings unsicher, wieder aus der Frage raus zu gehen (Vollbildmodus), ob dann wieder alles weg ist.

Anschlussbefragung

Zum Design

Slido

Proband 1

Für den Proband war die Startseite nicht ansprechend, aufgrund der Farbgebung und einem „billigen“ Layout. Der Proband empfand die Schriftart und die Schriftgröße als angemessen. Er bemängelt, dass die Schriftgröße bei der Funktion „Frage beantworten“, kleiner ausfiel.

Proband 2

Der Proband lobt das übersichtliche Layout. Außerdem gefällt ihr die Farbgebung sehr gut, sowie die Schriftart und die Schriftgröße.

Proband 3

Der Proband empfand das Design minimalistisch und die Farbgebung war schön hell. Die Schriftart und die Schriftgröße empfand sie als passend.

frag.jetzt

Proband 1

Der Proband fand das Design sehr übersichtlich, aber er merkte negativ das dunkle Layout und die Farbwahl an. Er hatte das Gefühl, dass die Farben zusammengewürfelt wurden. Er empfahl eine fröhlichere Farbwahl. Er betonte, dass die Farbwahl der Buttons überdacht werden sollte. Er lobte die Schriftart und die Schriftgröße als übersichtlich und gut leserlich.

Proband 2

Der Proband lobte das übersichtliche Layout mit den Icons. Sie empfand die Farbgebung etwas zu dunkel. Die Schriftart und die Schrittgröße empfand sie als passend.

Proband 3

Der Proband lobte das übersichtliche Layout und merkte an, dass die Seite sehr dunkel ist, aber passend. Die Farbgebung empfand sie als schön!

Zur Bedienung

Slido

Proband 1

Der Proband verstand den Grund für eine Registrierung nicht. Er empfand die Bedienung als einfach.

Proband 2

Der Proband hat negativ angemerkt, dass die Bedienung zu kompliziert ist.

Proband 3

Der Proband empfand den Prozess des Fragenstellens einfach und übersichtlich, aber alles andere kompliziert.

frag.jetzt

Proband 1

Dem Probanden gefiel, dass man sich nicht registrieren muss und dass die Bedienung simpel für Studenten und Lehrkräfte ist. Die Bedienung hat ihn erheitert.

Proband 2

Der Proband war mit der Bedienung zufrieden.

Proband 3

Der Proband erklärte, dass die relevanten Funktionen direkt zu erkennen sind und die Bedienung einfach ist.

Zur Verständlichkeit

Slido

Proband 1

Der Proband hat bemängelt, dass es keine Einstiegserklärung zu dem Programm gibt. Dadurch war es für ihn schwierig, verschiedene Funktionen zu erkennen, wie eine Frage zu beantworten. Insgesamt sei es aber verständlich. Der Proband hat die Buttons nicht eindeutig verstanden.

Proband 2

Der Proband fand die Frage über die Stärken und Schwächen des Produktes schwierig. Sie empfand das die Website als kompliziert.

Proband 3

Als Fragestellerin fand sie alles sehr übersichtlich, aber als Fragenbeantworterin verwirrend. Der Proband hat die Funktion der Buttons nicht verstanden.

frag.jetzt

Proband 1

Der Proband wünscht sich zusätzliche Erklärungen zu den Funktionen. Er lobt das Zusammenspiel von Text und Grafik.

Proband 2

Der Proband empfand die Webseite als sehr verständlich.

Proband 3

Der Proband empfindet die Website als sehr verständlich. Sie merkt an, dass keine weiteren Hilfen notwendig sind.

Auswertung

Bei der Seite Slido zum „Thema Design“ haben alle drei Probanden die Schriftart und Schriftgröße passend empfunden. Ein Proband hingegen fand, dass die Schriftgröße bei einer Funktion zu klein sei. Zweidrittel der Probanden empfanden das Layout als übersichtlich und ansprechend. Ein Drittel hingegen stimmte nicht zu. Bei der Bedienung gaben zweidrittel der Probanden an, dass diese kompliziert sei. Ein Drittel der Probanden empfand die Bedienung als einfach. Eine Proband empfand den Prozess der Fragestellung als einfach, obwohl diese die Website als kompliziert angegeben hat. Bei der Verständlichkeit von Slido gaben alle Probanden an, dass die Buttons nicht verständlich sind. Sie wünschen sich eine Erklärung zu dem Button. Ein Drittel der Probanden bemängelte, dass es keine Einigungserklärung zu dem Programm gibt und dass die Funktionen nicht erklärt werden. Schlussendlich kann festgehalten werden, dass die Mehrheit der Probanden das Programm kompliziert finden und dass eine Erklärung von Funktionen und Buttons fehlt. Die Mehrheit der Probanden überzeugte das Design positiv. Bei dem Programm frag.jetzt lobten alle Probanden das Layout als übersichtlich. Alle Probanden merkten an, dass das Layout sehr dunkel ist. Zweidrittel der Probanden als negativ. Sie empfanden die Farbwahl als nicht passend. Ein Drittel lobte die Farbgebung als passend. Zweidrittel der Probanden erwähnten die Schriftart und Schriftgröße als positiv. Ein Drittel ging darauf nicht ein. Ein Proband erwähnte nichts über die Bedienung. Der Rest der Probanden empfand die Bedienung als Positiv und einfach. Ein Proband empfand es positiv, dass es keine Regierungspflicht gibt. Zweidrittel der Probanden empfand die Website Frag.jetzt als verständlich. Ein Drittel der Probanden wiederum wünschen sich zusätzliche Erklärungen zu den Funktionen.

Online-Befragung mit AttrakDiff und VisAWI

Durchführung

Nachdem die Probanden sich mit dem jeweiligen Tool vertraut gemacht und dieses nach der Methode “Lautes Denken” abgeschlossen hatten, haben sie an der Online-Befragung mit AttrakDiff und VisAWI teilgenommen. Das heißt, zuerst haben die Probanden sich mit Slido beschäftigt, dann die Online-Befragungen dazu durchgeführt und nach einer kurzen Pause haben sich mit frag.jetzt beschäftigt und anschließend wieder die Online-Befragungen, diesmal zu frag.jetzt, durchgeführt. Bei den Online-Befragungen stand es den Probanden frei, diese mit oder ohne Bildschirmübertragung, Webcam und Gedankenmitteilungen, sprich anonym, durchzuführen. Die Tests mit beiden Plattformen liefen absolut identisch ab und beinhalteten die gleichen Fragen, damit die beiden Tools unabhängig voneinander miteinander verglichen werden können. Die Ergebnisse wurden nach Abschluss der Testphase und Teilnahme aller Probanden ausgewertet und von eSURVEY in Diagramme, die die Unterschiede und Auffälligkeiten visuell darstellen, umgewandelt.

Diagramme

AttrakDiff:


AttrakDiff-Das Diagramm der Mittelwerte.png AttrakDiff - Ergebnisüberblick - Portfolio.png AttrakDiff-Das Profil der Wortpaare.png




VisAWI:


VisAWI-Das Profil der Aussagen.png VisaWI-Diagramm der Mittelwerte.png

Auswertung

Laut den Online-Befragungen stehen die Probanden Slido gegenüber eher neutral dar, wohingegen sie frag.jetzt handlungsorientierter finden. Die Handlungsorientierung wurde an folgenden Adjektiven gemessen: technisch-menschlich, kompliziert-einfach, unpraktisch-praktisch, umständlich-direkt, unberechenbar-voraussagbar, verwirrend-übersichtlich und widerspenstig-handhabbar. In der Übersichtlichkeit gehen die Tools in der Bewertung der Probanden stark auseinander, hier überzeugt ganz klar frag.jetzt. In allen anderen Punkten aus der AttrakDiff Befragung unterscheiden sich die beiden Tools nicht nennenswert voneinander. Allerdings ist ersichtlich, dass frag.jetzt fast immer ein wenig besser als Slido abschneidet.

In der Gesamtheit hat Slido die Probanden minimal mehr überzeugt als frag.jetzt (5,13 : 4,94). In der Einfachheit hat frag.jetzt die Probanden eher überzeugt als Slido (6,07 : 5,73), in der Vielseitigkeit liegt frag.jetzt ganz knapp vor Slido (4,47 : 4,33) und in Farbigkeit und Kunstfertigkeit hat Slido die Probanden definitiv eher überzeugt als frag.jetzt. Das bedeutet, dass die Probanden ganz klar frag.jetzt von der Bedienbarkeit her besser als Slido fanden, jedoch hat Slido was Design angeht die Probanden minimal mehr überzeugt.

Messung der User Experience mittels UEQ für frag.jetzt

Die vollständigen Auswertungsergebnisse sind hier einzusehen.

Durchführung

Nachdem die die Probanden die Testmethode "Lautes Denken" sowie das Beantworten der UX-Fragebögen VisAWi und AttrakDiff durchlaufen haben, haben die Probanden den User Experience Questionnaire (UEQ) ausgefüllt und abgegeben. Hierbei stand es ihnen frei, den Fragebogen mit oder ohne Bildschirmübertragung und Webcam zu bearbeiten. Der Fragebogen enthält standardisierte Fragen zur Ermittlung der User Experience. Hierbei können Werte von 1 bis 7 zur Bewertung gewählt werden. Die Rohdaten der ausgefüllten Fragebögen wurden im Anschluss in eine Excel-Vorlage eingetragen und automatisch in Ergebnisdiagramme umgewandelt. Ein besonderer Vorteil des UEQ-Fragebogens bietet das Benchmarking, also das Vergleichen der Ergebnisse mit 452 im Vorfeld abgeschlossenen Studien zu denen 20190 Personen befragt wurden, um im Anschluss zu ermitteln wie gut das eigene Tool im Vergleich zu den vorher getesteten abgeschlossen hat.

Benchmarks

Die Ergebnisse des UEQ Fragebogens haben für das Tool frag.jetzt im Vergleich mit den Ergebnissen aus 452 Studien folgende Bewertungen erreicht:Diagrammdarstellung der Benchmarks für frag.jetzt

Maßstab Messwert Vergleich mit Benchmark Interpretation
Attraktivität 1,39 Über dem Durchschnitt 25% bessere Ergebnisse, 50% schlechtere Ergebnisse
Durchschaubarkeit 2,92 Exzellent Unter den 10% der besten Ergebnisse
Effizienz 2,25 Exzellent Unter den 10% der besten Ergebnisse
Steuerbarkeit 2,00 Exzellent Unter den 10% der besten Ergebnisse
Simulation 1,33 Über dem Durchschnitt 25% bessere Ergebnisse, 50% schlechtere Ergebnisse
Orginalität 0,42 Unter dem Durchschnitt 50% bessere Ergebnisse, 25% schlechtere Ergebnisse

Pragmatische und Hedonische Qualität

Die Maßstäbe des User Experience Questionnaire lassen sich in pragmatische (Effizienz, Zuverlässigkeit) und hedonische (Orginalität, Stimulation) Qualität unterteilen. Die pragmatische Qualität beschreibt aufgabenbezogene Qualitätsaspekte, die hedonische Qualität die nicht aufgabenbezogenen Qualitätsaspekte. Anhand dieser Apsekte wird der Mittelwert der drei Werte berechnet. Werte die höher als 0,8 sind repräsentieren positive Ergebnisse.

Diagramm der Pragmatischen und Hedonischen Qualität von frag.jetzt
Pragmatische und Hedonische Qualität
Attraktivität 1,39
Pragmatische Qualität 2,39
Hedonische Qualität 0,88

Auswertung

Die Diagramme zum Benchmarking und den Qualitätsaspekten zeigen ganz deutlich, welche Vorteile das Tool frag.jetzt bietet und an welchen Stellen optimiert werden muss, um die User Experience zu verbessern. Vor allem die Bereiche Durchschaubarkeit, Effizienz und Steuerbarkeit stechen in der Diagrammansicht der Benchmarks hervor und deuten darauf hin, dass die Bedienung und die Verwendung des Tools einfach zu sein scheint. Einzig die Originalität liegt unter dem Durchschnitt und weist darauf hin, dass an der Einzigartigkeit des Tools gearbeitet werden muss, um ein besseres Nutzungserlebnis für die Nutzer zu schaffen. Hinsichtlich der pragmatischen und der hedonischen Qualität entsprechen alle Werte mindestens einem positiven Ergebnis, auch wenn die hedonische Qualität genau am Grenzwert liegt. Damit unterstützen die Ergebnisse der pragmatischen und hedonischen Qualität die Ergebnisse des Benchmarkings und zeigen an welchen Stellen das Tool frag.jetzt optimiert werden muss.

Gewonnene Erkenntnisse

Die Befragungen der Testpersonen zur User Experience und Usability mit Hilfe der Fragebögen AttrakDiff und VisAWI, haben deutlich gezeigt welche Vor- und Nachteile die beiden Tools aufweisen. Vorab ist jedoch zu berücksichtigen, dass eine Evaluation erst ab einer Teilnehmermenge von 10 Personen aussagekräftig wird. Die hier durchgeführte Evaluation wurde jedoch mit nur 3 Probanden durchgeführt. Im Folgenden sollen die Erkenntnisse der Evaluation kurz dargelegt werden und Empfehlungen zur Optimierung und Weiterentwicklung der Tools (Usability Tweaks) aufgelistet werden. Hierbei ist zu beachten, dass sich die beiden Tools hinsichtlich ihrer Finanzierung voneinander unterscheiden. Während sich Frag.jetzt vollständig kostenlos nutzen lässt und hinsichtlich der Funktionalität auf das Stellen und Beantworten von Fragen begrenzt, enthält das kommerzielle Tool Slido weitere Funktionalitäten, die proportional mit den Kosten ansteigen. Der hier durchgeführte UX-Test hat sich jedoch nur auf die kostenlosen Inhalte von Slido beschränkt.

Auch wenn beide Tools unterschiedliche Mängel aufweisen, haben sowohl die Fragebögen, als auch die UX-Testmethode ergeben, dass die allgemeine Gesamtwahrnehmung der Tools ähnlich ist, obwohl diese sich hinsichtlich des Designs und der Bedienung deutlich voneinander unterscheiden. Vergleicht man beide Tools hinsichtlich ihrer Usability und dem Design, so wird schnell deutlich, dass beide Produkte einen anderen Fokus verfolgen. Während Frag.jetzt vor allem auf eine einfache, effektive und effiziente Bedienbarkeit setzt, weisen die Testergebnisse bei Slido deutlich darauf hin, dass das Design und User Experience eher im Vordergrund stehen (vgl. Diagramme). Dies mag sowohl daran liegen, dass es sich bei Slido um ein kommerzielles Produkt handelt, bei dem nicht nur Funktionalität, sondern auch ein Nutzungserlebnis verkauft werden soll, als auch an der Zielgruppe des Produktes. Während Slido vor allem große Unternehmen ansprechen will, zielt frag.jetzt auf ein Studentenpublikum ab, welche das Tool während Vorlesungen und weiteren Veranstaltungen nutzen und von einer einfachen Bedienbarkeit profitieren.

Usability Tweaks

Um auch nachhaltig von der Durchführung der Probandenbefragung zu profitieren werden die oben aufgeführten Tool-Mängel dazu genutzt, herauszufinden an welchen Stellen die Tools verbessert werden müssen. Auf diese Weise lassen sich sogenannte Usability-Tweaks (Usability-Optimierungen) ableiten, die den Nutzern in Zukunft eine optimierte Usability sowie User Experience bei der Nutzung der Tools ermöglichen sollen.

Anhand der Ergebnisse der Probandenbefragung haben sich folgende Bereiche ergeben die eine Optimierung der Usability einfordern:

Slido

Erklärende Hilfen und Bedienung
Für neue Nutzer ist es besonders schwierig die einzelnen Funktionalitäten der Buttons sowie die Bedienung insgesamt ohne Anleitung durchführen zu können. Deshalb ist es an dieser Stelle besonders wichtig erklärende Hilfen in Form von Text, der beim hovern über einen Button erscheint, dem Tool hinzuzufügen. Auch eine kurze Tool Einführung in Form eines kleinen Tutorials, das neue Benutzer durchspielen ist denkbar.

Responsives Webdesign
Die Anpassung der Fenstergröße bei der Verwendung des Tools im Chrome Browser hat dazu geführt, dass der Button für das abschicken einer Frage verschwindet. Ist man kein geübter Benutzer, kann dies dazu führen, dass Nutzer Fragen nicht per Text beantworten können. Deshalb ist es unabdingbar das responsive Webdesign zu überprüfen und der Größe des Browserfensters anzupassen.

Design
Die Erkennbarkeit der Farbe hellgrau hat für eine schlechte Erkennbarkeit in Abhängigkeit der individuellen Bildschirm-Verhältnisse der Nutzer gesorgt. Die Wahl einer deckenden Farbe, die sich mehr vom Hintergrund abhebt, ist an dieser Stelle zu wählen.

frag.jetzt

Technische Hintergründe
Das Nichtvorhandensein des Upvote-Buttons in zwei von drei Befragungen lässt auf technische Probleme oder Änderungen an der Webseite schließen. Falls in diesem Fall an der Webseite selbst optimiert wurde, sollten die Nutzer darauf hingewiesen werden, dass Buttons wegen Wartungsarbeiten nicht funktionieren. Neue Benutzer wird sonst gegebenenfalls ein schlechter erster Eindruck der Webseite vermittelt.

Buttons und Funktionen

Nutzern fällt es leichter Fragen zu beantworten wenn diese direkt über ein Klick auf die Frage selbst beantwortbar sind. Auch ein bereits offenes Formularfeld zum Eingeben einer Antwort ist an dieser Stelle denkbar. Der Button mit der Sprechblase wird überflüssig.

Webdesign
Das sofortige Öffnen des Vollbildmodus nach dem Erstellen einer Frage entspricht nicht den Erwartungen der Nutzer und sollte durch ein sich öffnendes Dialogfenster im Vorfeld ergänzt werden. Der Dialog soll dem Nutzer die Möglichkeit bieten selbst darüber zu entscheiden, ob er den Vollbildmodus starten möchte oder nicht.

Design
Die Wahl eines freundlicheren Farbspektrums für die Startseite und alle Unterseiten als Standardvariante ist unabdingbar. Zwar bietet das Tool die Möglichkeit einen Farbmodus auszuwählen, jedoch nehmen die Nutzer dieses Feature nicht von Beginn an wahr. Das Entwickeln von einem zielgruppengerechten Design ist für die Verbesserung der User Experience sehr zu empfehlen.

Eine genaue Beschreibung der Usability-Tweaks im Git-Projekt für frag.jetzt findet sich hier.

Tool-Empfehlung

Die Auswertung der Untersuchungsmethode und der Fragebögen zeigen deutlich welches Tool welche Vorteile bietet und für welchen Anwendungsfall diese am besten geeignet sind. An dieser Stelle ist zu betonen, dass es nicht möglich ist eine klare Aussage darüber zu treffen, welches Tool das bessere von beiden ist. Die Bewertung der Tools ist stark von der genutzten Zielgruppe, deren Zielen der Nutzung und der Erwartungshaltung der Nutzer abhängig. Betrachtet man die Tools im hochschulinternen Kontext (zur Nutzung innerhalb von Vorlesungen und anderen Veranstaltungen), erweist sich frag.jetzt aufgrund seiner einfachen Bedienbarkeit und des leichten Einstiegs für neue Nutzer als besser geeignet. Auch das Anrechnen von Bonuspunkten für Fragen lässt sich für eine Hochschule optimal anwenden. Auch wenn das Design von frag.jetzt optimierbar ist, darf nicht vergessen werden, dass der informative Aspekt und das Behandeln von inhaltlichen Fragen für eine Hochschule an erster Stelle steht und das Ziel, die Fragen von Studenten zu beantworten, optimal erfüllt, ohne dass es einer Finanzierung oder einer Kooperation mit externen Firmen bedarf.

Literatur

Frommann, Uwe (2005): Die Methode "Lautes Denken"

Glossar

Audience Response System (mit digitalem Back Channel): Beschreibt ein interaktives Lernwerkzeug, dass die Interaktion zwischen Lehrperson und Zuhörern steigern soll.

Usability: Bezeichnet die Nutzungsqualität und Gebrauchstauglichkeit während der Interaktion mit einem technischen Programm oder Tool.

Usability Tweak: Beschreibt eine Optimierungsidee zur Verbesserung der Usability/User Experience.

User Experience: Beschreibt das gesamte Nutzererlebnis bei der Nutzung eines Produktes/Tools/Webseite. Hierzu zählen alle Eindrücke, die Nutzer während der Interaktion sammeln.