Kahoot! vs. arsnova.click: UX-Analyse

Aus THM-Wiki
Wechseln zu: Navigation, Suche

Zurück zur E-Learningseite

UX-Evaluation
Tool-Typ Quiz-Plattformen
Kommerzielle Plattform Kahoot!
Open-Source-Plattform arsnova.click
UX-Fragebögen AttrakDiff, VisAWI
Probanden 3 Studierende
  • Alter: 22-23 Jahre
  • Social Media Systems
Gruppenmitglieder
  • Darius Langsdorf
  • René Fleischmann
  • Bennett Dinges
  • Celine Müller
Stand SoSe 2020

Der folgende Wiki-Artikel handelt von der UX-Evaluation über Kahoot! und arsnova.click, welcher im Rahmen des Moduls E-Learning im Sommersemester 2020 erstellt wurde. Hierbei wurde anhand von Probandenbefragungen die User Experience und Usability der beiden Tools getestet und anschließend bewertet. Es kam heraus, dass Kahoot! in fast allen Punkten etwas besser abschneidet, aber nur kostenpflichitg voll nutzbar ist. Deshalb würden sich alle Probanden eher für arsnova.click entscheiden, da dies auch ohne Kosten vollumfänglich nutzbar ist.

Die Evaluation wurde von der 2. Projektgruppe durchgeführt, welche aus Celine Müller (Gruppenleitung), Bennett Dinges (Stellverteter), René Fleischmann und Darius Langsdorf besteht.

Disclaimer: Aus Gründen der besseren Lesbarkeit wird im kompletten Artikel das generische Maskulinum verwendet.


Einleitung: Die Methode "Lautes Denken"

Mit der von Uwe Frommann entwickelten Methode "Lautes Denken" können Einblicke in die mentalen Prozesse von Versuchspersonen gewonnen werden. Dies geschieht durch verbale Äußerungen während eines Tests. So kann man direkt die Gedankengänge nachvollziehen und Rückschlüsse auf Eindrücke und Gefühle ziehen. Hauptziel dieser Methode ist es, die Gebrauchstauglichkeit und Benutzerfreundlichkeit von Tools zu analysieren. Durch das gewonnene Feedback der Probanden können eventuelle Fehler und Unschlüssigkeiten im Anschluss verbessert werden. Besonders wichtig ist, dass die Probanden jeden Schritt laut äußern, um so direkt erkennen zu können, welche Funktionen unschlüssig sind oder an welchen Stellen das Design unpassend ist (vgl. Frommann 2005).


Ablauf

Der typische Ablauf besteht darin, dass verschiedene Probanden einen bestimmten Use Case auf einer Seite bearbeiten bzw. testen. Hier genügen schon fünf Probanden, um aussagekräftige Ergebnisse zu erhalten. In unserem Fall haben insgesamt drei Probanden auf den beiden Quizplattformen Kahoot! und arsnova.click ein Quiz aus drei Fragen erstellt. Begleitet werden die Probanden von ein bis zwei weiteren Personen, welche sich mit den Tools bzw. Plattformen auskennen. Diese dokumentieren dann alles, was der Proband verbal äußert und geben Hilfestellung, falls dem Proband eine Funktion unklar ist. Im Anschluss erfolgt eine Befragung, bei der vorwiegend Fragen zu Aspekten gestellt werden, welche vorher zu kurz gekommen sind oder gar nicht angesprochen wurden.

Durchführung

Einstieg

Die erste Handlung bestand darin, dass die Gruppe drei Probanden für die Evaluation zugewiesen bekommen hat. Mit diesen wurde dann jeweils ein konkreter und individueller Termin ausgemacht, um die Evaluation durchzuführen. Zur Vorbereitung wurde ein Konto für die Umfragen mit AttrakDiff und VisAWI erstellt und ein Fragebogen verfasst, in welchem weitere Fragen für den Zeitpunkt nach der Befragung formuliert wurden. Die Befragungslinks und der Link für den BigBlueButton-Raum wurden den Probanden per E-Mail zugeschickt. Am Tag der Befragung hat sich die Gruppe ein paar Minuten vor Beginn im Raum getroffen und die Links für die Seiten und einen kleinen Ablaufplan in den öffentlichen Notizen geteilt. Während der Befragung wurde von einem Protokollant der Gruppe alles schriftlich festgehalten und nach der Evaluation wurden noch die Fragen aus dem Fragebogen abgearbeitet.

Beobachtung

Proband 1: Aufzeichnung
  • Weiblich, 22
  • Vertiefung: Medien
  • Keine Vorerfahrung mit den Tools
Proband 2: Aufzeichnung
  • Weiblich, 23
  • Vertiefung: Management
  • Keine Vorerfahrung mit den Tools
Proband 3: Aufzeichnung
  • Männlich, 23
  • Vertiefung: Medien
  • Keine Vorerfahrung mit den Tools


Kahoot!: Proband 1

Der erste Proband erstellte sich zunächst einen neuen Account. Nach Registrierung war der Proband zunächst verwirrt, wie man die kostenlose Version nutzen kann, da die Abo-Modelle sehr deutlich dargestellt waren, der Button für die kostenlose Version hingegen eher versteckt und unauffällig, sodass er zunächst übersehen wurde. Die Klickstrecke, um ein Quiz erstellen zu können, bereitete dem Probanden keine Probleme. Bei der Auswahl der Fragetypen wählte der Proband das Quiz aus, stellte allerdings die Multiple-Choice-Funktion ein, die nicht in der Gratis-Version verfügbar ist. Da das Kronen-Symbol, dass ein Feature als kostenpflichtig kennzeichnet, von dem Probanden als sehr unauffällig wahrgenommen wurde, wurde dies ebenfalls zunächst übersehen. In Folge dessen kam bei dem Versuch, dass Quiz zu speichern eine Fehlermeldung, die den Probanden darauf hingewiesen hat. Nachdem dies korrigiert wurde, funktionierte auch das Abspeichern ohne Schwierigkeiten.

arsnova.click: Proband 1

Bei der anschließenden Nutzung von arsnova.click wählte der Proband bei der Erstellung zunächst die falsche Funktion aus und startete ein ABCD-Quiz, da für den Probanden nicht eindeutig ersichtlich war, dass es sich dabei um ein vorgefertigtes Quiz handelt. Der Proband ist auf die Startseite zurückgekehrt und hat ohne Hilfestellung den richtigen Button gefunden. Die Auswahl des Fragetypen fiel dem Probanden sehr einfach. Bei dem Eingabefeld für die Frage war er allerdings zunächst irritiert, da der Platzhalter „Gib hier die Frage ein. Alles wird automatisch gespeichert.“ Bei anwählen des Fensters nicht verschwindet. Der Proband hatte ebenfalls Startschwierigkeiten mit den Funktionen, Text fett oder als Überschrift darzustellen. Hierbei war zunächst nicht klar, dass man diese Funktion vor dem Schreiben des Textes anwählen oder bei nachträglicher Veränderung den entsprechenden Text markieren muss. Anschließend wollte der Proband Emojis einfügen, entschied sich nach einer groben Einschätzung des Aufwandes (durch eine Weiterleitung anstelle eines Pop-Up-Fensters) allerdings dagegen. Auch die Tatsache, dass es keinen „Weiter“-Button gibt, und man jedes Mal „Zurück“ anwählen muss, fiel dem Probanden negativ auf. Er hätte sich außerdem gewünscht, dass bei der Auswahl der Antwortoptionen die Frage weiterhin sichtbar ist. Bei der Übersicht über die Frage wurde der Proband darauf hingewiesen, dass die Frage noch unvollständig ist, da keine korrekte Antwort angegeben wurde. Dies konnte allerdings leicht behoben werden, da die Fehlermeldung leicht verständlich war. Als die erste Frage vollständig erstellt war, ergaben sich für den Probanden keine weiteren Schwierigkeiten.

Kahoot!: Proband 2

Der zweite Proband nahm sich den Präsentator-Status und hat mit dem Test auf Kahoot! begonnen. Der Proband hatte bereits einen Account auf der Seite erstellt und fand sich ziemlich schnell zurecht und hat ein Quiz erstellt. Kurz darauf kam allerdings die Frage auf, welche Quizfrage erstellt werden soll. Eine der drei Fragen die erstellt worden sind, war: "Was ist die Hauptstadt Italiens?" mit den möglichen Antworten: "Moskau, Bukarest, Rom, Oslo". Nachdem die drei Fragen erstellt wurden, war sich der Proband unsicher wie es weiter gehen soll. Nach einer Hilfestellung wurde das Quiz mit "done" erstellt, daraufhin kam allerdings folgende Fehlermeldung: "Kahoot can't be played". Dieser Fehler war darauf zurückzuführen, dass eine vierte Frage versehentlich erstellt worden ist. Nachdem der Proband den Fehler alleine behoben hatte, wurde ein Titel und eine Beschreibung für das Quiz vergeben. Der Proband war sich unsicher, ob er das Quiz spielen sollte und wusste nicht wie es nun weitergeht. Nach einer kurzen Aufklärung wurde die Befragung beendet.

arsnova.click: Proband 2

Nach der Evaluation über Kahoot! ging der Proband auf den geteilten Link zu arsnova.click und landete auf der Landing-Page. Der erste Kommentar war, dass Weißraum fehlt. Danach ging es mit dem Use Case los und es wurde ein Quizname vergeben mit dem Titel "Hauptstadt Europas". Der Proband wollte dann das Quiz starten, allerdings wurde ein Demo-Quiz gestartet. Er fragte, ob er etwas falsch gemacht hat und war verwirrt über die Suche zu seinem Quiz. Es entstand weiter Verunsicherung über die Steuerung im Tool mit der Funktion "Frage zurück" und um eine weitere Frage zu bearbeiten. Des weitern hatte der Proband damit Probleme seine Antwortoptionen für die Frage festzulegen. Nach unserer Unterweisung hatte es dann mit der Erstellung der Antwortoption schließlich geklappt.

Kahoot!: Proband 3

Der letzte Proband gelang mit dem Link auf die Website von Kahoot.it. Seine erste Anmerkung war, dass die Seite sehr bunt aussieht. Er fragte uns, wie man sich anmelden muss. Ihm wurde die Option angezeigt, sich mit Google oder Microsoft anzumelden. Kurz daraufhin kam eine Anmerkung seinerseits,dass die Website sehr voll aussieht. Der Proband erstellte nun auf "Create Quiz" sein Quiz. Seine Frage hierbei lautete: "Mögt ihr Schokolade?". Er kommentierte nebenbei während seines Tests, dass ihm die Bildfunktion, die Timerfunktion und die Punktefunktion aufgefallen sei. Des Weiteren äußerte er sich, dass es ihm komisch vorkommt, weil keiner mit ihm redet. Nachdem er alle drei Fragen erstellt hat, begann er mit der Testfunktion die Fragen zu testen. Ab diesem Zeitpunkt war sich der Proband unsicher, ob er nun drei oder vier Fragen erstellt hat. Jetzt wollte Proband 3 sein Quiz erstellen, allerdings kam eine Fehlermeldung auf. Diese entstand dadurch, dass er bei Frage 1 und 2 die richtige Antwort nicht ausgewählt hat. Dieses Problem löste er aber schnell. Nachdem alle Probleme beseitigt waren, legte er den Titel und die Beschreibung fest. Ein weiters Problem gab es, da der Proband seine erstellten Quizze nicht mehr gefunden hat. Dies löste sich aber auch nach kurzer Zeit.

arsnova.click: Proband 3

Nachdem der Test zu Kahoot! abgeschlossen war, machte sich der 3. Proband auf die Website von arsnova.click. Nachdem er den Klick machte und auf der Homepage landete äußerte er direkt ein Kommentar zu Seite, und zwar dass es im Vergleich zu Kahoot sehr aufgeräumt und minimalistisch aussieht. Das zweite was ihm direkt aufgefallen ist, war die Verbindungsfunktion rechts oben auf der Seite. Proband 3 gab seinen Namen für das Quiz ein und äußerte sich positiv zu den vielen verschiedenen Fragetypen. Allerdings hatte er das gleiche Problem wie die Probanden zuvor, dass er nicht direkt gesehen hat, wie man eine Frage erstellt bzw. bestätigt und wie er zurück gelangt. Ihm ist es deutlich leichter gefallen die Antwortoptionen festzulegen. Als er Frage 2 erstellen wollte, ging er oben im Reiter auf "Fragetyp", statt die Frage 2 zu erstellen. Er wusste also nicht wie man eine neue Frage erstellt. Dieses Problem löste sich nach kurzer Zeit allerdings von selbst. Nachdem er alle drei Fragen erstellt hat, wunderte er sich darüber, wo der Button sei für "Quiz starten".

Anschlussbefragung zum Design

Kahoot!: Proband 1

Der Proband merkte an, dass die Farbgebung sehr schön war und eine motivierende Wirkung auf ihn hatte. Beim Testen des Quiz mochte er die Ansicht, bei der Laptop und Handy nebeneinander dargestellt werden. Insgesamt empfand er Kahoot! als sehr farbenfroh und heiter.

arsnova.click: Proband 1

Der Proband bemängelte, dass einige der gewählten Farben nicht gut harmonieren. Er hätte beim erstellen eine seitliche Leiste mit den Schritten anstelle der Leiste oben bevorzugt. Der Proband hatte den Eindruck, dass die Inhalte auf der Seite eher nach links oben verlagert sind und nicht zentriert wirken. Im Gesamteindruck wurde bemerkt, dass das Design etwas steif ist und etwas moderner und verspielter sein könnte.

Kahoot!: Proband 2

Das Layout wurde als sehr farbenfroh und sehr einladend beschrieben, allerdings sei das Layout auch nur ganz okay bis hin zu nicht originell.

arsnova.click: Proband 2

Hier wurde bemängelt, dass der Weißraum auf der Homepage fehlt. Es sei nicht angenehm für die Augen, diese Seite zu bedienen. Weitere Kommentare zum Design waren, dass die Darstellung einfallslos, konzeptlos und zu technisch dargestellt ist und nicht neues sei. Des Weiteren wirkt die Seite nicht professionell und langweilig gestaltet.

Kahoot!: Proband 3

Der Proband sagte, dass die Seite sehr bunt sei, welches er schön, aber auch hässlich findet. Die Homepage sei zu voll gestaltet und sehr gequescht.

arsnova.click: Proband 3

Die Homepage sei sehr aufgeräumt und sei minimalistisch, allerdings wurden sich mehr Farben gewünscht. Des Weiteren sei die Seite stilvoll und habe eine angenehme Wirkung, aber es fehlt noch ein bisschen etwas.

Anschlussbefragung zur Bedienung

Kahoot!: Proband 1

Der Proband empfand Kahoot! als sehr übersichtlich und die Bedienung als intuitiv. Dennoch bemängelte er, dass man ohne Abo-Modell sehr eingeschränkt ist und viele Funktionen zwar sehen, aber nicht benutzen kann.

arsnova.click: Proband 1

Er bemerkte, dass arsnova.click bei der Erstanwendung umständlich sei und einige Bereiche besser platziert oder hinzugefügt werden könnten (Navigationsleiste beim Erstellen, Weiter/speichern-Button, dargestellter Fragetext bei der Angabe der Auswahlmöglichkeiten). Davon abgesehen lobte der Proband die coolen Funktionen und die Vielfalt der Fragetypen.

Kahoot!: Proband 2

Es wurde gesagt, dass die Registration sehr einfach sei und sonst nichts Negatives zu finden sei. Kahoot sei ganz einfach zu bedienen, nichts sei kompliziert und schwer.

arsnova.click: Proband 2

Es wurde kritisiert, dass man sich in das Tool einlesen muss, man erkennt nicht direkt wie man vorgehen soll. Es wurde weiterhin kritisiert, dass es keinen Button wie "Speichern & Verlassen" gibt, wenn man eine Frage erstellt hat, um zurück zu gelangen.

Kahoot!: Proband 3

Er war sehr verwundert über die Account-Erstellung von Kahoot!. Kritisiert wurde, dass es keinen Sharelink für die erstellten Quizze gab.

arsnova.click: Proband 3

Die Seite sei vorzeigbar und einladend. Großes Unverständnis gab es mit der Funktion "Frage zurück und speichern", da dieser Button "Quiz speichern" fehlt. Er würde eher arsnova.click nutzen, da Kahoot! mit allen Features Geld kostet.

Anschlussbefragung zur Verständlichkeit

Kahoot!: Proband 1

Der Proband empfand das Tool als sehr verständlich. Der einzige Kritikpunkt war hierbei die sehr dezente Kennzeichnung, wenn Features nicht kostenlos verfügbar waren.

arsnova.click: Proband 1

Hier wurde angemerkt, dass die Nutzung etwas komplizierter sei. Durch die vielen umständlichen Klickpfade wirkt das Tool eher entmutigend auf den Nutzer. Dennoch würde der Proband eher arsnova.click nutzen, da alle Funktionen kostenlos sind.

Kahoot!: Proband 2

Hier wurden keine Angaben gemacht, aber aufgrund der von der Gruppe festgestellten sicheren Navigation kann davon ausgegangen werden, dass das Tool alles in allem verständlich ist.

arsnova.click: Proband 2

Hier wurde gesagt, dass das Tool sehr herausfordernd sei, weil man nicht direkt versteht, was man machen soll. Es wurde ebenfalls gesagt, dass viele aufgeben würden, weil sie keine Lust hätten, das Tool zu verstehen.

Kahoot!: Proband 3

Dadurch, dass die Homepage für den Probanden sehr unübersichtlich war, hatte er viele Probleme beim Bedienen der Seite.

arsnova.click: Proband 3

Er hat sich gut zurecht gefunden, war allerdings auch etwas verwirrt.


Auswertung

Online-Befragung mit AttrakDiff und VisAWI

Durchführung

Beide Online-Evaluationen zu Kahoot! und arsnova.click wurden gleichmäßig behandelt. Die Probanden haben die Tools im ersten Teil unabhängig voneinander getestet. Nachdem die Probanden den ersten Test beendet haben, wurde auf die Online-Evaluation mit AttrakDiff und VisAwi hingewiesen. Anschließend haben sie den Link zu den Evaluationen per E-Mail erhalten. Die Probanden konnten sich aussuchen, ob sie die Umfrage anonym machen wollten, oder diese mit ihrem geteilten Bildschirm erledigen möchten. Die Probanden wurde darum gebeten, ihre Gedanken zu jedem Punkt zu äußern, damit diese schriftlich festgehalten werden konnten. Nachdem der Proband die erste Evaluation erledigt hat, machte sich der Proband an die zweite Evaluation heran. Nachdem diese beendet war, begann der gleiche Ablauf wie zuvor, nur mit dem zweiten Tool.

Diagramme

AttrakDiff:


Das Profil der Wortpaare Kahoot1.png Das Profil der Wortpaare arsnova.click.png


Das Diagramm der Mittelwerte.png Das Diagramm der Mittelwerte arsnova.click1.png




VisAWI:


Das Profil der Aussagen Kahoot.png Das Profil der Aussagen arsnova.click.png


Diagramm der Mittelwerte Kahoot2.png Diagramm der Mittelwerte arsnova.click2.png


Boxplotdiagramm Kahoot.png BoxPlotdiagramm arsnova.click.png


Auswertung

Wenn man die AttrakDiff-Diagramme der beiden Produkte vergleicht, fällt auf, dass arsnova.click in allen Punkten etwas negativer ausfällt als Kahoot!. Gerade der pragmatische Teil der Auswertung ist bei arsnova.click sehr durchwachsen, was auch an den Mittelwerten zu erkennen ist. Kahoot! ist bei allen Bewertungskriterien etwa 1,5 Punkte und bei der pragmatischen Qualität sogar 2 Punkte besser ausgefallen als die Variante der THM. Die Probanden hatten also vor allem Probleme mit der Einfachheit, Übersichtlichkeit und Direktheit der Plattform. Außerdem fällt auf, dass die Probanden Kahoot eher als motivierend und arsnova.click als entmutigend empfanden.

Im Bewertungsbogen von VisAWI ist die Verteilung nicht anders. Im Bereich der Einfachheit sind beide Produkte mit einer Differenz unter einem Punkt am ähnlichsten ausgefallen. Allerdings gehen die Meinungen bei den nächsten Kategorien wieder auseinander. Die Probanden fanden das Layout bei arsnova.click nicht dynamisch und im Bereich der der Farbigkeit geht die Bewertung durchschnittlich 3 Punkte auseinander, was auch das Maximum der Auswertung ist. Besonders die Farben passen laut den Probanden nicht zueinander.

Bei den Boxplot-Diagrammen kann man sehen, dass die Stimmen der Probanden bei arsnova.click generell weiter auseinander gehen. Das liegt eventuell daran, dass manche Probanden aus dem Medienbereich kommen und sich an der Attraktivität stören, während Probanden aus anderen Schwerpunkten eher auf Funktionalität achten.

Insgesamt fällt arsnova.click in der UX-Analyse also deutlich schlechter aus als Kahoot! und hat in der Attraktivität und Usability keine ersichtlichen Vorteile.


Gewonnene Erkenntnisse

Usability Tweaks

Folgende Usability Tweaks werden im GitLab eingepflegt, damit diese anschließend von Mitarbeitern von arsnova.click bearbeitet werden können.

  1. Mehr Weißraum auf der Landing Page schaffen.
  2. Animationen auf der Homepage einfügen, um nicht zu technisch zu wirken.
  3. Der Beispieltext im Fragetextblock sollte verschwinden, sobald hineingeklickt wird um eine Frage einzugeben.
  4. Der Fragetyp sollte in der Fragenerstellung jederzeit angezeigt werden, um den Überblick zu behalten.
  5. Einen Button nach der Fragenerstellung einpflegen mit "Frage speichern + verlassen". Dieser fehlte allen drei Probanden und sorge für große Verwirrung.


Tool-Empfehlung

Die Rollen bei diesen zwei Tools sind klar: Kahoot! ist die amerikanische Erfindung, die auf Attraktivität und Einfachheit ausgelegt ist, was man auch an den Ergebnissen der Umfragen sieht. arsnova.click macht kein Geheimnis daraus, dass Kahoot! das Vorbild für dieses Tool war und die Funktionen sind auch teilweise besser umgesetzt, allerdings kommt es an die Attraktrivität von Kahoot! nicht heran. Dabei muss auch bedacht werden, dass es sich hier um ein Studienprojekt handelt und Kahoot! deutlich mehr Budget zur Verfügung hat. Allerdings ist Kahoot! ohne einen Premiumaccount nur sehr eingeschränkt nutzbar, was auch die Probanden bemängelt haben. Im Endeffekt würden Sie doch zu arsnova.click greifen, da es einfach komplett kostenfrei und ohne Anmeldung benutzt werden kann. Außerdem ist der Datenschutz bei einem großen amerikanischen Konzern nicht gewährleistet, was bei arsnova.click eine hohe Priorität hat.



Literatur

Frommann, Uwe (2005): Die Methode "Lautes Denken"


Glossar

  • Use Case: Anwendungsfall, in dem das Verhalten eines Systems aus Anwendersicht beschrieben wird
  • BigBlueButton: Online-Konferenztool
  • ABCD-Quiz: vorgefertigtes Quiz mit vier Antwortmöglichkeiten
  • Sharelink: spezieller Link, um etwas zu teilen (in diesem Fall ein Quiz)
  • AttrakDiff: Umfrage zur Auswertung der Gebrauchstauglichkeit eines bestimmten Tools
  • VisAWI: Umfrage zur Auswertung des Designs/Layouts eines bestimmten Tools
  • Usability Tweaks: Optimierungsbedürftige Aufgaben
  • Gitlab: Tool zum gemeinsamen Arbeiten an (vorwiegend IT-)Projekten