UX-Evaluation der Lernkartei-Plattformen: Quizlet vs. arsnova.cards

Aus THM-Wiki
Wechseln zu: Navigation, Suche

Zurück zur E-Learningseite


UX-Evaluation
Tool-Typ Lernkartei-Plattformen
Kommerzielle Plattform Quizlet
Open-Source-Plattform arsnova.cards
UX-Fragebögen AttrakDiff, VisAWI
Probanden 3 Studierende
  • Alter: 24-29 Jahre
  • Social Media Systems
Gruppenmitglieder
  • Bahara Qaiumi
  • Bita Moradi
  • Carolina Nieczaj
  • Tamara Smolcic
Stand SoSe 2020


Zur Optimierung der Open-Source Lernkartei-Plattform arsnova.cards wurde die Usability und User Experience der Plattform getestet. Dabei wurde sie der kommerziellen Plattform Quizlet gegenübergestellt und herausgearbeitet, welche Plattform nach aktuellem Stand empfehlenswerter ist. Hierzu wurden Probandentests und Befragungen zu beiden Lernkartei-Plattformen durchgeführt, um die Usability und User Experience der beiden Tools unter den Aspekten Gestaltung, Bedienbarkeit und Verständlichkeit zu überprüfen und gegenüberzustellen. In den Testdurchläufen mussten drei Probanden festgelegte Aufgaben bearbeiten bzw. testen. Aus diesen geht deutlich hervor, dass die Nutzungshaltung und Erwartung der jeweiligen Zielgruppe eine große Rolle spielt, um eine Aussage über eine Tool-Empfehlung zu treffen. Jedoch kann man pauschal sagen, dass arsnova.cards besonders für große Module die bessere Alternative darstellt. Dabei ist allerdings zu berücksichtigen, dass die Plattform für Einsteiger derzeit noch etwas schwieriger zu verwenden ist. Aufgrunddessen wurden einige Usability Tweaks herausarbeitet und in diesem Testbericht festgehalten.


Einleitung: Die Methode "Lautes Denken"

Die Studie wurde mit Hilfe der Methode "Lautes Denken", durchgeführt. Diese ermöglichte Einblicke in die mentalen Prozesse und Wahrnehmungen der Versuchspersonen, während diese die Tests durchliefen. Bei der Methode "Lautes Denken" wird der Proband aufgefordert, während seiner Tätigkeit laut seine Gedanken, Eindrücke und Gefühle zu äußern. Mit dieser kann die Nutzerfreundlichkeit sowie Anwendungen einer Internetanwendung getestet werden.

Ablauf

Anhand von drei Probanden wurden die beiden Lernplattformen Quizlet und Arsnova.Cards getestet. Die Probanden mussten die zuvor festgelegten Aufgaben bearbeiten bzw. testen. Hierbei sollten sie bei jedem Schritt ihre Gedanken mitteilen. Diese Gedankengänge wurden dabei während des Tests notiert. Bei Bedarf wurde den Probanden weitergeholfen. Ziel war es jedoch, dass die Probanden die Aufgaben selbstständig erledigen. Nach der Aufgabenstellung sollten die Probanden Befragungen durchführen und nochmal ein allgemeines Feedback geben. Dieses wurde anhand von vorgefertigten Fragebögen durchgeführt.

Durchführung

Einstieg

Um eine bessere Terminvereinbarung zur UX-Evaluation mit den Probanden zu ermöglichen, wurde zunächst eine Whatsappgruppe erstellt. Nachdem die einzelnen Termine feststanden, wurde den Probanden der Link zu dem Konferenzraum gesendet. Anschließend wurde der genaue Ablauf inklusive aller benötigten Links in den geteilten Notizen im BBB-Raum festgehalten, damit die Probanden die Möglichkeit hatten, diese jederzeit selbst nachzulesen. Die Probanden trafen jeweils pünktlich zu dem vereinbarten Termin im Konferenzraum ein und wurden nach einer kurzen Begrüßung über den Ablauf aufgeklärt. Danach wurde den Probanden erklärt, dass sie ihren Browsercache leeren und starten sollen. Sie mussten sich einmal in Quizlet und danach in arsnova.ards registrieren und anmelden. Daraufhin sollten sie jeweils ein Kartenset aus drei Karten erstellen und anschließend einen Lerndurchlauf mithilfe dieses Kartensets vollziehen.

Beobachtung

Proband 1

  • Geschlecht: Männlich
  • Alter: 26
  • Beruf: Student

Der Link auf die Aufzeichnung des ersten Probandentests zu Quizlet und arsnova.cards

Quizlet

Im Vorfeld hat der Proband seinen Cache geleert, um auf der Seite nicht angemeldet zu erscheinen. Danach hat dieser die Seite Quizlet aufgerufen und sich neu angemeldet. Dies erfolgte problemlos, jedoch beschwerte er sich über die aufkommenden Werbefenster. Daraufhin hatte er die Aufgabe, ein Kartenset aus drei Karten zu erstellen. Das Thema war dem Probanden freigestellt. Der Proband wählte das Thema E-learning. Beim erstellen der Kartensätze war der Proband unsicher, ob dieses mit dem betätigen des Buttons "Create" erfolgt. Er brauchte etwas Hilfestellung. Im Anschluss sollte der Proband das Quiz durchführen. Dieses erfolgte ohne Probleme und der Proband wirkte sicher.

Arsnova Cards

Der Proband leerte wieder im Vorfeld seinen Cache, jedoch war er beim aufrufen der Seite angemeldet. Er empfand das visuelle Design der Seite äußerst einladend. Er kannte sich mit der Bedienung der Startseite schon gut aus und war sicher mit dem Umgang. Allerdings empfand er die Seite zu langsam. Seine Aufgabe bestand darin in arnova.cards eine Kartei mit 3 Karten zu erstellen. Bei dem Erstellen der ersten Karte jedoch schrieb dieser das Thema und die darauffolgende Lösung herein und übersah die Aufgabenstellung. Er bemängelte die Übersichtlichkeit dieser Seite, sodass er keinerlei Übersicht hatte, wie viele Karten er schon geschrieben hat. Das Verlassen der Seite, schien dem Probanden auch nicht bewusst bzw. fand er dieses nicht. Im Anschluss sollte der Proband sein erstelltes Kartenset nach dem Leitner-Plan lernen. Dieses erschien erst anfangs schwierig, jedoch fand er dieses und konnte im anschluss daran problemlos die Statistik aufrufen. Er sagte, dass das erstmalige Arbeiten mit arsnova.cards sich als etwas schwierig gestalte.

Proband 2

  • Geschlecht: Männlich
  • Alter: 29
  • Beruf: Student

Der Link auf die Aufzeichnung des zweiten Probandentests zu Quizlet und arsnova.cards

Quizlet

Der Proband leerte im Vorfeld seinen Browsercache, um auf der Seite nicht angemeldet zu erscheinen. Danach rief er die Seite Quizlet auf und meldete sich neu an. Der Proband bemängelte die aufkommenden Pop-ups der Seite und die Farbauswahl. Er hätte sich außerdem noch eine Erklärung im Vorfeld, zur Erstellung der Lernkarten gewünscht. Als Lösungsvorschlag nannte er, dass ein Modalfenster mit einer kleinen Erklärung sinnvoll wäre. Der Proband sollte ebenfalls 3 Lernkarten nach eigenem Thema erstellen. Er empfand das Erstellen dieser zunächst als kompliziert gestaltet und er musste nachfragen, ob die Definition der Karte bloß für eine Übersetzung des Kartenbegriffs gilt. Nach einer kurzen Erläuterung, fand er sich jedoch gut zurecht. Im Anschluss hat er die erstellten Karten gelernt. Dies empfand er als problemlos. Das Feedback am Ende des Lerndurchlaufs erfreute den Probanden besonders.

Arsnova Cards

Der Proband leerte wieder im Vorfeld seinen Cache und rief die Seite auf. Seine erste Reaktion gegenüber der Plattform fiel mit den Worten "Oh Gott" negativ aus und die Startseite schien ihn zunächst abzuschrecken. Die direkte Begrüßung "Gude" in dem Modalfenster nach dem Login erfreute den Probanden und wurde als sehr sympathisch beschrieben. Zudem empfand er die Gestaltung des Modalfensters als übersichtlicher als die Startseite. Der Proband suchte nach der Möglichkeit Karteikarten zu erstellen und dachte zunächst, dass es sich bei der Kartei, direkt um eine Karte handelte. Nachdem er den Unterschied herausgefunden hatte, konnte er ohne Schwierigkeiten Karteikarten hinzufügen und betonte dies als übersichtlich. Insbesondere die Vorschau in der Handyansicht beim erstellen der Karteikarten empfand der Proband als gelungen und hilfreich. Das Lernen nach dem Leitner-Plan konnte der Proband ohne Schwierigkeiten finden. Er war zunächst jedoch überfordert, wie er die angelegten Karten beantworten kann. Allerdings findet er dies nach kurzer Zeit heraus und findet sich gut zurecht. Die Animationen der drehenden Boxen empfand der Proband dabei als eher unangenehm. Die Lernstatistik, welche er im Anschluss an das Lernen aufrufen sollte, konnte er schnell und ohne Schwierigkeiten finden.

Proband 3

  • Geschlecht: Weiblich
  • Alter: 24
  • Beruf: Student

Der Link auf die Aufzeichnung des dritten Probandentests zu Quizlet und arsnova.cards

Quizlet

Im Vorfeld hat der Proband seinen Cache geleert, um auf der Seite nicht angemeldet zu erscheinen. Danach hat dieser die Seite Quizlet aufgerufen und sich neu angemeldet. Der Proband suchte nach dem Anmelden zunächst nach der Möglichkeit die Werbung für die Quizlet Plus Mitgliedschaft zu überspringen und konnte den Button dafür zunächst nicht finden. Nachdem der Proband dies jedoch geschafft hatte, war er sehr sicher in dem Umgang mit der Lernplattform und wusste direkt welche Bedienungen zu tätigen sind. Der Proband hatte keinerlei Fragen zur Bedienung. Beim Erstellen der Karten wirkte er selbstsicher. Der Ablauf sowie das anschließende Lernen der Karten war für den Probanden selbsterklärend und ging schnell und problemlos vonstatten.

Arsnova Cards

Der Proband leerte wieder im Vorfeld ihren Cache und rief die Seite auf. Mit dem ersten Eindruck des Probanden schien ihm die Website zu überladen und das Hintergrundbild war ihm zu viel. Allerdings empfand dieser besonders positiv, dass keine Werbung erscheint. Der Proband fand sich bis zum Erstellen der Karteikarten insgesamt gut zurecht, jedoch lässt er beim Erstellen der Kartei zunächst die Beschreibung weg, findet jedoch heraus, dass er eine Beschreibung hinzufügen muss, um fortzufahren. Die Lernplattform blieb während der Benutzung stehen, der Proband musste diese Seite aktualisieren, um mit dem Erstellen der Karten fortfahren zu können. Die Bedienung der Lernplattform verlief für den Probanden ohne Schwierigkeiten. Er fand sich auf der Plattform gut zurecht. Fragen erschienen erst nach erfolglosen ausprobieren. Das Karten erstellen erfolgte problemlos. Beim Lernen dieser war sich der Proband zunächst unsicher, ob er eine Lösung selbst eintagen muss oder diese angezeigt wird. Er sucht nach einer Möglichkeit die Antwort selbst einzugeben und fragt schließlich nach. Anschließend klickt sich der Proband durch und möchte versuchen die letzte Karte zu überspringen. Da dies jedoch nicht zu funktionieren scheint, beantwortet er auch die letzte Karte und ruft anschließnd ohne weitere Schwierigkeiten die Lernstatistik auf.

Anschlussbefragung

Zum Design von Quizlet

Die Seite wirkte auf alle 3 Probanden übersichtlich gemacht und die Buttons und die Schrift in der idealen Größe. Es hatte für die Probanden viel Weißraum und wirkte nicht überladen. Das Design wurde allerdings als sehr kühl und weniger schick und elegant empfunden. Das Layout wurde teilweise als etwas "altbacken" und nicht vielseitig empfunden. Diese Seite wirkte als schnell gemacht, wurde jedoch auch als äußerst strukturiert empfunden. Die Farbkomposition bezeichneten die Probanden als stimmig. Die Seite empfanden die Probanden als zeitgemäß und professionell aufgearbeitet, jedoch stillos und uninteressant. Sie wirkte fantasielos und nicht innovativ, jedoch gut gemacht.

Zur Bedienung von Quizlet

Die Bedienbarkeit war für die Probanden einfach. Die Seite ist praktisch und nicht umständlich. Allerdings bebängeln die Probanden bei der Bedienung der Plattform die immer wieder auftauchenden Pop-ups. Der Lernmodus ist gut zu bedienen, jedoch ist das Erstellen der Karten nicht optimal gelöst. Einer der Probanden fühlte sich mit dem Erstellen alleine gelassen und hatte Angst etwas zu vertauschen. Er hätte sich hierfür eine kurze Erklärung gewünscht.

Zur Verständlichkeit von Quizlet

Die Seite ist für alle 3 Probanden verständlich und einfach aufgebaut, allerdings wurden sich teilweise dennoch kleinere Erklärungen von seiten der Plattform gewünscht. Das Erklärvideo, welches ihnen von im Vorfeld gezeigt wurde, hat allerdings zu einer besseren Verständlichkeit geführt.

Zum Design von arsnova.cards

Das Design von Arsnova Cards wirkte auf 2 von 3 Probanden etwas weniger einladend. Besonders der Startscreen wurde dabei bemängelt und für den ersten Moment als etwas abschreckend empfunden. Insbesondere durch die Hintergrundbilder und die vielen Farben wird das Design als zu unübersichtlich empfunden und wirkt eher überladen. Jedoch war einer der Probanden von dem Design trotzdem sehr angetan und empfand das Farbdesign als angenehm und das Seitendesign als stilvoll. Insgesamt betonten alle Probanden, dass man jedoch sieht, dass in der Gestaltung der Plattform viel Mühe steckt.

Zur Bedienung von arsnova.card

Die Probanden hatten zu Beginn Schwierigkeiten die Plattform zu bedienen. Sie gaben an, dass der Ablauf auf der Plattform etwas schwieriger gestaltet sei. Insbesondere bei der ersten Verwendung der Plattform, fühlten sich die Probanden etwas allein gelassen und ein wenig hilflos. Nachdem Sie mit der Plattform ein wenig vertraut waren, fanden sie sich jedoch besser zurecht. Was die Probanden besonders positiv hervorgehoben haben, war die Kartenvorschau während der Kartenerstellung, welche die Bedienbarkeit für diese vereinfachte. Jedoch war zu bemängeln, dass ein paar der Buttons erst nach dem Neuladen der Seite funktioniert haben. Besonders positiv wurde letztlich noch einmal der Pomodoro-Timer betont, mit welchem es möglich war die Lerndauer selbst einzustellen.

Zur Verständlichkeit von arsnova.card

Die Probanden hatten keinerlei Schwierigkeiten sich anzumelden. Jedoch wurde das Erstellen der Kateien als etwas unverständlich empfunden, insbesondere, dass sie eine Beschreibung zu der Kartei eingeben mussten, war für die Probanden unklar. Auch das Erstellen der Karten war für die Probanden zu Beginn etwas unverständlich, wurde jedoch nach erstem Erstellen einer Karte sehr klar. Des Weiteren bemängelten 2 von 3 Probanden, dass es beim Lernen zu Beginn nicht verständlich war, wie sie die Fragen beantworten können.

Auswertung

Die Anschlussbefragung zeigt auf, dass Quizlet für die Probanden in den meisten Fällen angenehmer und sauberer gestaltet ist als arsnova.cards. Jedoch wird Quizlet teilweise als etwas zu sauber und steril empfunden. Die Plattform arsnova.cards wirkt dem gegenüber als etwas unsauber und überladen, zieht jedoch den eindeutigen Vorteil mit sich, dass die Nutzer nicht von Werbung gestört werden. Insgesamt wirkt arsnova.cards auf die Probanden zudem trotzdem vielseitiger und innovativer gestaltet. Auch in der Bedienbarkeit und Verständlichkeit der Plattformen wird Quizlet insgesamt besser bewertet und erscheint insgesamt einsteigerfreundlicher, während es bei arsnova.cards häufig eine etwas längere Auseinandersetzung mit der Plattform benötigt, um sie richtig bedienen und verstehen zu können. Jedoch verfügt arsnova.cards gegenüber Quizlet über mehr hilfreiche Funktionen.

Online-Befragung mit AttrakDiff und VisAWI

Durchführung

Nachdem die Probanden die gestellten Aufgaben auf den Lernplattformen durchgeführt hatten, wurden sie aufgefordert eine Online-Befragung auf den Plattformen AttrakDiff und VisAWI durchzuführen. Bei der Durchführung der Tests, führten sie ebenfalls die Methode "Lautes Denken" fort, um während der Beantwortung der Fragebögen weitere aufkommende Gedanken zu den Plattformen mitzuteilen. Die beiden Tests liefen zu beiden Plattform identisch ab und beinhalteten den selben Fragenkatalog. Dadurch konnten zwei unterschiedliche Lernplattformen miteinander verglichen werden. Diese wurden schließlich nach Beendigung der Probandentests ausgewertet und die Ergebnisse in Diagramme umgewandelt. Diese stellen die Unterschiede und Auffälligkeiten visuell dar.

Diagramme

VisAWI

Das Profil der Aussagen Quizlet vs arsnova.cards.png Diagramm der Mittelwerte Quizlet vs arsnova.cards.png

AttrakDiff

Das Profil der Wortpaare Quizlet vs arsnova.cards.png Das Diagramm der Mittelwerte Quizlet vs arsnova.cards.png Ergebnisüberblick - Portfolio Quizlet vs arsnova.cards.png

Auswertung


Die Online-Befragungen haben ergeben, dass die Auffassung gegenüber der beiden Plattformen relativ durchwachsen ist. Insgesamt scheint Quizlet gegenüber arsnova.cards jedoch ein wenig besser abzuschneiden.

In der VisAWI-Umfrage schneidet Quizlet in der Einfachheit mit durchschnittlichen 5,53 Punken des Plattformdesigns bedeutend besser ab, als arsnova.cards, welches mit 3,33 eher als unübersichtlich und schwieriger zu erfassen beschrieben wird. In der Vielseitigkeit des Designs schneidet jedoch arsnova.cards sehr viel besser ab und wird als origineller und sehr viel dynamischer als Quizlet beschrieben. Die Farbauswahl ist für die Probanden auf der Plattform Quizlet ein wenig angenehmer gewählt. Auch in der Kunstfertigkeit schneidet Quizlet ein wenig besser ab und wirkt konzeptvoller als arsnova.cards. Dennoch sind die durchschnittlichen Punkte der beiden Plattformen bei der Farbigkeit und der Kunstfertigkeit noch nahe beineinander und befinden sich mit einem Wert von über 4 Punkten auf beiden Plattformen im positiven Bereich.

Bei der AttrakDiff-Umfrage zeigt sich in der pragmatischen Qualität Quizlet insgesamt ein wenig stärker, jedoch lässt sich hervorheben, dass arsnova.cards gegenüber Quizlet als etwas menschlicher und handhabarer beschrieben wird. In der hedonischen Qualität der Identität schneiden beide Plattformen insgesamt nahezu gleichgut ab. Jedoch wird Quizlet als weitaus isolierender empfunden, während arsnova.cards die Menschen eher verbindet. Trotzdem können sich die Probanden mit beiden Plattformen nahezu gleichgut identifizieren. Betrachtet man die hedonische Qualität der Stimulation zeigt dies, dass die Nutzer mit arsnova.cards trotz der kleinen Mängel in der Handhabung eher in dem Bedürfnis, die Kenntnisse zu erweitern und sich weiterzuentwickeln, befriedigt werden. Es wird deutlich als neuartiger und innovativer als Quizlet empfunden. Dennoch ist Quizlet gestalterisch attraktiver gestaltet und wirkt auf die Probanden insgesamt motivierender und einladender. Dabei ist dennoch hervozuheben, dass arsnova.cards im Detail trotzdem als angenehmer beschrieben wird.

Insgesamt zeigt sich in der Portfoliodarstellung, dass beide Plattformen in hedonischer und pragmatischer Qualität eher neutral abschneiden. Allerdings zeigt die Größe des Konfidenz-Rechtecks, dass die Probanden sich eher uneinig bei der Beurteilung der Plattform Quizlet waren. Dadurch lässt sich über die Qualität der Plattform keine genaue, sichere Aussage treffen, während das Konfidenz-Rechteck bei arsnova.cards kleiner ausfällt und mit seiner Ausprägung eindeutiger aufzeigt, dass arsnova.cards gegenüber Quizlet ein wenig Selbstorientierter ausgeprägt ist. Hinsichtlich der pragmatischen wie auch hedonischen Qualität verfügen jedoch beide Plattformen noch über ausreichend Potenzial zur Besserung.

Gewonnene Erkenntnisse

Usability Tweaks

Anhand der UX-Evaluation wurden folgende Usability Tweaks für Quizlet und arsnova.cards erarbeitet, um diese im Nachgang zur Optimierung des Tools zu implementieren:

Quizlet

  • Farbauswahl freundlicher gestalten
  • modernere Gestaltung der Seite
  • PopUps unauffälliger gestalten
  • kurze Erklärung für Kartenerstellung (Popup Fenster)

Arsnova Cards

  • Startbild umgestalten (nicht überladen)
  • anderes, klareres Design und freundlichere Farbgestaltung
  • den Ablauf der Plattform übersichtlicher gestalten/ Unterschied zwischen Kartei und Karte verdeutlichen
  • PopUp mit Erklärung zur Kartenerstellung
  • Erklärung zur Beantwortung der Kartenfragen
  • Funktionalität der Buttons überprüfen

Die Usabilty Tweaks wurden thematisch sinnvoll zusammengefasst und näher beschrieben im Git Repository des Projekts 🍅cards als Tickets angelegt, sofern sie noch aktuell waren.

Tool-Empfehlung

Die Auswertung der Testergebnisse bringen deutlich hervor, welches Tool für welche Anwendung am besten geeignet ist. Man muss beachten, dass es nicht möglich ist ein Tool besser zu bewerten, da die Nutzungshaltung und Erwartung der jeweiligen Zielgruppe eine große Rolle spielen. Jedoch kann man davon ausgehen, dass Quizlet die einfachere Bedienbarkeit aufweist. arsnova.cards ist für besonders aufwendige bzw. große Module besser gestaltet, weil dort Repetitorien erstellt werden können. Zusätzlich können auf arsnova.cards Notizen von der Vorlesung hochgeladen werden.

Literatur

Frommann, Uwe (2005): Die Methode "Lautes Denken"

Glossar

Kartei/ Lernset: Eine Ansammlung von Karten zu einer Lerneinheit

Lernen nach Leitner: Lernmethode zum wiederholten Lernen, welche von Sebastian Leitner entwickelt wurde

Repetitorium: Eine Zusammenstellung von mehreren Karteien zu einem großen Überthema oder Modul.