PINGO vs. ARSnova

Aus THM-Wiki
(Weitergeleitet von Pingo vs. ARSnova)
Wechseln zu: Navigation, Suche

Zurück zur E-Learningseite


UX-Evaluation Pingo vs. ARSnova
P vs ARSn.png
Tool-Typ Audience-Response-Systeme
Kommerzielle Plattform Pingo
Open-Source-Plattform ARSnova
UX-Fragebögen AttrakDiff, VisAWI
Probanden 3 Studierende
  • Alter: 22-24 Jahre
  • Social Media Systems
Gruppenmitglieder
  • Niklas Bleck
  • Christian Breidenstein
  • Cheyenne Elbert
  • Justin Weigel
Stand Sommersemester 2020

Diese Wiki-Seite stellt die beiden Audience Response Systeme PINGO und ARSnova anhand einer UX-Evaluation gegenüber.

Verantwortlich für diese Evaluation war Projektgruppe 3, welche aus folgenden Gruppenmitgliedern besteht:

Justin Weigel (Gruppenleiter), Cheyenne Elbert (Stellvertreterin), Niklas Bleck und Christian Breidenstein.


Management Summary

Im Rahmen des Modules E-Learning wurde eine UX-Evaluation der beiden Audience Response Systeme PINGO und ARSnova durchgeführt und auf dieser Wiki-Seite dokumentiert. Ziel dieser Evaluation war es Usability Tweaks und eine Tool Empfehlung anhand von Probandenbefragungen mit der Methode "Lautes Denken" herauszuarbeiten. Aus zeitlichen und organisatorischen Gründen konnten in unserem Fall nur drei Probanden akquiriert werden, welches die Usability und User Experience der beiden Tools testen konnten. (Zu beachten ist allerdings, dass die Ergebnisse und Auswertungen der Probandenbefragungen erst ab einer Anzahl von 10 Personen aussagekräftig sind). In so genannten Testdurchläufen mussten die Probanden einen vorgegebenen Arbeitsablauf in beiden Tools bearbeiten, dazu ihre Gedanken laut äußern, Interviewfragen beantworten und im Anschluss UX-Fragebögen im Format VisAWI und AttrakDiff ausfüllen. Diese Testdurchläufe wurden von der Projektgruppe analysiert und ausgewertet.

Empfehlung: Anhand dieser Studie und den analysierten Testdurchläufen mit den Probanden empfehlen wir die Nutzung von ARSnova, da sich ARSnova in den Punkten Design, Handhabung, Verständlichkeit und Spaß als klarer Favorit herausgestellt hat.


Aufzeichnung des Abschluss Webinars: Abschluss Webinar UX-Evaluation


Einleitung: Die Methode "Lautes Denken"

Mithilfe der Methode des Lauten Denkens ist es möglich Einblicke in die mentalen Prozesse einer Versuchsperson zu erlangen. Dazu ist es notwendig, dass diese während einer Tätigkeit laut ihre Gedanken, Gefühle und Eindrücke ausspricht. Generell wird diese Methode gerne in der Softwareentwicklung eingesetzt um die Nutzerfreundlichkeit einer Internetanwendung zu testen. In unserem Fall handelte es sich dabei um die Anwendungen PINGO und ARSnova.

Ablauf

Der Ablauf der Methode “Lautes Denken” sieht vor, dass Probanden eine gegebene Aufgabenstellung eines Bereiches in einer E-Learning Umgebung bearbeiten. Die Gewählten E-Learning Umgebungen zum Bearbeiten sind die beiden Audience Response Systeme: PINGO und ARSnova. Die Aufgabenstellungen, die unsere drei Probanden zur Bearbeitung bekamen, beinhalten das Erstellen einer Frage (Dozent) und die Beantwortung der Frage (Student). Zur Unterstützung der Probanden waren bei der Durchführung der Testreihen mindestens zwei Tool-Experten anwesend. Alles was die Probanden sagten wurde mitgeschnitten und später ausgewertet. Nach erfolgreichem Abschluss der Aufgabenstellung wurden den Probanden im Anschluss Fragen zum Design, Bedienbarkeit und Verständlichkeit gestellt. Als letzten Punkt der Versuchsreihe beantworteten die Probanden die vorgefertigte Fragebögen AttrakDiff und VisAWI.

Durchführung

Einstieg

Zu Beginn wurden mit allen Teilnehmern individuelle Termine abgestimmt. Diese wurden im Anschluss über E-Mail mit Terminerinnerung und Link zum BBB-Raum eingeladen. Nach erfolgreicher Vergabe der Termine wurden die Fragebögen auf der Website von AttrakDiff erstellt. Für PINGO und ARSnova wurden jeweils “A-B Vergleich” Fragebögen im Format VisAWI und AttrakDiff angefertigt. Darauffolgend wurde in den “geteilten Notizen” von BBB Hinweise zum Ablauf der Durchführung und alle benötigten Links, inklusive der Fragebögen-Links eingefügt. Am Tag der UX-Evaluation mit den jeweiligen Probanden, wurden diese im BBB-Raum begrüßt und darauf hingewiesen ihre Browser Cookies zu löschen. Den Probanden wurde über die geteilten Notizen der Ablaufplan vorgelegt und erläutert, damit diese einen ungefähren Überblick erhalten, was sie erwartet. Vorab wurden die Probanden gebeten sich in die verschiedenen Rollen der Zielgruppen hineinzudenken. Damit die Methode richtig angewendet werden konnte wurden die Probanden gebeten ihre Gedanken während der Durchführung laut auszusprechen.

Beobachtung

Proband 1

Weiblich, 23

Vertiefung: Medien im 7.Semester

Link zum Probandentest: Aufzeichnung_Proband1


PINGO

Probandin 1 sollte sich zunächst bei PINGO registrieren, aber fand keinen Registrieren-Button vor. Daher versuchte sie es über die Einloggen-Möglichkeit, welche sie dann zur Registrierung führte. Danach ging es darum eine Frage zu erstellen, doch sie erstellte eine Session. Eigentlich sollte nach der Fragenerstellung die Erstellung einer Session erfolgen und die bereits gespeicherte Frage in diese eingefügt werden. Es ist aber auch möglich, so wie sie es tat, erst eine Session zu erstellen und dann darin direkt dazugehörige Fragen zu erstellen. Bei diesen Vorgängen kamen keine Probleme auf, ebenso bei dem Zugriff auf die Session in der Rolle als Student. Nachdem die Probandin ihre Frage beantwortet hatte, suchte sie in der Rolle des Dozenten nach der Möglichkeit sich die Ergebnisse der Frage anzeigen zu lassen. Nach anfänglichen Schwierigkeiten verstand sie, dass die Umfrage erst gestoppt werden muss, damit dies funktioniert.


ARSnova

Die Registrierung bei ARSnova entfiel, da dies zur Zeit noch nicht nicht möglich ist. Daher startete die Probandin mit der Erstellung eines Raumes. Dies funktionierte ohne Probleme. Sie fand daraufhin auch schnell den Bereich zur Erstellung von Fragen. Beim Ausfüllen des Templates übersah sie die Thema-Zeile, welche daher leer blieb. Nach der Eingabe einer Frage und den dazugehörigen Antworten wollte sie die Frage speichern, wurde aber von einer Fehlermeldung überrascht, welche sie darauf hinwies, dass sie nicht alle notwendigen Felder ausgefüllt habe. Da sie nicht wusste, wo genau ihr Fehler beim Ausfüllen lag, versuchte sie eine längere schriftliche Antwort in einem Antwortoption-Feld auszuformulieren. Nach kurzer Hilfestellung löschte sie diese wieder und gab das fehlende Thema an. Nun konnte die Frage gespeichert werden. Der Zugriff auf diese und deren Beantwortung in der Rolle des Studenten funktionierte ohne Probleme. Der Zugriff auf die Statistik zur Frage sorgte zunächst für Verwirrung, wurde dann aber doch selbstständig gelöst.


Proband 2

Männlich, 22

Vertiefung: Management im 6.Semester

Link zum Probandentest: Aufzeichnung_Proband2


PINGO

Proband 2 erstellt sich sehr schnell und problemlos einen Account. Genauso reibungslos lief auch die Erstellung der Frage und der Session ab. Das Hinzufügen einer Frage zu einer Session stellte für ihn kein Problem dar. Der Zugriff auf die Frage als Student erfolgte über den entsprechenden Code. Proband 2 beantwortete die Frage und wechselte zurück in die Rolle des Dozenten, um sich die Antwort anschauen zu können. Da diese nicht direkt angezeigt wurden, suchte er nach einer Option sie anzeigen zu lassen. Nach einer Weile fand er heraus, dass er die Frage dafür stoppen muss.


ARSnova

In der Anwendung ARSnova erstellte Proband 2 zügig und problemlos einen Raum. Das Template zur Fragenerstellung füllte er zunächst lückenlos aus, jedoch stockte er bei dem Hinzufügen von Antwortoptionen. Er ging davon aus, dass das "+"-Icon dazu dient eine weitere Antwortmöglichkeit angeben zu können, dabei steht es dafür die bereits eingegebene Antwort hinzuzufügen. Nach der Speicherung der Frage griff er über den Raum-Code auf die eben erstellte Frage zu und beantwortete diese. Daraufhin sollte er sich die Statistik der Antworten als Dozent anzeigen lassen. Er fand auch direkt den richtigen Button um dies zu tun. Er sah die Frage und die Prozentzahl, welche anzeigt wie viel Prozent der Befragten richtig geantwortet haben. Nun war er auf der Suche nach einem entsprechenden Diagramm, welches er aber nicht fand. Nach kurzer Hilfestellung wusste er, dass er auf die Frage im Statistik-Bereich klicken kann, um das gewünschte Diagramm angezeigt zu bekommen.


Proband 3

Weiblich, 24

Vertiefung: IT im 6.Semester

Link zum Probandentest: Aufzeichnung_Proband3


PINGO

Probandin 3 war bei der Registrierung, genau wie Probandin 1, davon irritiert, dass es keinen Registrieren-Button gab. Sie konnte sich aber dann ebenfalls über den Einloggen-Button registrieren. Probandin 3 war bei der Eingabe ihrer Daten unsicher, welche der Felder Pflichtfelder sind, da dies nicht gekennzeichnet war. Sie gab keine Universität an und wurde dann beim Abschicken der Anfrage darauf hingewiesen, dass dieses Feld ausgefüllt werden muss. Die Erstellung einer Frage lief reibungslos ab. Bei dem Anlegen einer Session war sie sich nicht sicher, was mit "Formelunterstützung" gemeint ist und ob sie diese auswählen muss. Das Hinzufügen einer Frage zu einer Session lief zwar ohne Probleme, dauerte aber etwas länger, da sie nicht genau wusste wie dies funktioniert. Nach dem erfolgreichen Zugang zur Frage über den entsprechenden Code beantwortete sie diese. Die Meldung darüber, dass sie die Frage bereits beantwortet hat war ihr zu schlicht und führte dazu, dass sie die Frage erneut abschicken wollte und eine Fehlermeldung diesbezüglich angezeigt bekam. Das Anzeigen der Ergebnisse sorgte wie bei Probandin 1 und Proband 2 für Verwirrung, aber auch sie fand heraus, dass die Umfrage erst gestoppt werden muss, damit die Ergebnisse angezeigt werden.


ARSnova

Beim Aufrufen der ARSnova Startseite gab Probandin 3 an, dass sie von dem großen Pop-up-Fenster mit Informationen zum Datenschutz der Seite irritiert sei. Sie schloss dieses und konnte schnell und einen Raum erstellen. Auch die Funktion zur Erstellung von Fragen fand sie zügig. Im Template dazu gab sie in der Thema-Zeile ihre Frage ein und in der Spalte, in welcher eigentlich die Frage vorgesehen war, gab sie eine kurze Beschreibung zu dieser an. Sie war die einzige der Tester, welche die Vorschau-Option nutzte und anhand ihrer Kenntnisse im Bereich Markdown ihren Text veränderte. Nach dem Erstellen der Frage wollte sie zur Startseite zurückkehren, fand aber den Pfeil, welcher dieses ermöglicht, zu klein und unscheinbar. Sie wechselte ohne Probleme in die Studentenansicht und wollte die Frage beantworten. Jedoch fiel ihr auf, dass dort wo sie die Frage erwartete ihre Beschreibung angezeigt wurde und ihr wurde klar, dass sie bei der Erstellung wohl einen Fehler gemacht haben muss. Sie beantwortete die Frage trotzdem und konnte sich daraufhin problemlos die Ergebnisse aus der Sicht des Studenten und Dozenten anzeigen lassen.

Anschlussbefragung

Zum Design von PINGO

Als Positiv wurde von den Probanden eine angenehme Schrift, sowie Schriftgröße empfunden. Die Farbwahl wurde ansprechend eingestuft und das Design von PINGO als aufgeräumt und übersichtlich beschrieben. Negativ zum Design fiel auf, dass PINGO zu wenig Weißraum beinhaltet. Die Seitenaufteilung auf der Ergebnisseite wurde als unübersichtlich und überfüllt wahrgenommen. Der auffällig große Footer wurde ebenfalls in der Farbe negativ aufgefasst (Senfgelb). Im Allgemeinen wurde die Seite als eher langweilig beschrieben, hier wurde hingewiesen, dass der Einsatz von Bildern und Grafiken, das Design aufwerten würden.

Zur Bedienung von PINGO

Positiv wurde die Einfache Bedienung für Dozenten und Studenten erwähnt. Hier fiel auf, dass das erstellen von Fragen und das Anlegen von Sessions schnell und ohne weitere Probleme möglich war. Zudem wurde erwähnt, dass das beitreten einer Session als Student sehr einfach gehandhabt wird. Als negative Punkte zu Bedienung von PINGO wurde anhand der Befragung festgestellt, dass ein Registrieren-Button direkt auf der Startseite neben dem Anmelde-Button angebracht werden sollte, um den Registrierungsvorgang zu vereinfachen. Die Bedienung fiel den Probanden speziell auf der selbst erstellten Sessions Seite schwer, was sich unter anderem darin zeigte, dass die Probanden die Ergebnisse ihrer Umfrage nicht ohne fremde Hilfe anzeigen konnten. Es musste erst die aktuelle Umfrage gestoppt werden bevor die Ergebnisse anzeigt werden können. Zudem wurde von ⅔ der Probanden das Starten einer Umfrage als unklar und unübersichtlich empfunden. Als kritischen Punkt wurden die Benennungen der Menüpunkte genannt, da nicht direkt hervorgeht, was sich hinter diesen Punkten verbirgt. Dies erfordert eine gewisse Einarbeitungszeit und wird nicht intuitiv verstanden.

Zur Verständlichkeit von PINGO

Als positiv wurde angegeben, dass die Beschreibungstexte für die Eingabefelder verständlich formuliert wurden und somit direkt ersichtlich wurde, was zu tun ist. Des Weiteren wurde angemerkt, dass sich die Probanden durch eine klare Abgrenzung einzelner Bereiche schnell orientieren konnten. Die Anleitung zu PINGO ist zwar im Footer hinterlegt, wird aber von den Nutzern nicht gefunden und deshalb als negativ aufgefasst. Darüber hinaus bedarf es der Schnellstartfunktion einer Erklärung wie diese sich von der regulären Umfrage Durchführung unterscheidet.


Zum Design von ARSnova

Den Probanden ist bei ARSnova das Layout positiv aufgefallen. Zudem wurde es als gelungen und übersichtlich empfunden. Eine Gute Lesbarkeit zeichnete sich durch eine angenehme Schriftgröße aus. Durch die gewählte Farbwahl von ARSnova (grün und lila) entstanden Irritationen bei den Probanden. Das Farbschema wurde allgemein als unschön bezeichnet. Ein Verlangen nach einem einheitlichen THM-Schema war deutlich heraus zu hören. Darüber hinaus führten in der Auswertung der gestellten Fragen gleiche Farben der Balken zu Frustrationen. ARSnova bietet für die Zielgruppe kein ansprechendes Aussehen, das Design wirkt schlicht, altbacken und unmodern. Zudem wurde von allen drei Probanden das Design der Frageseite als unübersichtlich empfunden.

Zur Bedienung von ARSnova

Die Bedienbarkeit von ARSnova fiel durchwegs positiv bei den Probanden auf. ARSnova lässt sich bedingt durch eine benutzerfreundliche und übersichtliche Oberfläche intuitiv bedienen. Das erstellen von Fragen und die Weitergabe, der Fragen an Studierende, wurden ebenfalls als positiv bewertet. Die Probanden zeigten Interesse, auch in der Zukunft mit der Anwendung weiterhin zu arbeiten. Als einzigen negativen Aspekt in der Bedienung, gaben die Probanden an, dass das Anzeigen von Statistiken als Dozent verwirrend und nur über Umwege abrufbar war.

Zur Verständlichkeit von ARSnova

ARSnova wurde von allen drei Probanden als Verständlich beurteilt. Die kurzen Aussagekräftigen Texte als Erklärung oder auch als Anweisung in den Buttons wurden durchweg als positiv genannt. Allerdings führte die Beschriftung und die unklare Abgrenzung der auszufüllenden Formulare, auf der “Frage erstellen Seite”, bei den Probanden zu Unverständnis. Die Fülle an unterschiedlichen Kategorien zum erstellen einer Frage überforderte die Probanden. Auf hinweisende Icons oder Grafiken wird verzichtet.

Auswertung

Online-Befragung mit AttrakDiff und VisAWI

Durchführung

Die Probanden führten den UX-Test zu den Plattformen einzeln durch. Nach jedem Test wurde eine Pause eingelegt, in der die Probanden gebeten wurden, die Online-Befragungen auf AttrakDiff und VisAWI durchzuführen. Die A/B-Tests liefen zu jeder Plattform gleich ab und beinhalteten die gleichen Fragen, sodass die zwei unterschiedlichen Audience Response Systeme miteinander verglichen werden können. Die Ergebnisse wurden nach Abschluss der Testphase und Teilnahme aller Probanden ausgewertet und von eSURVEY in Diagramme umgewandelt, in denen die Unterschiede und Auffälligkeiten visuell dargestellt werden.

Diagramme

AttrakDiff:

Ergebnisüberblick - Portfolio.jpg Das Profil der Wortpaare.jpg


VisAWI:

Diagramm der Mittelwerte.jpg Das Profil der Aussagen.jpg BoxPlot.jpg

Auswertung

Die beiden ARS-Tools haben im Vergleich gut abgeschnitten. Jedoch ist vor allem in der Portfolio-Darstellung von AttrakDiff einsehbar, dass ARSnova eine deutlichere Tendenz dazu hat, moderner und somit begehrter auf die Probanden zu wirken. Pragmatische und hedonische Vorsprünge gegenüber des Konkurrenten stechen hier besonders heraus. Die einfache und praktische Anwendung wurde in beiden Tools gelobt, allerdings ist die Handhabung und Übersichtlichkeit von ARSnova hier deutlich im Vorteil. Nicht nur designtechnisch, sondern auch vom Gefühl, welches die Probanden während der Nutzung verspürten, ist ARSnova immer wieder im Vorsprung gegenüber dem Konkurrenztool. Im Allgemeinvergleich ist hier ersichtlich, dass die erneute Nutzung von ARSnova im Vergleich deutlich höher ist. So liegen beide Tools bei der Auswertung immer nahe beieinander, jedoch wird ersichtlich, dass PINGO im Komplettpaket negativer auffällt.

Im Diagramm der Mittelwerte des Umfrageformates VisAWI führen sich diese naheliegenden Werte weiter. Diese Werte setzen sich zusammen aus den vorangegangenen Aussagen, welche mithilfe der Skala eingeschätzt werden sollten. So gab es in den vier Themenbereichen Einfachheit, Vielseitigkeit, Farbigkeit und Kunstfertigkeit jeweils 4-5 passende Aussagen, die ein Gesamtbild vermitteln sollen. In einer Skala von 1-7, wobei die höchste Zahl für den besten Wert steht, liegen beide Plattformen fast gleichauf. Besonders auffällig sind hier allerdings wieder die Höchstwerte von ARSnova, welche in der Einfachheit und Kunstfertigkeit glänzen und somit einen Gesamteindruck von 4,6 hinterlassen. Das Konkurrenztool PINGO erreicht in der Gesamtwertung eine vergleichsweise niedrige 3,2.

Gewonnene Erkenntnisse

Usability Tweaks

Anhand der UX-Evaluation wurden folgende Usability Tweaks für PINGO und ARSnova erarbeitet, um diese im Nachgang zur Optimierung des Tools zu implementieren:


PINGO:

  1. Mehr Weißraum auf der Session Seite, für die Verständlichkeit
  2. Damit die Seite nicht zu statisch wirkt, wird empfohlen durch Bilder und Grafiken eine ansprechendere Gestaltung zu erzielen
  3. Footer verkleinern & Farbe anpassen
  4. Einfügen einer dynamischen Live Ansicht der Statistiken auf der Ergebnisseite
  5. Einfügen eines eigenen Registrierungs- und Frage erstellen Buttons im Header


ARSnova:

  1. Änderung der Farbwahl, in ein einheitliches THM Design
  2. in den Statistiken sollte zur Abgrenzung von richtigen und falschen Antworten der Button zum Anzeigen der korrekten Antwort zentraler und größer positioniert werden.
  3. Frageseite optimieren: Klare Abgrenzung der Felder zum ausfüllen und Konturen um die Eingabefelder nutzen. Bessere Namensvergabe der einzelnen Eingabefenster und eventuell durch Beispielbilder unterstützen
  4. Für den Dozenten wird ein zentraler Button zum Anzeigen der Statistiken benötigt. Während der Umfrage soll die Statistik sich dynamisch verändern können. Momentan ist dies nur über den Rückweg auf die gestellte Frage möglich und führt zur Verwirrung.


Die Usability Tweaks für ARSnova, wurden als Issues auf der GitLab Projektseite des Particify Teams hinterlegt.

Unter folgendem Link können Sie die Issues einsehen: GitLab-Issues


Tool-Empfehlung

Nach ausgiebiger Analyse und darauffolgender Auswertung der Testergebnisse sind nicht nur die befragten Probanden, sondern auch wir als Gruppe, zu dem Entschluss gekommen, dass - so gut beide ARS-Tools auch funktionieren - ARSnova definitiv am besten abgeschnitten hat. Das Design, die Handhabung und der Spaß während der Benutzung sind eindeutige Faktoren, weswegen ARSnova die vergleichsweise besser bewertete Plattform ist. Nicht zuletzt durch die Ergebnisse der Befragungen, welche in den Diagrammen deutlich zur Geltung kommen, steht das Audience Response System der Firma Particify durchgehend an erster Stelle und ist somit der eindeutige Kandidat für eine Empfehlung.

Die Beta-Version von ARSnova finden Sie hier.

Literatur

Frommann, Uwe (2005): Die Methode "Lautes Denken"

Glossar

Link zu Lautes Denken: Lautes Denken

Usability = Das Ausmaß, in dem ein Produkt, System oder Dienst durch bestimmte Benutzer in einem bestimmten Anwendungskontext genutzt werden kann, um bestimmte Ziele effektiv, effizient und zufriedenstellend zu erreichen.

User Experience (UX) = erweitert den Begriff Usability um ästhetische und emotionale Faktoren wie eine ansprechende, „begehrenswerte” Gestaltung, Aspekte der Vertrauensbildung oder Spaß bei der Nutzung (Joy of use).

Session (PINGO) / Raum (ARSnova): Beschreibt in der Regel eine Veranstaltungsreihe (bspw. eine Lehrveranstaltung) und beinhaltet Fragen bzw. Umfragen zur Veranstaltung.