MC-Tests und Lernquiz

Aus THM-Wiki
Wechseln zu: Navigation, Suche

Multiple Choice (MC) bezeichnet eine Art der Fragestellung, in der die richtige Antwort nicht selbst zu erstellen ist, sondern unter einer Auswahl mehrerer Lösungen auszuwählen ist.

Theorie

Hinweis: Der Inhalt des folgenden Kapitels bezieht sich oft auf Guidelines zur Konstruktion von MC-Aufgaben und wird deshalb nicht explizit gekennzeichnet.

Was sind die Kennzeichen einer MC-Frage?

Schematischer Aufbau einer Multiple Choice-Aufgabe

Eine MC-Frage besteht aus 3 Teilen: dem Aufgabenstamm, der Frage und den Antwortoptionen, die aufgeteilt sind in richtige und falsche Antworten (Distraktoren).

Der Aufgabenstamm leitet für gewöhnlich die Frage ein, indem das Problem erläutert wird. Danach folgt die Frage, die auf die Lösung des Problems zielt. Den Abschluss stellen die Antwortoptionen. Falsche Antworten werden als Distraktoren bezeichnet.

Welche Arten von MC-Fragen gibt es?

MC-Fragen können in verschiedene Kategorien eingeteilt werden. Zum einen lässt sich Faktenwissen abfragen, zum anderen Anwendungswissen.

In beiden Gruppen lassen sich die Antworten in den Typ "forced choice" oder "multiple choice" einteilen. Forced choice bezeichnet, dass es nur eine einzige richtige (oder beste) Antwort gibt. Multiple choice hingegen, dass mehrere richtige Antworten existieren. Mehr dazu unter Antwortstile.

Faktenwissen

Bei der Abfrage von Faktenwissen wird lediglich Gelerntes geprüft. Eine Kontrolle, ob die Domäne verstanden wurde, ist hier nicht gegeben, d. h. Kenntnisse über Hintergründe oder Zusammenhänge werden hier nicht gefordert. Man bezeichnet Faktenwissen auch als "statisches Wissen".

z. B.: Welche Zugriffsmodifikatoren kennt Java?

Anwendungswissen

Bei der Abfrage von Anwendungswissen wird überprüft ob der Hintergrund einer Domäne verstanden wurde. Anders als beim Abfragen des Faktenwissen reicht es hier nicht, zur Lösung einer Aufgabe, Auswendig gelerntes wiederzugeben. Vielmehr wird getestet, ob das Gelernte auch anwendbar ist indem man den Kandidat dazu auffordert ggfs. das Problem zu zerlegen und durch Lösung der Teilprobleme das ursprüngliche Problem zu lösen. Anwendungswissen wird auch als "dynamisches Wissen" bezeichnet.

z.B.: Welche Zugriffsmodifikatoren würden Sie, aufgrund der gegebenen Situation, benutzen?

Diese Fragen setzen einen einleitenden Aufgabenstamm voraus, der den Kandidat in das Umfeld des Problems versetzt und zwingt den Hintergrund einer Antwort zu verstehen.

Vor- und Nachteile

Vorteile

  • Der wohl größte Vorteil einer MC-Frage liegt in der Einfachheit ihrer Korrektur.
  • Die Lernwirksamkeit eines MC-Tests kann durchaus als gut bezeichnet werden. Jedoch richtet sich diese maßgeblich nach der Art des Feedbacks (s.u.).
  • Eine MC-Frage erleichtert das Textverständnis einer Frage für Kandidaten. Da MC-Fragen aus klaren Sätzen bestehen sollten verringert es den Umstand, dass der Kandidat die Frage nicht versteht oder falsch interpretiert.

Nachteile

  • Einer der größten Nachteile einer MC-Frage liegt darin, dass sie keine kreative Komponente beinhaltet. Das Erbringen selbstständig erarbeiteter Lösungen kann durch diesen Typ nicht gefordert werden, was bei Essay-Test-Aufgaben gefordert wird.
Bernhard Jacobs schreibt hierzu: "Essay-Test-Aufgaben sind vornehmlich angebracht, um die eigenständige Strukturierung, Organisation, Integration und Bewertung des Wissens sowie das Finden und Darstellen kreativer Ideen anzuregen bzw. zu überprüfen." [0]
  • Einen weiteren Nachteil stellt die Möglichkeit dar die richtige Lösung unter den gegebenen Antworten zu erraten. Obwohl der Kandidat keine Ahnung hat besteht die Wahrscheinlichkeit, dass er richtig tippt. Auch schlecht ausgewählte Distraktoren vergünstigen diesen Fall.
Bernhard Jacobs schreibt hierzu: "Eine sehr gut konzipierte Short-Answer-Aufgabe (Anm.: Aufbau ähnlich einer MC-Aufgabe, jedoch ohne Antwortoptionen) kann einer Multiple-Choice-Aufgabe überlegen sein, da dann ebenfalls eine objektive Auswertung möglich ist, das Problem der Ratewahrscheinlichkeit entfällt und gelegentlich anspruchsvollere Wissensfragen gestellt werden können. Bei identischen Lehrzielen erhöht eine Short-Answer-Aufgabe die Aufgabenschwierigkeit gegenüber einem MC-Aufgabenformat." [1]

Wie sollten MC aufgebaut sein?

Fragestile

Die Frage einer MC-Aufgabe kann auf verschiedene Weise gestellt werden. Hauptsächlich unterscheidet man zwischen:

  • Frage als Frage
  • Frage als unvollständiger Satz

Bei der Variante "als Frage" ist die Frage in sich abgeschlossen und die korrekte Lösung besteht aus einer Antwort. Bei der Variante "als unvollständiger Satz" beginnt die Frage als Satz der durch die Antworten zu einer Lösung zu vervollständigen ist.

z.B.: Durch die Nutzung des Bridge-Musters... ...lassen sich Abstraktion und Implementierung unabhängig voneinander entwickeln.

Die Möglichkeit zur Angabe eines Aufgabenstammes muss nicht nur durch einen erläuterten Text bestehen. Bilder eignen sich hier ebenfalls.

Antwortstile

Wie bei den Fragen können die Antworten auch auf verschiedene Weisen gestellt werden.

  • Eine Antwort ist die Richtige.
  • Eine oder mehrere Antworten sind richtig.
  • Eine Antwort ist die Beste.

Die Variante "eine Antwort ist die Beste" zielt darauf ab, dass der Kandidat aufgrund der gegeben Situation die bestmöglichste Lösung wählt.

Auswertungsverfahren

Eine MC-Frage kann unter Umständen auch mehrere richtige Antworten enthalten. Um die Qualität der Lösung zu bewerten gibt es zwei verschiedene Ansätze:

Für jede richtige Antwort einen oder mehrere Punkte und...
  • für falsche Antworten keinen Abzug.
  • für falsche Antworten einen oder mehrere Punkte Abzug.

Letztere Variante versucht dem Raten der Antwort entgegenzuwirken, da für den Kandidaten die Möglichkeit besteht durch Raten nicht nur die richtige Antwort anzukreuzen, sondern auch die Gefahr birgt Punktabzüge zu erhalten.

Was ist bei dem Erstellen der Aufgaben zu beachten?

  • Das Problem sollte so klar und verständlich formuliert werden, dass der Kandidat auch ohne Ansehen der Antwortoptionen die Lösung benennen könnte. Dazu sollte nach der klaren Situationsbeschreibung eine Frage ohne Umschweife formuliert werden. Außerdem sollte beachtet werden, dass die Frage positiv gestellt wurde. Ist dies nicht möglich ist die Negation hervorzuheben.
z.B.: Welche Antwort trifft nicht zu?
  • Aussagen wie immer, nie, alle sollten vermieden werden um den Distraktor nicht gleich zu entlarven. Dennoch sollte die Antwort eindeutig sein. Es ist ebenfalls sinnvoll gleiche Teile der Antworten in der Frage zu formulieren.
z.B.:
nicht:
Was ist die korrekte Definition des Musters Composite?
a) Das Composite-Muster erlaubt den Clients, individuelle Objekte und Zusammensetzungen von Objekten auf gleiche Weise zu behandeln.
b) Das Composite-Muster erlaubt den Clients, das Verhalten zur Laufzeit zu ändern.
c) Das Composite-Muster erlaubt den Clients, auf Elemente sequentiell zuzugreifen, ohne die zu Grunde liegende Implementierung zu offenbaren.
sondern:
Was ist die korrekte Definition des Musters Composite? Das Composite-Muster erlaubt den Clients,...
a) ...individuelle Objekte und Zusammensetzungen von Objekten auf gleiche Weise zu behandeln.
b) ...das Verhalten zur Laufzeit zu ändern.
c) ...auf Elemente sequentiell zuzugreifen, ohne die zu Grunde liegende Implementierung zu offenbaren.
  • Die Distraktoren sollten möglichst homogen im Aufbau sein. Dazu zählt eine einheitliche Textlänge und Abstammung aus einem verwandten Themengebiet. Besteht die richtige Antwort aus einer umfangreicheren Formulierung gilt dies oft als Tipp zur Lösung.

Weitere Hinweise befinden sich in Guidelines zur Konstruktion von MC-Aufgaben. Eine Checkliste findet man unter Prüfungsfragen für Multiple-Choice Tests erstellen.

Feedback bzw. Musterlösung

Ein Multiple Choice-Test ermöglicht es das Wissen des Kandidaten auf eine einfache Weise festzustellen. Jedoch sollte ein Test auch Feedback geben, was der Kandidat gewusst bzw. nicht gewusst hat, um eine Lernwirksamkeit zu erzielen. Für den Kandidaten ist es von großem Vorteil wenn er an den Anschluss des Testes eine Korrektur bekommt. Dies kann darin bestehen, das er mitgeteilt bekommt wie viele richtige Antworten er abgegeben hat. Es ist jedoch viel hilfreicher ihn darauf hinzuweisen welche Fehler er gemacht hat, so dass es ihm dadurch ermöglicht wird seine Fehler gezielt zu beseitigen.

Dies lässt sich durch zwei Weisen erreichen:

  • durch Musterlösungen
  • oder durch gezieltes Feedback.

Bei einem gezielten Feedback ist es möglich erläuternde Hinweise zur der Lösung bzw. den Distraktoren zu geben.

Anwendung

MC als Klausurvorbereitung bzw. Training

Eine interessante Art des MC-Test stellt die Anwendung dessen in einer Probeklausur dar. Wichtig ist dabei nach dem Test ein Feedback zu geben, damit die Teilnehmer eine Einschätzung ihres Wissens vornehmen können.

Eine Testklausur kann die Teilnehmer steuern sich auf die richtigen Themen vorzubereiten indem der Fragekatalog die Themen der eigentlichen Klausur abdeckt. Jedoch ist nicht gewährleistet, dass man dadurch die Angst vor der Klausur nimmt. Eine Untersuchung findet man unter Die Wirkung einer Probeklausur auf Lernleistung und aktuelle Angst in einer echten Klausur.

Durch die Einfachheit der Korrektur bietet der MC-Test aber eine Möglichkeit während des Semesters eine Art Zwischenklausur durchzuführen, um z.B. Sonderpunkte zu vergeben oder den Teilnehmern eine Unterstützung während der Lernveranstaltung zu geben.

Anwendungsgebiete im Studiengang Informatik

Durch ihre Vor- und Nachteile eigenen sich MC-Aufgaben nicht in allen Gebieten. Nachfolgend soll ein kleiner Überblick über geeignete und weniger geeignete Bereiche gegeben werden.

Wo macht es Sinn:

  • MC-Test eigenen sich hervorragend überall dort wo Anwendungs- und Fachwissen abgefragt werden soll.
    • Welches Muster ist abgebildet?
    • Welcher Entwurf ist vorzuziehen?
    • Was versteht man unter xyz?

Wo macht es keinen Sinn:

  • Nicht geeignet sind Gebiete deren Lösungen kreative Ansätze erfordern.
    • Schreiben sie ein C-Programm, dass xyz macht.
  • Desweiteren bei Aufgaben, die man in Teilschritten lösen kann, es aber nur auf die Endlösung ankommt. Ein kleiner Dreher und man ist auf dem falschen Weg. Hier bietet es sich an die Lösung in Abschnitte zu unterteilen und dafür Teilpunkte zu geben.
    • Mathematikaufgaben
    • Was macht der vorliegende Code? (bei komplexeren Ausschnitten)

Auszüge einiger Prüfungsordnungen

Laut der Rahmenordnung für die Diplomprüfung im Studiengang Informatik – Fachhochschulen der Kultusministerkonferenz §6.1 - Arten der Prüfungsleistungen sind "Prüfungen nach dem Multiple-Choice-Verfahren sind in der Regel ausgeschlossen".

Schaut man in einigen Prüfungsordnungen der Hochschulen nach, so werden MC-Tests in einigen ausgeschlossen, in einigen teilweise erlaubt oder erst gar nicht erwähnt. Die Diplomprüfung zum schweizerischen Informatik Zertifikat (nicht zu vergleichen mit dem deutschen Dipl.-Inf.) sieht sogar ein explizite Prüfung mittels eines MC-Tests vor.

Hier ergibt sich also kein einheitliches Bild.

MC-Tests als Übungen und Leistungskontrolle

Eine positivere Einstellung gegenüber MC-Test lässt sich bei der Anwendung in Übungen und Leistungskontrollen feststellen. In zahlreichen Abhandlungen werden MC-Tests für Übungszwecke empfohlen. Diese lassen es zu eine Einschätzung der Teilnehmer in ihrem bisherigen Lernerfolg zu treffen. Gerade in Wiederholungsphasen bietet es sich an einen MC-Test gemeinsam zu bearbeiten und in der Diskussion zu klären warum bzw. warum die Antwort nicht die Frage löst. MC-Tests werden auch gerne benutzt um eine schnelle Gruppeneinteilung zu erreichen, so dass sich stärkere und schwächere Teilnehmer mischen lassen.

Vor allem bei automatisierten Tests werden sie Aufgrund ihrer einfachen Umsetzung bevorzugt. In diesem Zusammenhang finden sich auch vorgefertigte Systeme, die die Erstellung und Korrektur bereitstellen. Ein Beispiel neben den Lernquiz von eStudy bietet EduComponents: LlsMultipleChoice.

Eine Gegenüberstellung der Eignung von Aufgabenarten in automatisierten Tests kann man in der Dissertation Gestaltungs- und Einsatzkonzeption multimedialer (interaktiver) Lehr- und Lernumgebungen von Felisberto Singo entnehmen:

Multiple – Choice - Antworten Antwort ist in Vorgabe enthalten.

Sind einfach zu gestalten, bergen aber die Gefahr des Ratens seitens des Lernenden.

Lückentexte Antwort ist selbst zu formulieren.

Zeitaufwendiges Programmieren wegen der Syntaxanalyse und Mustererkennung.

Zuordnung von Wörtern und Bildern Überprüfung komplexer Lernziele.

Einfache Benutzbarkeit und Fehleranalyse. Spielerische Seite wirkt motivierend.

Da Übungen ein nicht unwesentlicher Bestandteil der Lehre sind (verfestigen des bereits behandelten Stoffes) werden MC-Tests hier durchaus empfohlen.

Beispiele einiger selbst mitgeschriebenen MCs.

Nachfolgend werden Auszüge aus MC-Klausuren des Fachbereichs Informatik an der FH-Giessen dargestellt. Neben Beispielen die Faktenwissen prüfen sind auch solche Fragen abgebildet, die Anwendungswissen behandeln. (Kein Anspruch auf Korrektheit der Antworten.)

Fazit

MC-Tests werden oft als zu trivial für anspruchsvollere Tests abgestempelt. Jedoch lassen gut gemachte Tests auch Rückschlüsse auf tieferes Verständnis zu. Dazu ist es natürlich erforderlich, neben dem Faktenwissen, auch Anwendungswissen abzufragen. Gut gemachte MC-Tests sind nicht einfach zu erstellen, da sie auf den vielen vorgestellten Faktoren beruhen.

Für manche Gebiete sind MC-Test weniger geeignet und dort sind entsprechende Aufgabentypen zu benutzen. Jedoch bieten MC-Tests eine gute Begleitung noch während der Vorlesung, indem sie schnelle Unterstützung bieten welche Themen gut verstanden bzw. noch nicht gefestigt sind. Dies ist auf beiden Seiten, der des Lehrenden und der des Studierenden, möglich. Als besonderen Punkt ist das E-Learning anzuführen. Durch ihr Wesen lassen sich MC-Test auf einfache Weise in elektronischer Art umsetzen. Dies bietet die Möglichkeit auch außerhalb der Vorlesung Hilfe und Materialien zur Selbstkontrolle bereitzustellen.

Siehe auch

(schöne Checkliste zur Erstellung von MC-Tests)

Quellen

[0] http://www.phil.uni-sb.de/FR/Medienzentrum/verweise/psych/aufgaben/essayguide.htm

[1] http://www.phil.uni-sb.de/FR/Medienzentrum/verweise/psych/aufgaben/shortguide.htm

[2] http://de.wikipedia.org/w/index.php?title=Multiple_Choice&oldid=15319407

[3] http://www.phil.uni-sb.de/~jakobs/wwwartikel/probeklausur/index.htm

[4] http://www.kmk.org

[5] http://hsss.slub-dresden.de/pub2/dissertation/2003/erziehungswissenschaften/1022057564750-4153/1022057564750-4153.pdf

Anhang

Präsentationsfolien

Handout und Thesen