Seitenhistorie

Bei geschlossenen Aufgabenformaten (Multiple-Choice, Single-Choice, Drop-Down, Drag-and-Drop, etc...) sind die korrekten Antworten immer schon in den Antwortmöglichkeiten enthalten. Prüflinge müssen dann die richtige oder richtigen Antwortoptionen auswählen. Dabei kann kaum verhindert werden, dass Prüflinge bei fehlendem Wissen einfach raten. Maluspunkte sind rechtlich nicht zulässig [1], das Alles-oder-Nichts-Prinzip erschwert die korrekte Beantwortung von Aufgaben überproportional (dazu später mehr). Auf dieser Seite soll einerseits das Problem der Ratewahrscheinlichkeit dargestellt und Lösungsmöglichkeiten vorgestellt und diskutiert werden.

Da die Ratewahrscheinlichkeit nie vollständig eliminiert werden kann, hilft der Blick auf ein anderes Instrument zur Ratekorrektur: die relative BestehensgrenzeNotengrenzen. Während häufig an der vorgeschriebenen Bestehensgrenze der Prüfungsordnung festgehalten wird, kann können diese und weitere Notengrenzen ggf. auch an die Prüfung angepasst werden (dies sollte mit dem Prüfungsbüro Prüfungsausschuss abgeklärt werden bzw. mit der Prüfungsordnung abgesichert werden).

Lukas et. al. (S. 4-9) beschreiben diesen Sachverhalt wie folgt: die beiden Aspekte Kompetenz und Performanz stellen die relevanten Variablen der Prüfungsleistung der Prüflinge dar. Während Prüfer:innen die Kompetenz messen wollen, können Sie nur die beobachtbare Performanz erfassen. Da die statistische Ratewahrscheinlichkeit von geschlossenen Aufgabenformaten bekannt ist, kann anhand dieser eine Anpassung der Bestehensgrenze Notengrenzen vorgenommen werden.

Beherrscht ein Prüfling also 50% der Inhalte und ist bekannt, dass eine Ratewahrscheinlichkeit von 20% vorliegt (entspricht einer richtigen Antwort und vier Distraktoren), so muss dieser 60% der Punkte erreichen, um den gewünschten Kompetenzwert zu demonstrieren. Die Autoren argumentieren jedoch, dass Prüflinge aufgrund von Stress und fehlender Konzentration auch Flüchtigkeitsfehler begehen, sodass das benötigte Ergebnis zum Bestehen auf 57,75% fällt (f = .05). Die Grenzen können für alle Kompetenzlevel und Notengrenzen festgelegt werden. Das adaptive Verschieben der Bestehensgrenze Notengrenze je nach Aufgabentyp und Distraktorenanzahl hilft also dabei, auf die individuelle Prüfung abgestimmte Bestehensgrenzen Notengrenzen zu kreieren, welche trotz der Ratewahrscheinlichkeit bei geschlossenen Aufgaben valide Bewertungsmuster generieren.

Da auch andere Aufgabentypen bzw. andere Parameter verwendet werden (bspw. Anzahl der Distraktoren und richtigen Antworten), muss müssen die Bestehensgrenze Notengrenzen für jede Prüfung und ggf. für jeden Aufgabentyp individuell berechnet werden. Dafür kann bspw. der Online-Rechner von Lukas et. al. genutzt werden: Berechnung ratekorrigierter Notengrenzen (uni-halle.de)

Viele Lehrende nutzen das Alles-oder-Nichts-Prinzip, um die Folgen der Ratewahrscheinlichkeit abzumildern. Studierende müssen hier alle richtigen und keine falschen Antworten auswählen, um die Punkte zu erhalten. Ansonsten werden keine Punkte vergeben.

Die Wahrscheinlichkeit, durch bloßes Raten ausschließlich alle korrekten Antworten zu treffen, ist hier tatsächlich deutlich reduziert. Weitaus stärker wirkt sich in diesem Prüfverfahren jedoch der Flüchtigkeitsfehler aus. Studierende, die alle Inhalte beherrschen (p = 100%), jedoch Flüchtigkeitsfehler im Umfang von 5% (f = .05) tätigen, erreichen in diesem Format nur noch rund 82% der Punkte (Lukas et. al., S. 20). Es besteht kein linearer Zusammenhang mehr zwischen Wissen und Ergebnis. Lukas et. al. (S. 20) zeigen zudem, dass eine hohe Streuung der Ergebnisse vor allem im Bereich von 75% des beherrschten Wissens auftritt. Demnach können Studierende mit gleichem Wissensstand deutlich unterschiedliche Ergebnisse produzieren, je nach demnachdem, wie sich ob das Wissen thematisch geballt oder eher verteilt vorliegt.

Somit wird deutlich, dass das Alles-oder-Nichts-Prinzip die Studierenden erkennbar benachteilt und die Prüfung über den eigentlich gewünschten Effekt der Reduktion der Ratewahrscheinlicht hinaus übermäßig schwieriger wird.