Ratewahrscheinlichkeit

Bei geschlossenen Aufgabenformaten (Multiple-Choice, Single-Choice, Drop-Down, Drag-and-Drop, etc...) sind die korrekten Antworten immer schon in den Antwortmöglichkeiten enthalten. Prüflinge müssen dann die richtige oder richtigen Antwortoptionen auswählen. Dabei kann kaum verhindert werden, dass Prüflinge bei fehlendem Wissen einfach raten. Maluspunkte sind rechtlich nicht zulässig [1], das Alles-oder-Nichts-Prinzip erschwert die korrekte Beantwortung von Aufgaben überproportional (dazu später mehr). Auf dieser Seite soll einerseits das Problem der Ratewahrscheinlichkeit dargestellt und Lösungsmöglichkeiten präsentiert und diskutiert werden.

Geschlossene Aufgabentypen sind im elektronischen Format beliebt, da hier die Antworten der Prüflinge automatisiert ausgewertet werden. Nachteil des Formats ist die äußerst hohe Ratewahrscheinlichkeit.

Jede Antwortoption hat eine Wahrscheinlichkeit von 25%, die korrekte Antwort zu sein. Aufgrund der fehlenden Maluspunkte werden Studierende definitiv eine der Antworten auswählen. Würde eine Prüfung aus 100 SC-Aufgaben mit jeweils einem Punkt bestehen, hätten die Prüflinge daher bereits durch bloßes Raten 25 Punkte und damit bereits die Hälfte der benötigen Punkte zum Bestehen (zumeist 50% Grenze) erreicht [2] . Noch stärker tritt dieser Effekt bei Aufgaben des Typs "richtig - falsch" auf. Hier beträgt die statistische Punkteausbeute im genannten Beispiel durch Raten bereits die erforderlichen 50%.

Die augenscheinliche Lösung dieses Problems wäre die Erhöhung von Antwortmöglichkeiten. Dies führt jedoch zu weiteren Problemen. Einerseits ist die Formulierung von guten Distraktoren komplex. Sobald Distraktoren einfach auszuschließen sind, da sie klar als unplausibel eingeschätzt werden können, verfliegt die gewünschte Wirkung (siehe auch: Test-Wiseness [3]). Andererseits führt die Erhöhung von Distraktoren dazu, dass Studierende weitaus mehr Inhalte lesen müssen. Dies erhöht die Bearbeitungsdauer und die kognitive Belastung. Die Prüflinge müssen mehr Informationen im mentalen Kurzzeitspeicher ablegen. Es stellt sich somit die Frage, welche Kompetenzen die Aufgabe nun eigentlich abfragt. Des Weiteren verringert die Anzahl an Distraktoren zwar die Ratewahrscheinlichkeit, diese wird jedoch nie eliminiert (dies ist bei geschlossenen Aufgaben nie möglich). Somit kann ein bestimmter Prozentsatz an Punkten immer auch auf Raten zurückgeführt werden.

Da die Ratewahrscheinlichkeit nie vollständig eliminiert werden kann, hilft der Blick auf ein anderes Instrument zur Ratekorrektur: die relative Bestehensgrenze. Während häufig an der vorgeschriebenen Bestehensgrenze der Prüfungsordnung festgehalten wird, kann diese ggf. auch an die Prüfung angepasst werden.

Lukas et. al. (S. 5-9) stellen diesen Sachverhalt wie folgt dar: die beiden Aspekte Kompetenz und Performanz stellen die relevanten Variablen der Prüfungsleistung der Prüflinge dar. Während Prüfer:innen die Kompetenz messen wollen, können Sie nur die beobachtbare Performanz erfassen. Da aufgrund der statistischen Kennwerte von geschlossenen Aufgabenformaten bekannt ist, welchen Einfluss diese auf die Performanz der Prüflinge haben, kann anhand der Ratewahrscheinlichkeit eine Anpassung der Bestehensgrenze vorgenommen werden. Beherrscht ein Prüfling also 50% der Inhalte und ist bekannt, dass eine Ratewahrscheinlichkeit von 20% vorliegt (entspricht einer richtigen Antwort und vier Distraktoren), so muss dieser 60% der Punkte erreichen, um den gewünschten Kompetenzwert zu demonstrieren. Die Autoren argumentieren jedoch, dass Prüflinge aufgrund von Stress und fehlender Konzentration auch Flüchtigkeitsfehler begehen, sodass das benötigte Ergebnis zum Bestehen auf 57,75% fällt (f = .05). Das adaptive Verschieben der Bestehensgrenze je nach Aufgabentyp und Distraktorenanzahl hilft also dabei, auf die individuelle Prüfung abgestimmte Bestehensraster zu kreieren, welche trotz der Ratewahrscheinlichkeit bei geschlossenen Aufgaben valide Bewertungsmuster generieren.