Anhand der Prüfungsanalyse können Sie die Qualität Ihrer Prüfung und der einzelenen Aufgaben in Betracht ziehen. So erkennen Sie Optimierungspotenziale sowohl für die Planung Ihrer Lehrveranstaltungen als auch für die Konzeption Ihrer kommenden Prüfungen.
In der Prüfungsanalyse sind Informationen zu den Prüfungsergebnissen (allgemein und nach Themen) sowie zu den Schwierigkeitsgrad der verschiedenen Aufgaben.
1 Übersichtsseite der Prüfungsanalyse
Loggen Sie sich in die LPLUS-TestStudio Seite ein.
1. Nachdem Sie sich eingeloggt haben, können Sie im oberen Menüband auf die Option "Auswertung" klicken.
2. Wählen Sie nun den Reiter "Prüfungsanalyse".
Nun können Sie mit den folgenden Filtern Ihre Prüfung auswählen und analysieren lassen.
3. Wählen Sie hier die Lizenz Ihrer Prüfung aus. Ihre Haupt- und Nachprüfungen werden unter einer Lizenz mit (mehreren) Fächern auf der Prüfungsplattform angelegt.
4. Wählen Sie das gewünschte Fach in Ihrer Prüfung aus. Jedes Fach beinhaltet eine Prüfung, daher wird beispielsweise die Hauptprüfung (HK) unter einem Fach und die Nachprüfung (NK) in einem anderen Fach angelegt. Es kann immer nur ein Fach ausgewählt werden, wenn Sie mehrere Fächer analysieren wollen, muss jedes Fach getrennt ausgewählt und analysiert werden.
5. Hier wählen Sie Ihren Standort (Fachbereich) aus.
6. Wenn gewünscht, wählen Sie hier einen Zeitraum, in dem Ihre Prüfung stattgefunden hat, aus.
7. Mit einem Klick auf Analysieren kann die Analyse Ihrer Prüfung beginnen. Unter Zurücksetzen können alle zuvor getroffenen Einstellungen zurückgesetzt werden.
8. (Optional) Unter Laufende Prüfungen berücksichtigen werden die Prüfungen, die aktuell noch durchgeführt werden, in der Analyse inkludiert.
9. (Optional) Klicken Sie auf Muster für Farbschwäche anzeigen, um barrierearme Grafiken anzeigen lassen.
10. Unter dem Reiter Prüfungsanalyse werden nach der Prüfungsanalyse diverse Diagramme angezeigt, die nachfolgend näher erläutert werden.
11. Unter dem Reiter Aufgaben-Details werden zusätzlich zu den Diagrammen noch detailliertere Informationen zur Prüfungsanalyse angezeigt. Weitere Informationen folgen unten.
12. In diesem Bereich werden die Grafiken und weitere Informationen der Analyse abgebildet.
13. Mit einem Klick auf Unter Prüfungsanalyse & Aufgaben-Details können Sie im Drop Down Feld eine der beiden Optionen, die Sie exportieren wollen, auswählen und unter 14 Exportieren herunterladen.
2 Prüfungsanalyse durchführen
Allgemeines zu den Diagrammen
Manche Diagramme sind nur bei ausgewählten Fragetypen sinnvoll - bspw. Distraktoren Analyse: Wenn die Prüfung nur aus Freitextaufgaben besteht, benötigt man diese nicht. Für MC- bzw. SC-Aufgaben sowie für Ordinalskalen ist sie wiederum sinnvoll.
Übersicht der Analyse-Diagrammen
Detailbeschreibung der Diagramme
1. Durchschnittliches Prüfungsergebnis - in diesem Diagramm sehen Sie die durchschnittlich erreichte Punktzahl der Teilnehmenden - in diesem Fall 43,45 Punkte in grün von insgesamt 60 Punkten.
2. Durchschnittliche benötigte Zeit pro Prüfung - in diesem Diagramm wird die durchschnittlich verwendete Zeit in 5-Minuten-Intervallen dargestellt. Bewegen Sie den Mauszeiger auf dem Diagramm, um den genauen Wert anzuzeigen.
3. Streuung der Prüfungsergebnisse - die y-Achse zeigt die Anzahl der Kandidat:innen und die x-Achse die erreichten Punkte in Prozent bezogen auf das Prüfungsergebnis. Die roten Punkte stehen für jeden Prüfling und mit einem Klick auf einen Punkt können Sie sich den Wert für den ausgewählten Punkt anzeigen lassen, hier 90.41% erreichter Prozentwert und 196 erreichte Punkte.
4. Durchschnittliches Ergebnis pro Thema werden alle Themen der Prüfung (links) und die durchschnittlich erreichten Prozentpunkte (Balken) für jedes Thema aufgeführt. Bewegen Sie den Mauszeiger auf einen der Balken, um den Prozentwert für das Thema zu erfahren.
5. Verteilung der Aufgaben nach Aufgabenschwierigkeit - es wird nach drei Schwierigkeiten unterschieden und grafisch dargestellt: grün für leichte Aufgaben, gelb für mittelschwere Aufgaben und rot für schwere Aufgaben.
Die Zuteilung der Aufgaben zu den jeweiligen Schwierigkeitsstufen erfolgt folgendermaßen:
- leichte Aufgaben wurden zu 80-100% von den Studierenden korrekt beantwortet
- mittelschwere Aufgaben wurden zu 20-80% von den Studierenden korrekt beantwortet
- schwere Aufgaben wurden von weniger als 20% der Studierenden korrekt beantwortet
Bewegen Sie den Mauszeiger auf dem Kreisdiagramm, um zu erfahren, wie viele Aufgaben der ausgewählten Schwierigkeitsstufe zugeteilt wurden.
6. Aufgabenschwierigkeit vs. Trennschärfe - Die Aufgabenschwierigkeit beschreibt die Lösungshäufigkeit einer Aufgabe und kann Werte zwischen 0 und 1 annehmen. Eine Aufgabenschwierigkeit von 0 besagt, dass kein Prüfling die Aufgabe gelöst hat. Ein Wert von 1 besagt, dass die Aufgabe von allen Prüflingen gelöst wurde. Aufgaben mit einem Wert zwischen 0.8 und 0.2 differenzieren gut zwischen den Merkmalsausprägungen der Prüflinge für diese Aufgabe.
Die Trennschärfe hingegen gibt an, wie gut eine Aufgabe das Gesamtergebnis der Prüfung repräsentiert. Die Trennschärfe nimmt Werte zwischen -1 und +1 an. Ein Item mit hoher Trennschärfe (≥ 0.30) zeigt, dass das Item eine gute Korrelation mit der Gesamtprüfung hat.
Klicken Sie auf einen der roten Punkte, um weitere Informationen zu erhalten.
7. Gesetzte Bestehensgrenze und vorgeschlagene Bestehensgrenze - Für dieses Diagramm gibt es wenige Einsatzszenarien. Wenn Ihre Prüfung ausschhlieslich aus Single Choice-Aufgaben* (Aufgaben, bei denen nur eine Antwort ausgewählt werden soll) besteht, wird in diesem Diagramm die vorgeschlagene Bestehensgrenze unter Berücksichtigung der Ratenwahrscheinlichkeit für die richtige Antwort angezeigt.
Das Diagramm ist variabel veränderbar. Über das Eingabefeld lässt sich für die Berechnung der vorgeschlagenen Bestehensgrenze eine Fehlertoleranz (Werte von 0,00 - 1,00) vorgeben. Um die Änderung im Eingabefeld zu übernehmen, muss hier derzeit auf Enter gedrückt werden.
Bei der Legende über dem Diagramm können die Graphen (Gesetzte Bestehensgrenze / Vorgeschlagene Bestehensgrenze) mit einem Klick auf das rote oder grüne Feld ausgeschlossen werden und werden nicht mehr angezeigt. Um diese Aktion rückgngig zu machen, klicken Sie erneut auf das jeweilige Feld.
*Leider werden bisher die Single Choice-Aufgaben mit Responsive-Format (SC-Aufgaben, die je nach Bildschirmgröße anders dargestellt werden) nicht berücksichtigt. Dieser Umstand soll in Kürze im kommenden Release der Prüfungsplattform behoben werden.
In diesem Diagramm wird die gesetzte Bestehensgrenze (q) im Vergleich zu einer vorgeschlagenen Bestehensgrenze (Gkorr (q)) gezeigt.
Die vorgeschlagene Bestehensgrenze wird anhand der Ratewahrscheinlichkeit (g) berechnet. Die Ratewahrscheinlichkeit hängt von der Anzahl der Antwortoptionen ab. Zum Beispiel: In einer Aufgabe mit nur 4 Antwortoptionen ist es leichter, die richtige Antwort zu erraten, als in einer Aufgabe mit 8 Antwortoptionen. Die vorgeschlagene Bestehensgrenze ist daher bei Prüfungen mit Aufgaben mit wenigen Antwortoptionen höher als bei Prüfungen mit vielen Antwortoptionen, wo die Ratewahrscheinlichkeit geringer ist.
Über das Eingabefeld lässt sich für die vorgeschlagene Bestehensgrenze eine Fehlertoleranz (in Prozent) (f) vorgeben. Je höher die Fehlertoleranz ist, desto niedriger die vorgeschlagene Bestehensgrenze wird.
Eine eingegebene Fehlertoleranz wirkt zusammen mit der Ratewahrscheinlichkeit auf die Berechnung der vorgeschlagenen Bestehensgrenze (grüne Linie).
Berechnung der vorgeschlagenen Bestehensgrenze (grüne Linie)
Formel: Gkorr (q) ∶= (g + q * (1 − f − g))
Gkorr (q) ∶= korrigierte Bestehensgrenze als Anteil an der maximalen Punktzahl
q ∶= ursprüngliche Notengrenze als Anteil an der maximalen Punktzahl (z. B. q = 0.50 für das Bestehen) (die Rote Linie in der Grafik)
g ∶= 1/m, Ratewahrscheinlichkeit bei m-vielen Antwortalternativen
f ∶= Fehlertoleranz in Prozent (z.B. F = 0.2) (4)
Berechnung des Wertes bei (5)
q ∶= 0,5
g ∶= 1/4 bzw. 0,25 da es bei der Bsp. Klausur nur SC Aufgaben mit jeweils 4 Antwortmöglichkeiten gibt
f ∶= 0.20 (4)
Gkorr (q) ∶= (g + q * (1 − f − g))
Gkorr(q):= (0,25 + 0,5 * (1-0,2-0,25))
Gkorr(q):= (0,25+0,5 * (0,55))
Gkorr(q):= (0,25 + 0,275)
Gkorr(q):= 0,525
8. Top 5 - Aufgaben mit der längsten Bearbeitungszeit - Das Diagramm enthält die durchschnittliche (rot) und die erwartete Bearbeitungszeit (blau) als Balken dargestellt - die erwartete Zeit bestimmt das System nach den Punkten der jeweiligen Aufgabe. Zum Beispiel, für eine Aufgabe mit 2 Punkten ist die erwartete Bearbeitungszeit 2 Minuten. Bewegen Sie die Maus über einen der Balken, um genauere Angaben zu erhalten.
9. Bearbeitungszeit und Lösungshäufigkeit - für eine ausgewählte Aufgabe wird die durchschnittliche Bearbeitungszeit in Sekunden und Lösungshäufigkeit in Prozent links angezeigt. Um zwischen den Aufgaben zu wechseln, klicken Sie auf das Drop Down Feld oben rechts. Bei Aufgabe 9 wurden beispielsweise 120 Sekunden durchschnittlich zum Lösen der Aufgabe benötigt und ca. 64% der Teilnehmenden gab die korrekte Antwort.
10. Attraktoren und Distraktoren Analyse (für MC- und SC-Aufgaben) - Mithilfe des Drop Drop Feldes oben rechts kann die Aufgabe ausgewählt werden. Im Diagramm werden die Trennschärfe links und die Auswahlhäufigkeit rechts in unterschiedlichen Farben angezeigt für alle Attraktoren und Distraktoren (unten).
Als Attraktoren werden richtige Antwortmöglichkeiten einer geschossenen Aufgabe (selected response) bezeichnet.
Als Distraktoren werden falsche Antwortmöglichkeiten einer geschlossenen Aufgabe (selected response) bezeichnet.
11. Der Name des Diagramms steht immer oben links, z.B. Durchschnittliches Prüfungsergebnis
12. Mit einem Klick auf die Pfeile kann man die Grafik vergrößern beziehungsweise auf dem kompletten Bildschirm anzeigen lassen.
3 Aufgaben-Details
Neben der grafischen Darstellung (Diagramme) besteht zusätzlich die Möglichkeit, eine tabellarische Übersicht zu generieren.
1 Klicken Sie auf Aufgaben-Details neben dem Feld Prüfungsanalyse, um die tabellarische Übersicht zu erhalten.
2 Es werden Spalten mit Informationen und Auswertungsdaten zu Ihrer Prüfung angezeigt. Welche Spalten angezeigt werden sollen und die Anzahl dieser kann rechts oben verändert werden.
3 Unter dem Namen jeder Spalter befindet sich ein Feld, in dem Sie Aufgaben filtern können, in dem Sie beispielsweise angeben, wie viele Aufgaben angezeigt werden sollten oder welche Art von Aufgabentyp angezeigt werden soll.
4 Mit den Pfeilsymbolen können Sie die Aufgaben alphabetisch sortieren (A-Z oder Z-A).
5 Bei einigen Aufgabentypen kann es vorkommen, dass keine Angaben bzw. Auswertung erfolgen kann. Bei einem Lückentext (Cloze) beispielsweise werden nicht alle der seitens der Studierenden eingegebenen Antworten angezeigt. Auch werden keine Werte bei der Auswahlhäufigkeit angegeben, da es bei diesem Aufgabentyp keine vorgegebene Auswahlmöglichkeit gibt.
