Summary
Bachelor students studying business studies have the possibility of independently reviewing the contents of the course "Human Resources Policy" using Blackboard tests. With this they can evaluate their individual level of knowledge. 
The Blackboard homework for "Human resources policy" were developed and implemented in the winter semester of 2017/18. During the semester the participants were provided with self-tests in Blackboard on certain topic areas. Here question types were used that could be automatically evaluated in Blackboard (closed questions). Thereby it was possible for the course participants to receive a comprehensive as well as individual feedback right after they had submitted their answers. Working on the tests is voluntary. The solutions to the questions are discussed in the tutorial. 

Course

Kurzbeschreibung
Bachelor-Studierende der Wirtschaftswissenschaft haben mit Blackboard-Tests die Möglichkeit, Inhalte der Lehrveranstaltung "Personalpolitik" selbständig zu wiederholen und ihren individuellen Wissensstand zu überprüfen.
Die Blackboard-Hausaufgaben für die "Personalpolitik" wurden im Wintersemester 2017/2018 entwickelt und angeboten. Semesterbegleitend wurden den Kursteilnehmer/innen Selbsttests in Blackboard zu abgegrenzten Themengebieten zur Verfügung gestellt. Dabei werden Fragetypen verwendet, die in Blackboard automatisch ausgewertet werden (geschlossene Fragen). Somit ist es möglich, dass die Kursteilnehmer/innen unmittelbar nach dem Absenden ihrer Lösungen ein umfangreiches und individuelles Feedback erhalten. Die Bearbeitung der Tests ist freiwillig. Die Lösungen wurden in der Übung besprochen.

Lehrveranstaltung

...

Tools

• Blackboard -Teststests

Umsetzung

Ziel des Projektes war die Konsequente Einführung online-gestützter Selbstlernformen zur Unterstützung der Tutorien und Übungen (Fokus: Selbstlernkompetenz).
Hintergrund: Um die Studierenden mit einem veränderten Übungs- und Studienkonzept bei ihren selbsttätigen Lernaktivitäten zu unterstützen, haben die Lehrenden nach Möglichkeiten online-gestützter Übungsformen gesucht. Anlass war die unerwartet und kurzfristig auftretende deutliche Vergrößerung der Zahl der Teilnehmer*innen (von ca. 180 Anmeldungen im WS 2016/17 auf über 540 Anmeldungen im WS 2017/18) bei gleichzeitig begrenzten Personalressourcen (1 TZ-Professur, 1 TZ-Mitarbeiter, 1 SHK) und Mitteln (für externe Lehraufträge zur Begleitung der Übungsgruppen).
Die neue Strategie sah folgende Veränderungen vor:

• Die Übung (früher: Vortrag, einzelne Gruppenarbeiten in der Präsenzveranstaltung) ist auf ein Aufgabenblatt-Konzept umgestellt worden, in dem die Studierenden zwischen den Übungseinheiten selbsttätig Aufgaben bearbeiten, deren Lösungen dann auf Lösungsblättern in Blackboard dokumentiert werden. Die Übung selbst diente dann der Vorstellung der Lösungen und der Diskussion auftretender Fragen hierzu (ca. 60-80 TN).→ d.h., dass es mehrere Übungsgruppen gab
• Der zweite Schritt war der Aufbau von Online-Testmodulen, in denen die Studierenden anhand von Fragen in verschiedenen Formaten (Mehrfach-Antworten, Wahr-Falsch, Zuordnung) ihre Kenntnisse überprüfen sollten. Jede Testsequenz beinhaltet unmittelbares Feedback zu der einzelnen Frage, und zwar das Ergebnis sowie eine kurze Erläuterung der richtigen Antwort (s. Abbildung 6 und 7).
• Die Testserie und die Aufgabenblätter sind dann mit einzelnen Übungen offener Frageformate (Transferaufgaben) in einem Webtraining auf Blackboard als Selbstlernangebot eingestellt worden, das sich aus der Kombination Übungsblatt-Test-Lösungsblatt pro Vorlesungseinheit zusammensetzt („klare Strukturierung").
• Abgerundet wird das Online-Angebot durch ein Diskussionsforum, auf dem die Studierenden offene Fragen zu den Inhalten der Veranstaltung einstellen können, die dann zeitnah beantwortet werden. Insgesamt bietet also der Online-Kurs nunmehr neben der klassischen Zurverfügungstellung der Vorlesungsfolien, das Testmodul, die Übungsaufgabenblätter sowie die Lösungen.

Realization

The aim of the project was the consequent introduction of online-supported self-learning formats that backed-up the tutorials and seminars (focus was on: self-learning competencies).
Background: In order to support the students with a changed tutorial and study concept for their independent learning activities, the lecturers looked for possibilities regarding online-supported practice formats. The cause was the unexpected and short-term increase in the number of participants taking the course (from about 180 registrations in the WS 2016/17 to over 540 registrations in WS 2017/18) with at the same time limited human resources (1 part-time professor, 1 part-time academic staff member, 1 student assistant) and funds (for external teaching assignments to accompany the tutored groups). 
The new strategy envisaged the following changes:

• The tutorial (in the past: a lecture, individual group work during the face-to-face session) has been changed to a worksheet concept in which the students individually work on tasks between the actual tutored sessions. Their solutions are documented in Blackboard on solution sheets. The tutorial itself then served the purpose of presenting the solutions and discussing all questions that cropped up here (approx. 60-80 participants). This means that there were several tutored groups.
• The second step was to set up online test modules with which the students are able to check their knowledge with questions of various different formats (multiple choice, true-false, matching). Every test sequence contains direct feedback on the individual questions, including the result as well as a short explanation of the right answer (see Illustrations 6 and 7).  
• The test series and the worksheets were then incorporated into Blackboard as a self-learning unit that included individual tasks focusing on open question formats (transfer tasks) in a web training session. This is made up of the combination worksheet-test-solution sheet for every single lecture unit ("a clear structure").  
• The whole thing is complemented by a discussion forum in which the students can post open questions on the contents of the course which are then answered in a timely manner. All in all, the online course offers the test module, the worksheets as well as solutions in addition to the traditional provision of the lecture slides.

Preparation: The lecturers took part in, amongst others, the CeDiS training course "Blackboard for experts: Tests and surveys". Afterwards they mutually selected fitting question types that could be used and developed individual homework tasks on certain set topic areas.
Activating the tests: The homework tasks developed were provided to the course participants on a successive basis. The activation of each individual unit that had to be worked on orientated itself on the contents taught in the tutorials. It always occurred after the same content-related course of a certain week had taken place. If there are any technical or content-related problems, questions or criticism then the students could at any time contact the supervising teaching assistant via e-mail.   
Currently there are 8 self-learning tests available that all contain between 10 and 15 questions. Thereby various different types of questions are used (Illustrations Vorbereitung: Die Lehrende haben u. a. die CeDiS-Schulung "Blackboard für Fortgeschrittene: Tests und Umfragen" besucht. Anschließend haben sie gemeinsam geeignete Fragetypen ausgewählt und einzelne Hausaufgaben zu abgegrenzten Themengebieten entwickelt.
Freischaltung der Tests: Die entwickelten Hausaufgaben wurden den Kursteilnehmer/innen sukzessive zur Verfügung gestellt. Die Freischaltung einer jeden Bearbeitungseinheit orientierte sich an den in den Übungen vermittelten Inhalten und erfolgte jeweils im Anschluss an die letzte inhaltsgleiche Veranstaltung einer Woche. Bei technischen und inhaltlichen Problemen, Fragen und Kritik konnten sich die Studierenden jederzeit per E-Mail an den betreuenden Teaching Assistant wenden.
Derzeit stehen 8 Selbstlerntest zur Verfügung, die allesamt zwischen 10 und 15 Fragen enthalten. Dabei werden verschiedene Fragetypen verwendet (Abbildungen 1 - 5).

Image Modified

Abbildung1: Testeinheit und Übung Illustration 1: Test unit and exercise in Blackboard 


Image Modified

Abbildung Illustration 2: Testpool WS 2017/18

Image Modified

Abbildung Illustration 3:  Frageformate Question formats (Wahrtrue/Falschfalse) 

Image Modified

Abbildung Illustration 4: Frageformate Question formats (Mehrfachantwortmultiple answers)

Image Modified

Abbildung Illustration 5:  Frageformate  Question formats (Zuordnungmatching) 

Image Modified

Abbildung Illustration 6: Beispiel Feedback Test (TestfrageExample feedback test (test question) 

Image Modified

Abbildung Illustration 7:  Abbildung 6: Beispiel Feedback Test (EssayfrageExample feedback test (essay question)

Image ModifiedAbbildung

Illustration 8: Blackboard Notencentergrade center. Evaluation der einzelnen Tests of the individual tests

Image ModifiedAbbildung

Illustration 9: Blackboard Notencentergrade center. Evaluation der einzelnen Tests (Essayfrage)Die Klausur wird mit einem hohen Multiple-Choice-Anteil im E-Examination-Center durchgeführt, so dass es nicht zu einem Bruch der Formate zwischen Test und eigentlicher Prüfung kommt.

Erfahrungen des Lehrenden

of the individual tests (essay questions)

The exam takes place at the e-examination center and contains a high percentage of multiple choice questions so that there is no difference (format-wise) between the tests on Blackboard and the actual final exam. 

Experiences made by the lecturer

All in all, the lecturers have had positive experiences with the suitability and usability with the instruments that were implemented. This allows for working directly with the test module in the next upcoming course. On the one hand, the existing test questions can be used again and, on the other hand, further improvements and tweaks can be undertaken. These modifications are easily done as there are extensive evaluation possibilities when it comes to the quality of the questions.   
In the current course the online assignments are an "emergency solution" as there is only a limited number of staff resources that can cater for the course. The concept was therefore introduced during the ongoing course. 8 out of 12 units were able to be produced and therefore not all of the content of the lecture is available yet (the focus of the course - human resources policy and fields of activity - has, though, been produced). During the trial phase a lot of advantages were shown that can be used for the improvement of the basic course on a long-term basis. If enough staff and preparation time is available the concept can easily be extended and can, for example, be directly intertwined with the contents of the lecture. The binding character of the test completion can be increased which was voluntary during the test phase. Due to this resources for high-maintenance learning support (question time, group work) and other teaching formats are set free.    
From a lecturers' point of view, the basic concept has become well-established with regard to the content-related structure, didactic realization and with a view to the format. The concept was, after a very hesitant starting period (the first evaluation of the lecture if such an offer was preferred to the traditional tutorial resulted in only a dozen students selecting the new model over the old), accepted on a very positive note. What helped here was that the web training was promoted during the lecture by regularly placing questions in the format of a direct survey Insgesamt sind die Lehrenden von der Tauglichkeit der Instrumente überzeugt, was für die nächste Veranstaltung ein direktes Arbeiten mit dem Testmodul ermöglicht. Einerseits können die vorhandenen Testfragen wiederverwendet werden, andererseits können weitere Verbesserungen und Ergänzungen vorgenommen werden. Diese Modifikationen werden auch erleichtert, da es umfangreiche Auswertungsmöglichkeiten der Fragequalität gibt.
In der aktuellen Veranstaltung waren die Online-Aufgaben als kurzfristige „Notlösung" gedacht, um mit begrenzten Personalressourcen dennoch die Veranstaltung abwickeln zu können. Das Konzept wurde also während der laufenden Veranstaltung eingeführt. Es konnten 8 von 12 Einheiten und damit noch keine durchgängige Abdeckung aller Vorlesungsinhalte entwickelt werden (wohl aber im Schwerpunkt der Veranstaltung, den Handlungsfeldern der Personalpolitik). In der Erprobungsphase haben sich viele Vorteile gezeigt, die bei der Verbesserung der Grundlagenveranstaltung dauerhaft genutzt werden können. Bei entsprechender personeller Ausstattung und zeitlichem Vorlauf kann das Konzept auch in erweitert werden und beispielsweise unmittelbar mit den Vorlesungsinhalten verknüpft werden. Auch die Verbindlichkeit der Testabsolvierung kann erhöht werden, die in der Erprobungsphase freiwillig waren. Auf diese Weise können auch Ressourcen für betreuungsintensivere Lernunterstützung (Fragestunden, Gruppenarbeiten) und andere Lehrformate freigesetzt werden.
Aus Sicht der Lehrenden hat sich das Grundkonzept in der inhaltlichen Strukturierung, didaktischen Durchführung und auch in Bezug auf das Format bewährt. Das Konzept ist nach anfänglichem Zögern (bei der ersten Abfrage in der Vorlesung, ob ein solches Angebot gegenüber der klassischen Übung bevorzugt würde, hat nur rund ein Dutzend der Studierenden das Format ausgewählt), sehr gut aufgenommen worden. Dazu hat auch beigetragen, dass das Webtraining in der Vorlesung beworben wurde, indem regelmäßig dort auch Fragen in der Form der Direktumfrage (http://invote.de/) platziert wurden, um die Studierenden an das Online-Format heranzuführen. Wichtig war auch, dass die Testeinheiten zeitnah an den Vorlesungen orientiert waren. Zugleich ermöglicht der Online-Test aber auch für die Studierenden in der Vorbereitungsphase auf die Klausur ihr Wissen zu prüfen. Auch in der Lehrphase gibt es mehr Flexibilität bei der Bearbeitung der Testeinheiten als in der zeitlich und räumlich gebundenen Übung.
Zentrale Lernerfahrungen der Lehrenden bestehen in der Auswahl geeigneter Frageformate, die sich für einen Online-Test eignen (Wahr-Falsch-Formate, einfache Auswahlen), und die Nützlichkeit des unmittelbaren Feedbacks, dass den Testteilnehmenden unmittelbar angezeigt wird. Zudem konnte auch die Qualität der Fragen (einfach, mittel, schwer) und die Tauglichkeit ausgewertet werden, was für die Klausurstellung hilfreich ist.
Ein positiver Nebeneffekt war, dass auch das in vorherigen Veranstaltungen derselben Vorlesung verwaiste Diskussionsforum angenommen worden ist (insgesamt 21 Posts von vorher 0!). Nachteilig ist, dass von der Möglichkeit die Essayaufgaben in einem offenen Format online zu üben nur begrenzt Gebrauch gemacht worden ist (5-8 Abgaben), obwohl es auch hier eine Lösungsskizze gab. Hier müsste in Zukunft über andere Formen der Übung nachgedacht werden (etwa mid-term exams) bzw. überlegt werden, ob die Lösung nur angezeigt wird, wenn der Test auch durchgeführt wird. Allerdings ist zu beachten, wie diese abgewickelt werden können (vergleichsweise hoher Arbeitsaufwand, mit Bewertung oder ohnein order to introduce the students to the online format. What was also important was that the test units were closely oriented to the lectures taking place. At the same time, the online tests allowed the students to test their knowledge during the preparatory phase for the exam. Also, during the teaching phases there is more flexibility when it comes to working on the test units than in the limited time and space of the tutorial. 
The pivotal learning points for the lecturers were the selection of suitable question formats that are fitting for an online test (true-false questions, simple selection of the right answer) and the usability of the direct feedback that is immediately posted to the participants. In addition, the quality of the questions being posed (simple, medium level, expert) and the suitability of these was also evaluated which was of a big help for setting the questions for the final exam. 
A positive side effect was also the fact that the quite deserted discussion forum of past days was reactivated (altogether 21 posts in comparison to 0 beforehand!). A negative point: the possibility of working on the essay tasks in an open format for everyone to see was only used on a limited basis (5-8 tasks) even though there was a solution sheet provided here as well. In the future we will have to consider other formats for the tutorial (i.e. mid-term exams) or if the correct answer is only displayed if the test has actually been completed. Here we have to see how this can be stemmed and worked out (it is a comparative high level of work being undertaken, if there is an evaluation or feedback given or none at all). 

Further information

• Blackboard -Tests und -Umfragentests and surveys

Support offered by CeDiS

• Consulting services for the implementation of digital solutions in teaching: The Center for Digital Systems (CeDiS) has extensive experience of many years when it comes to the implementation of digital media and systems within the fields of teaching, learning and research. We offer a wide variety of consulting services on the implementation of these tools and systems within the entire academic scope and especially at Freie Universität Berlin. 
• Training courses and workshops: For lecturers at Freie Universität Berlin (professors, employees, tutors) as well as lecturers of other universities CeDiS offers training courses and workshops on the topic of teaching and learning with digital media. These course enable participants to implement online elements within their own sphere of teaching.
• The Executive Board of the Freie Universität supports e-learning initiatives: With the e-learning funding program financial resources are provided to lecturers that enrich and improve their courses quality-wise by implementing technological and media-related support. All of the academic staff teaching, the lecturers or even the institutions of the Freie Universität - without the Charité-Universitätsmedizin - can be supported within this program.