Versionen im Vergleich
Schlüssel
- Diese Zeile wurde hinzugefügt.
- Diese Zeile wurde entfernt.
- Formatierung wurde geändert.
Inhaltsverzeichnis
Inhalt | ||||
---|---|---|---|---|
|
Formulierung einer Fragestellung
Am Anfang einer empirischen Studie steht eine Theorie oder Fragestellung, die gleichzeitig einen roten Faden für Studienaufbau und Fragebogengestaltung vorgibt. Daraus werden Hypothesen abgeleitet. Daher ist schon beim Formulieren der Fragestellung besondere Sorgfalt geboten, die sich an folgendem Beispiel gut veranschaulichen lässt.
Beispiel: Formulieren einer Fragestellung „Lohnt es sich, viel Zeit auf die Vorbereitung auf Statistik-Klausuren zu verwenden?“ – das könnte eine typische Fragestellung im Umgang mit Statistik sein. Und obwohl vielleicht die eine oder der andere diese Frage klar für sich beantworten kann, ergeben sich bei näherer Betrachtung doch einige Schwierigkeiten.
Zunächst ist schon die Wahl des Studienobjekts bzw. die Wahl der Fragestellung eine sehr subjektive Handlung. Und da gerade die Statistik versucht, möglichst objektiv Zusammenhänge aufzudecken, ist die Motivation dieser Wahl klar herauszustellen. Eine weitere Frage ist dann zum Beispiel, was sich „lohnt“. Und eine andere wie viel Zeit „viel Zeit“ ist. Also ist es notwendig die Frage zu spezifizieren, und hier treffen wir schon auf die zweite subjektive Auswahl: „Führt mehr eingesetzte Zeit zu besseren Ergebnissen?“ könnte eine Spezifikation sein. Aber es gibt sicherlich noch zahlreiche weitere, die genauso richtig oder falsch sind. Zum Beispiel könnte man unter eingesetzter Zeit auch die Vor- und Nachbereitung von Vorlesungen verstehen, die Diskussion mit Kommilitonen, die Verarbeitung im Schlaf etc. Von dieser eher abstrakten Ebene ist es dann notwendig, diese Begriffe zu operationalisieren. D.h. es stellt sich die Frage danach, was „messbar“ bzw. „beobachtbar“ ist. Hier könnte die Wahl auf die Zeit der Klausurvorbereitung und die Vor- und Nachbereitung von Vorlesungen in Stunden fallen. Gleiches sollte für den Lernerfolg geschehen. Das ist ein sehr abstrakter Begriff, und es stellt sich generell die Frage, ob er gemessen werden kann. Ideen hierzu sind die erreichte Note, die erreichten Punktzahlen oder aber eine Selbsteinschätzung.
Wir wollen nun jedoch versuchen die oben genannte Frage zu beantworten. Dazu stellen wir zum einen eine Hypothese auf, die ganz klar überprüft werden kann: „Je mehr Zeit aufgewendet wird, desto besser die Note“. Nun fehlt noch die Definition der Note: „Zusammenfassung von erreichten Punkten“. Aus dieser Vorarbeit lässt sich nun endlich eine Erwartung an die tatsächlichen Zahlen formulieren: „Die eingesetzte Lernzeit ist (positiv) korreliert mit der erreichten Anzahl von Punkten“.
Dies sollte keinesfalls zum Abbruch des Forschungsvorhabens führen, sondern uns dazu bewegen einen Blick zurück in die Theorie zu werfen. Was gibt es denn für Faktoren, die den Lernerfolg beeinflussen? Da wären die aufgewendete Zeit, Veranlagung, Vorwissen, Intelligenz usw. All diese Faktoren haben einen positiven Effekt auf den Lernerfolg. Das Verhältnis zwischen diesen Faktoren ist anderer Natur: Meist wenden Personen, die eine hohe Intelligenz besitzen, weniger Zeit fürs Lernen auf, als diejenigen, die eine geringere Intelligenz besitzen. Dieses Verhältnis ist also negativ. Gleiches gilt für das Verhältnis der Veranlagung und aufgewendeter Zeit bzw. des Vorwissens und aufgewendeter Zeit. Es wäre also eine Möglichkeit, unsere bisherige Hypothese zu erweitern und eine der oben genannten Faktoren mit aufzunehmen: „Die eingesetzte Lernzeit ist, bedingt durch das Niveau des IQs, (positiv) korreliert mit der erreichten Anzahl von Punkten“. Die folgende Grafik zeigt uns, dass wir diesmal mit unserer Hypothese goldrichtig liegen.
Wir lernen also daraus, dass Statistik alleine faszinierende Ergebnisse produziert: „Lernen lohnt sich nicht!“ Rückschlüsse aus statistischen Analysen führen schnell in die Irre, wenn sie nicht durch theoretische Vorüberlegungen motiviert sind oder durch theoretische Überlegungen hinterfragt werden. |
---|
Es bleibt festzuhalten:
Eine empirische Arbeit sollte mit einer Forschungsfrage beginnen. Diese wird zuerst durch die Theorie beantwortet, und daraus wiederum Hypothesen abgeleitet. Meist sind mehrfache Revisionen der Hypothesen notwendig, bis daraus überprüfbare Hypothesen geworden sind. Es folgt die Operationalisierung („Messbar- bzw. Beobachtbarmachung“) von Zielgrößen und daraus die Wahl des geeigneten statistischen Verfahrens. Auch der Studienaufbau orientiert sich an den aufgestellten Hypothesen, ebenso die Erhebungsmethode und letztendlich die Erhebung selber. Datenaufbereitung, Auswertung, die Darstellung und Interpretation der Ergebnisse ergeben sich dann zwangsläufig aus den Vorarbeiten.
Die vorgestellten Überlegungen sind unabdingbar für die erfolgreiche Planung und Durchführung einer Umfrage. Diese benötigen nämlich das zeitgleiche Durchdenken der Entwicklung der Fragestellung, der Erhebungsphase und der Analysephase. Auch wenn es schwer fällt, an die Datenauswertung zu denken, bevor überhaupt die erste Information erhoben wurde – genau dies sollte getan werden.
Studienplanung
Aus den zuvor angedachten Schritten lassen sich folgende Fragen für die Studienplanung ableiten:
- Welche Informationen sollen erfasst werden?
- Wer wird befragt?
- Wie viele Personen werden befragt?
- Wie kann ich diese erreichen?
- …
Es lohnt sich außerdem, schon im Vorhinein über mögliche Schwächen der erhobenen Daten nachzudenken. Man kann sich zum Beispiel fragen, über wen man Aussagen machen kann, wenn man die Personen wirklich erreicht, die man gerne erreichen möchte. Gleichzeitig ist es eine Überlegung wert, ob man schon einen möglichen Selektionsbias entdecken kann, d.h. ob es Mechanismen gibt, die dafür sorgen, dass nur eine ganz spezielle Gruppe von Menschen erreicht wird. Die Schlüsse, die man anhand dieser Daten zieht, gelten in dem Fall nur für diese ganz spezielle Gruppe von Menschen und nicht für die Allgemeinheit. Bei einer statistischen Erhebung ist es im Idealfall möglich, eine Zufallsstichprobe aus der Grundgesamtheit zu ziehen, über die Aussagen gemacht werden sollen. Damit ist es meist gewährleistet, dass die Stichprobe in Bezug auf zahlreiche Merkmale der Grundgesamtheit sehr ähnlich ist. Trifft dies nicht zu, wie es bei selbsterhobenen Daten oft der Fall ist, ist eine gängige Lösung eine sogenannte Randanpassung an soziodemografische Merkmale. Das bedeutet, dass die Beobachtungen der Stichprobe auf eine bestimmte Art und Weise gewichtet werden, so dass sie repräsentativ für die entsprechende Grundgesamtheit ist. Obwohl diese Methode gut geeignet ist, mögliche Verzerrungen der Stichprobe auszugleichen, empfiehlt es sich, durch sorgfältige Planung einer Erhebung, Verzerrung von vornherein zu vermeiden.
Ein weiteres Thema, welches die Qualität der Daten beeinträchtigen kann, sind fehlende Werte. Auch hier ist es sinnvoll, bereits frühzeitig über Ausfallmechanismen nachzudenken, d.h. was zum Fehlen von Werten führen könnte wie z.B. das zufällige Übersehen einer gesamten Frage oder strukturelle Verweigerung des Beantwortens einzelner Fragen. Hierzu kann es durch nicht eindeutige Fragen kommen oder durch Fragen, die ungern beantwortet werden wie z.B. die Frage nach dem Einkommen.
Einflüsse auf Antwortverhalten
Selbst wenn die Umfrage theoretisch gut geplant ist, gibt es immer noch Faktoren wie Abbruch, willkürliches Antwortverhalten und Antworttendenzen, die die Vollständigkeit und Validität von Daten gefährden. Sie werden durch zahlreiche „Befindlichkeiten“ der Respondenten verursacht (ein Überblick findet sich in der angehängten Exceltabelle bzw. auf dem Blog von INWT mit anschaulichen Beispielen. Im Folgenden wird auf drei ausgewählte Einflüsse detailliert eingegangen:
Überforderung tritt aufgrund von schwierigen Wissensfragen auf. Auch missverständliche Fragen können durch Doppeldeutigkeit, Mehrdimensionalität und Fachausdrücke Überforderung verursachen. Einen ähnlichen Effekt haben offene Fragen, zu denen die Befragten keine Idee haben, sich aber verpflichtet fühlen, eine Antwort zu geben. Auch geschlossene Fragen ohne "Weiß nicht"-Kategorie können überfordernd wirken. Fragen zu weit zurückliegenden Ereignissen sind ebenso schwierig zu beantworten.
Beispiele: Fragen, die zur Überforderung führen können
Problem: Es stellt sich die Frage, ob mit den Randkategorien "vorsichtig" und "optimistisch" zwei Pole einer Dimension getroffen sind. Eindeutigere Gegensatzpaare sind "vorsichtig" und "unvorsichtig" bzw. "optimistisch" und "pessimistisch". Außerdem ist eine neutrale Kategorie sinnvoll, um Häufungen in der nichtssagenden „weiß nicht/ keine Angabe“ Kategorie zu vermeiden. Tatsächlich gibt es Fälle, in denen zunächst mit den Polen "optimistisch" und "pessimistisch" gearbeitet wurde. Im Pre-Test stellte sich heraus, dass die Skala nicht voll ausgeschöpft wird. Eine Erklärung dazu ist, dass der Begriff "pessimistisch" negativ konnotiert ist und sich daher kaum ein/e Respondent/in als "Pessimist" benennen will. Um die Skala besser auszunutzen wurde der Pol "vorsichtig" als Alternative zu "pessimistisch" gewählt.
2. Unkonkrete Zeitangabe Problem: Der Ausdruck "zukünftig" ist unkonkret. Zukunft könnte sowohl als der nächste Monat, als auch als die kommenden 10 Jahre interpretiert werden, sodass sich die Einschätzungen schon auf Grund unterschiedlicher Interpretation unterscheiden könnten.
3. Ungenaues Intervall Problem: Was bedeutet "regelmäßig": wöchentlich, monatlich, jährlich? Wie wäre z.B. ein jährlicher Kontakt im Kontext der Frage zu bewerten? |
---|
Frustration tritt oft aufgrund von fehlenden Antwortoptionen oder falscher Navigation auf. Nicht selten sind bei geschlossenen Fragen die Antwortoptionen unvollständig (z.B. wenn nach Retourengründen gefragt wird und z.B. die Variante „Artikel gefällt nicht“ fehlt) oder wenn die Filterführung durch den Fragebogen für nicht bedachte Fälle in eine Sackgasse führt. Dies könnte eintreten, wenn z.B. in einer Kundenzufriedenheitsbefragung nach den Erfahrungen mit der telefonischen Hotline gefragt wird, ohne dass vorher über eine Filterfrage sichergestellt wurde, dass der Kunde diese genutzt hat. In beiden Fällen wird der/die Respondent/in entweder zu falschen Antworten genötigt, um die Befragung fortsetzen zu können oder er/sie bricht frustriert ab.
Verzerrte Antworten durch Bequemlichkeit werden hauptsächlich durch die Reihenfolge der Fragen bzw. der Antworten verursacht. Hierbei können folgende Effekte auftreten: "Primacy" - Antwortkategorien die zu Beginn genannt werden, werden bevorzugt ausgewählt. "Satisficing" - Die befragte Person wählt die erste Antwort aus, die in etwa ihren Ansichten entspricht, ohne sich alle Antwortkategorien angehört/angesehen zu haben. "Recency" - Zuletzt genannte Antworten werden am besten erinnert. Außerdem gibt es eine so genannte "Tendenz zur Mitte" bzw. eine "Tendenz nach links" (letztere ist - nach einigen Studien - insbesondere auf Likert-Skalen (siehe Beispiel) zu beobachten und steht in Zusammenhang mit der Schreibrichtung).
Beispiel: Likert-Skala
Die Antwortmöglichkeiten sind ordinal skaliert, d.h. die Ablehnung oder Zustimmung ist absteigend oder aufsteigend angeordnet, ohne dass die Abstände interpretierbar sind. |
---|
Anhänge | ||||
---|---|---|---|---|
|
Info | ||
---|---|---|
| ||
Beispielfrage ist angelehnt an Frage F065 aus GESIS - Leibniz-Institut für Sozialwissenschaften (2015): Allgemeine Bevölkerungsumfrage der Sozialwissenschaften ALLBUS 2014. GESIS Datenarchiv, Köln. ZA5240 Datenfile Version 2.1.0, doi:10.4232/1.12288. |
Info | ||
---|---|---|
| ||
Beispielfrage ist angelehnt an an Frage F001 aus GESIS - Leibniz-Institut für Sozialwissenschaften (2015): Allgemeine Bevölkerungsumfrage der Sozialwissenschaften ALLBUS 2014. GESIS Datenarchiv, Köln. ZA5240 Datenfile Version 2.1.0, doi:10.4232/1.12288. |
Info | ||
---|---|---|
| ||
Beispielfrage entspricht Frage F009 aus GESIS - Leibniz-Institut für Sozialwissenschaften (2015): Allgemeine Bevölkerungsumfrage der Sozialwissenschaften ALLBUS 2014. GESIS Datenarchiv, Köln. ZA5240 Datenfile Version 2.1.0, doi:10.4232/1.12288. |
Info | ||
---|---|---|
| ||
Beispielfrage ist ein Teil der Frage F074 aus GESIS - Leibniz-Institut für Sozialwissenschaften (2015): Allgemeine Bevölkerungsumfrage der Sozialwissenschaften ALLBUS 2014. GESIS Datenarchiv, Köln. ZA5240 Datenfile Version 2.1.0, doi:10.4232/1.12288. |
Befragungstyp
Eine wichtige Vorüberlegung ist, mit welchem Instrument die Befragung durchgeführt werden soll. Neben dem persönlichen Interview stehen telefonische oder postalische Befragung sowie internetbasierte Umfragen zur Verfügung. Alle Instrumente haben Vor- und Nachteile, die im Folgenden besprochen werden.
Generell richtet sich die Wahl des Befragungstyps nach folgenden Punkten:
- Anzahl der vorgesehenen Studienteilnehmer (persönliches Interview bei sehr großer Teilnehmerzahl nicht adäquat)
- Studienziel
- Studienpopulation
- Zugang zu Studienteilnehmern (Patienten in einem Krankenhaus können besser per „Stationsbesuch“ befragt werden, Umfragen zur Verbrauchererwartung werden über einen Internetlink erreicht)
- Länge / Dauer der Befragung
- notwendige Informationen (muss der Teilnehmer noch Unterlagen heraussuchen?)
- Ressourcen (Zeit, Budget, Personal)
Generell spielen sowohl inhaltliche als auch organisatorische Rahmenbedingungen eine Rolle bei der Entscheidung, welcher Befragungstyp am besten geeignet ist. Daher müssen neben der inhaltlichen Gestaltung auch folgende Eigenschaften beachtet werden.
Die Rücklaufquoten unterscheiden sich erheblich zwischen den Befragungstypen. Wenn also nur wenige potentielle Studienteilnehmer zur Verfügung stehen, wird ein Befragungstyp mit einer möglichst hohen Rücklaufquote gewählt, auch wenn der Aufwand hoch ist.
Ebenfalls muss überlegt werden, wie viel Zeit für die Datenerhebung per Fragebogen zur Verfügung steht. Die benötigten Zeiträume für Vorbereitung und Durchführung variieren zwischen den Befragungstypen stark.
Zusätzlich kann überprüft werden, ob die Zugabe von Incentives – ein Anreiz, der zur Teilnahme motiviert – sinnvoll und möglich ist, um die Teilnahmebereitschaft zu erhöhen. Je nach Befragungstyp stehen unterschiedliche Arten von Incentives zur Verfügung. Im Umgang mit Incentives ist allerdings Vorsicht geboten, da es durch die unterschiedlichen Bedürfnisse der Studienteilnehmer und somit der unterschiedlichen Teilnahmebereitschaft zu Verzerrungen der Ergebnisse kommen kann (Personen ohne Geld nehmen evtl. eher an einer Umfrage mit einem Gutschein als Incentive teil als Personen mit Geld. Wenn sich dann die inhaltlichen Antworten zwischen diesen beiden Gruppen unterscheiden, kommt es zu verzerrten Ergebnissen).
Nicht zuletzt wird auch schon bei der Wahl des Befragungstyps festgelegt, auf welchem Weg die erhobenen Daten in einer Datentabelle abgelegt werden. Werden die Daten bereits während der Befragung elektronisch erfasst (Internetumfrage, Eingabe während Interview), dann bereitet dieser Schritt kaum Probleme. Bei einer Datenerfassung auf Papier sollte überlegt werden, wer die Daten eingibt, und ggf. muss eine entsprechende Eingabemaske entwickelt werden.
Es wird unterschieden zwischen den folgenden Befragungstypen:
Persönliches Interview
Telefonische Befragung
Schriftliche Befragung
Internetbasierte Befragung
Selektionsbias
Bei der Auswertung der Daten muss auch über eine mögliche Verzerrung nachgedacht werden, den sogenannten Selektionsbias. Was unterscheidet die (freiwilligen) Teilnehmer/-innen von denen, die ihre Teilnahme verweigern? Meist spielt die Motivation eine große Rolle bei der Teilnahmeentscheidung. Personen, die sich für das Studienziel interessieren, haben eine größere Teilnahmebereitschaft als nicht interessierte Personen. Die Erhöhung oder Herausstellung der Motivation kann die Teilnahmebereitschaft erhöhen. Aber auch der Zeit- und Arbeitsaufwand im Verhältnis zur verfügbaren Zeit nimmt großen Einfluss. Ein Patient/eine Patientin im Krankenhaus, der/die über seine eigene Krankheit befragt wird und sich vielleicht im Krankenhaus langweilt, wird einer Befragung vermutlich zustimmen. Ein/e Manager/Managerin, der/die über sein Einkaufsverhalten im Supermarkt befragt werden soll, wird vermutlich eher nicht zustimmen. Diese Verzerrung kann in keinem Befragungstyp ausgeschlossen werden und muss in jeder Arbeit thematisiert werden.
Darüber hinaus kann es auch eine Selektion geben, weil nicht alle Personen die gleiche Chance hatten, überhaupt um Teilnahme gebeten zu werden. So kann eine Internetumfrage nur von Personen mit Zugang zum Internet ausgefüllt werden und auch nur von solchen Personen, die von dieser Umfrage erfahren haben (E-Mail-Verteiler, soziale Netzwerke). Wo stammen die Adressen für postalische Umfragen her? Wie viele Personen gehören noch zur Studienpopulation, die keinen Brief erhalten haben? Dies sind Fragen, die immer im Hinterkopf behalten werden sollten.
Fragentypen
Wenn Sie sich für einen Befragungstyp entschieden haben, kommt die Phase der konkreten Gestaltung des Fragebogens. Dazu gilt es zunächst den richtigen Fragentyp für die entsprechende Fragestellung zu finden. Im Folgenden soll kurz darauf eingegangen werden, welcher Fragentyp für welche Frage geeignet ist. Dabei ist zu beachten, dass die Typen sich nicht immer klar voneinander abgrenzen, sondern vielmehr fließend ineinander übergehen.
Geschlossene Fragen / offene Fragen (Freitext)
Prinzipiell bietet es sich an, hauptsächlich geschlossene Fragen zu verwenden. Das erleichtert zum einen den Respondenten die Beantwortung der Frage. Es hat sich gezeigt, dass offene Fragen generell seltener ausgefüllt werden – insbesondere wenn umfangreichere Antworten abgefragt werden. Zum anderen erleichtert es die standardisierte Auswertung. Die Sichtung einer umfassenden Sammlung von Freitextkommentaren nimmt viel Zeit in Anspruch. Des Weiteren lassen sich die Ergebnisse selten zusammenfassen bzw. nur mit einer großen Portion Subjektivität. Offene Fragen können jedoch sinnvoll sein, wenn vorgegebene Kategorien zu Verzerrungen führen können wie bspw. bei Fragen zur Vergangenheit oder schwierig einzuschätzendem Verhalten z.B. „Wie reagieren Sie, wenn Sie einen Überfall aus der Straße beobachten?“. Bei geschlossenen Fragen sollten Sie trotz aller Vorteile die Antwortoptionen (u.a. auch im Rahmen von qualitativen Voruntersuchungen und dem Pre-Test) sorgfältig auswählen.
Geschlossene Frage
Two-choice / Multiple-choice
Wenn es um die Formulierung einer geschlossenen Frage geht, ergeben sich die Antwortoptionen zu einem Großteil aus der Information, die mit Hilfe der Frage gewonnen werden soll. Geht es bspw. darum, die Impfungen eines Tieres anzugeben, dann sollte es natürlich so viele Antwortmöglichkeiten geben, wie es interessierende Impfungen gibt. Dennoch besteht bei anderen weniger eindeutigen Fragestellungen immer ein gewisser Spielraum in Bezug auf die Anzahl an Antwortmöglichkeiten. Man unterscheidet hier zwischen so genannten „two-choice“ Fragen und „multiple-choice“.
Natürlich hängt die Verständlichkeit der Frage immer auch davon ab, wie prägnant die Formulierung der einzelnen Antwortoption ist. Generell aber sind two-choice-Fragen meist leichter zu verstehen. Die Entscheidung zwischen ja oder nein / liegt vor oder liegt nicht vor etc. ist einfacher zu treffen, als bspw. Abstufungen eines Gefühls anzugeben, wie es bei multiple-choice-Fragen der Fall sein kann.
Des Weiteren ist es möglich zwischen Einfach- und Mehrfachauswahl zu unterscheiden. Auch dies regelt sich allerdings zumeist über die Fragestellung. Falls es möglich ist, mehrere Antworten anzukreuzen, sollte dies in der Frageneinleitung kurz erwähnt werden.
Wichtig ist, dass jede Respondentin und jeder Respondent eine Antwortmöglichkeit finden sollte, die ihr oder ihm entspricht. Daher ist es ratsam in einigen Fällen die Kategorie „trifft nicht zu“ mit aufzunehmen.
Two-choice
Multiple-choice mit Mehrfachantworten
Natürlich ist es anhand der zweiten Frage möglich, umfassendere Informationen über eine Person zu gewinnen. Ist aber in der Studie lediglich die Tatsache von Interesse, ob die betreffende Person einen solchen Kurs besucht hat, dann sollte nur die erste Frage verwendet werden. Sie ist einfacher zu beantworten und hält die Länge des Fragebogens so kurz wie möglich.
In Bezug auf die Auswertung teilen two-choice-Fragen die Befragten in zwei Gruppen. Eine typische Fragestellung einer Untersuchung kann sein, ob sich die Häufigkeit eines bestimmten Merkmals in den Gruppen unterscheidet. Zum Beispiel könnte man anhand von zwei two-choice-Fragen feststellen, ob eine befragte Person raucht und ob sie Sport treibt. Anhand der Häufigkeiten der unterschiedlichen Kombinationen lässt sich dann feststellen, ob es zwischen den beiden Merkmalen einen Zusammenhang gibt, d.h. ob Personen, die rauchen, weniger oft Sport treiben bzw. umgekehrt. Mit einer multiple-choice-Frage lassen sich mehr als zwei Gruppen identifizieren. Auch hier kann man einen Zusammenhang zwischen der Gruppenzugehörigkeit und einem anderen Merkmal herausfinden. Bei Mehrfachantworten kann es allerdings aufgrund von verschiedenen Kombinationsmöglichkeiten schnell zu einer sehr großen Anzahl an Gruppen kommen.
Eine Frage, an der sich die Geister scheiden, ist, ob "Weiß nicht" als Antwortkategorie angeboten werden sollte. Aus der Praxis ist bekannt, dass "Weiß nicht", "keine Angabe" oder auch „trifft nicht zu“ durchaus von einigen Respondenten/Respondentinnen angekreuzt wird, wenn diese Option angeboten wird. Dies hilft potentieller Überforderung oder Frustration entgegen zu wirken. Nur in speziellen Fällen sollten Sie die Befragten zu einer inhaltlichen Antwort zwingen, indem Sie die "Weiß nicht"-Kategorie weglassen. Wird zu häufig eine inhaltliche Antwort gefordert, erhöht dies die Datenqualität nur vermeintlich, da diese Technik zu Lasten der Validität geht.
Ratingfragen/ Skalenfragen
Ratingfragen sind eine spezielle Art der multiple-choice-Fragen. Hier wird die befragte Person aufgefordert, eine Antwort zwischen den zwei Extremen einer Skala auszuwählen, also bspw. einen Wert zwischen schlecht und gut oder wenig bis viel zu wählen. Die unten aufgeführte Frage ist eine Ratingfrage. Hier kann eine Antwort von Zustimmung bis Ablehnung gewählt werden. Likert-Skalen (siehe Beispiel: Likert-Skala) sind eine typische Form der Ratingfrage.
Ratingfrage
Bei der Konzipierung dieser Fragen ist Vorsicht geboten. Besteht eine Ratingfrage aus drei Antwortkategorien, ist die abgefragte Variable eindeutig als ordinal einzustufen. D.h. es wird nicht davon ausgegangen, dass zwischen den einzelnen Ausprägungen die gleichen Abstände liegen. Dennoch lassen sie sich in eine Reihenfolge bringen. Besitzt eine Frage fünf oder sieben Antwortkategorien verhält es sich anders. Hier sollte vor der statistischen Auswertung entschieden werden, ob das abgefragte Merkmal als metrisch (Abstände zwischen den Kategorien sind gleich) oder als ordinal (Abstände zwischen den Kategorien müssen nicht gleich sein/ können nicht interpretiert werden; man kennt nur die Reihenfolge) angesehen werden kann. Je nach Entscheidung darüber lassen sich unterschiedlich mächtige statistische Analysen durchführen. Wenn davon auszugehen ist, dass die Befragten ihre Einstellung so detailliert bestimmen können, dann sollte die Ratingfrage mit sieben Ausprägungen den anderen vorgezogen werden. Dies erleichtert nachfolgend die Analyse. (Material zur Diskussion: Paper Likert Controversy ). Ein interessanter Aspekt ist auch, ob die Anzahl der Wahlmöglichkeiten gerade oder ungerade ist. Bei gerader Anzahl existiert meist keine neutrale Kategorie und die Befragten werden zu einer inhaltlichen Aussage gezwungen. Das kann in einigen Situationen wünschenswert sein. In anderen führt es vielleicht zu Verzerrungen, da eine neutrale Haltung ja durchaus auftreten kann und dann im Fragebogen natürlich auch Platz finden sollte.
Rankingfrage
Image Modified
Natürlich zeigt sich an diesen einfachen Beispielen bereits die Herausforderung der Fragebogengestaltung. Denn eventuell würden Sie lieber die ausführlichere multiple-choice-Frage beantworten, da Ihnen die two-choice-Antworten zu restriktiv sind. Andererseits ist bei der multiple-choice-Frage nicht ganz klar, was eher zustimmen bzw. eher nicht zustimmen bedeutet. Hier besteht die Gefahr, dass Personen, die eigentlich der Aussage in gleichem Ausmaß zustimmen, zwei unterschiedliche Antworten ankreuzen. Im Prinzip wäre eine ausführliche Erklärung der Antwortkategorien vonnöten – natürlich ein Ding der Unmöglichkeit.
Folgefragen
In der Praxis taucht nicht selten die Situation auf, dass eine bestimmte Frage nur für bestimmte Personen sinnvoll ist. Beispielsweise ist es nur sinnvoll, eine Person nach der Anzahl der Mitarbeiter, für die er verantwortlich war, zu befragen, wenn die entsprechende Person überhaupt für andere Mitarbeiter verantwortlich war.
Um diesem Problem vorzubeugen, werden die Fragen aufeinander aufgebaut, sodass tatsächlich nur die Personen die Frage bekommen, die auch betroffen sind. Vorweg steht eine sogenannte Filterfrage, die die entsprechende Charakteristik abfragt. Je nach Antwort auf diese Frage werden dann andere folgende Fragen angezeigt oder nicht.
Folgefrage: Beispiel mit den Mitarbeitern
Image Added
Eine solche Filterführung lässt sich bei Onlineumfragen problemlos umsetzen. Bei Papierfragebögen sollte darauf geachtet werden, dass die Navigation durch den Fragebogen übersichtlich bleibt. Verwirrende Filterführungen können im schlimmsten Fall zu einem Abbruch der Umfrage führen.
Aufgrund der obigen Erläuterungen sollten Sie nun in der Lage sein, den passenden Frage- und Antworttyp zu wählen. Es schadet der Umfrage nicht, wenn Sie mit unterschiedlichen Frage- und Antworttypen arbeiten. Im Gegenteil, auf diese Weise schaffen Sie Abwechslung und wirken Langeweile entgegen.
Info | ||
---|---|---|
| ||
Beispielfrage entspricht Frage F018 aus GESIS - Leibniz-Institut für Sozialwissenschaften (2015): Allgemeine Bevölkerungsumfrage der Sozialwissenschaften ALLBUS 2014. GESIS Datenarchiv, Köln. ZA5240 Datenfile Version 2.1.0, doi:10.4232/1.12288. |
Info | ||
---|---|---|
| ||
Beispielfrage entspricht Frage F007C aus GESIS - Leibniz-Institut für Sozialwissenschaften (2015): Allgemeine Bevölkerungsumfrage der Sozialwissenschaften ALLBUS 2014. GESIS Datenarchiv, Köln. ZA5240 Datenfile Version 2.1.0, doi:10.4232/1.12288. |
Info | ||
---|---|---|
| ||
Beispielfrage angelehnt an Frage F007D aus GESIS - Leibniz-Institut für Sozialwissenschaften (2015): Allgemeine Bevölkerungsumfrage der Sozialwissenschaften ALLBUS 2014. GESIS Datenarchiv, Köln. ZA5240 Datenfile Version 2.1.0, doi:10.4232/1.12288. |
Info | ||
---|---|---|
| ||
Beispielfrage ist ein Teil von Frage F056 aus GESIS - Leibniz-Institut für Sozialwissenschaften (2015): Allgemeine Bevölkerungsumfrage der Sozialwissenschaften ALLBUS 2014. GESIS Datenarchiv, Köln. ZA5240 Datenfile Version 2.1.0, doi:10.4232/1.12288 |
Info | ||
---|---|---|
| ||
Beispielfrage ist ein Teil von Frage F069 aus GESIS - Leibniz-Institut für Sozialwissenschaften (2015): Allgemeine Bevölkerungsumfrage der Sozialwissenschaften ALLBUS 2014. GESIS Datenarchiv, Köln. ZA5240 Datenfile Version 2.1.0, doi:10.4232/1.12288 |
Info | ||
---|---|---|
| ||
Beispielfrage entstammt aus Internationale Sozialwissenschaftliche Umfrage 2013, Nationale Identität im Anschluss an GESIS - Leibniz-Institut für Sozialwissenschaften (2015): Allgemeine Bevölkerungsumfrage der Sozialwissenschaften ALLBUS 2014. Fragebogendokumentation. GESISDatenarchiv, Köln. ZA5240 Datenfile Version 2.1.0, doi:10.4232/1.12288. |
Codierungsplan
Vor der Entwicklung des Fragebogens wird geklärt, wie die Daten in die Datentabelle übernommen werden und welche Struktur die Daten in der Datentabelle einnehmen sollen.
Für jede Frage wird überlegt, auf welcher Skala die Daten liegen und welche Werte die Daten annehmen können. Sämtliche Überlegungen dazu werden in einem Codebook festgehalten: Wie lautet die Frage? Wie ist die dazugehörige Variable benannt? Welche Werte stehen für welche Antwortmöglichkeit? Wie sind fehlende Werte codiert? Diese Informationen werden zusätzlich in ein Exemplar des Fragebogens eingetragen (bunte Schriftart), der als annotierter Fragebogen bezeichnet wird.
Bei stetigen Daten (quantitative Merkmale, z.B. Größe in cm oder Alter in Jahren) wird die gemessene Einheit (z.B. cm oder m) definiert und überlegt, welches der kleinste und der größte zu erwartende Wert sind. Ordinale Daten (z.B. Schulnoten oder Likert-Skala) werden ebenfalls numerisch erfasst. Im Codebook wird für jede Ziffer die jeweilige Beschreibung aus dem Fragebogen notiert. Bei nominalen Daten (verschiedene Kategorien ohne Wertung, z.B. Haarfarbe, Produktmarke) muss zwischen einfachen und mehrfachen Antwortmöglichkeiten unterschieden werden. Muss sich der Teilnehmer/die Teilnehmerin für eine der Antwortmöglichkeiten entscheiden, dann werden die verschiedenen Antwortmöglichkeiten durchnummeriert, und im Codebook wird festgehalten, welche Ziffer für welche Antwortmöglichkeit steht. In der Datentabelle wird für jeden Teilnehmer/jede Teilnehmerin die jeweilige Ziffer eingetragen. Kann der Teilnehmer/die Teilnehmerin mehrere Antworten auswählen, so muss für jede Antwortmöglichkeit eine separate Variable in der Datentabelle vorgesehen werden. Wenn der Teilnehmer/die Teilnehmerin die Antwortmöglichkeit angekreuzt hat, wird in der Spalte eine 1 eingetragen, für die nicht ausgewählten Antwortmöglichkeiten wird eine 0 eingetragen. Dies wird entsprechend im Codebook vermerkt.
Beispiel: ALLBUS 2014, Variable Report
Die Kodierung der Variablen kann auch schon im Codebook um erste deskriptive Statistiken ergänzt werden.
|
---|
Wenn Angaben fehlen, dann werden die Felder in der Datentabelle nicht leer gelassen, sondern es wird ein definierter Wert eingetragen (in allen Variablen der gleiche Wert). Welcher Wert verwendet wird, ist egal, der Wert darf nur nicht in den gültigen Antworten vorkommen! Häufig wird -999 verwendet. Dies wird im Codebook vermerkt. Bei der Datenauswertung muss dem Statistikprogramm mitgeteilt werden, dass -999 für fehlende Werte steht. Auch für andere Antwortmöglichkeiten, die in vielen Fragen immer wieder vorkommen, z.B. „Weiß nicht“ (99), „Trifft nicht zu“ (88) oder „ja“ (1) und „nein“ (0), ist es empfehlenswert, immer den gleichen Code zu verwenden, das schafft Übersicht und vermeidet Fehlinterpretation.
Vor der Datenauswertung werden die eingegebenen Daten in der Datentabelle auf Vollständigkeit und Plausibilität überprüft. Mit Hilfe des Codebooks (gültiger Wertebereich) können ungültige Werte erkannt und ggf. korrigiert werden.
Bei der Codierung der Daten ist es auch hilfreich, sich bereits über die vorgesehenen Auswertungen und statistischen Testverfahren Gedanken zu machen. „Ja“ und „Nein“ oder ähnliche Kombinationen sollten stets mit 1 und 0 codiert werden, da dies die Interpretation der Ergebnisse bei statistischen Auswertungen z.B. im Rahmen einer Regressionsanalyse erleichtert. Bei der Untersuchung, wie oft welche Antwortmöglichkeit angekreuzt wurde (Häufigkeiten), sollten die Häufigkeiten in den einzelnen Gruppen (Antwortmöglichkeiten) möglichst gleich groß sein. Häufig ist dies nicht der Fall, weil bestimmte Antwortmöglichkeiten besonders häufig oder selten ausgewählt werden. Es kann nützlich sein, Gruppen zusammenzufassen, damit es weniger, aber dafür (gleich) große Gruppen gibt. Die Zusammenfassung von Gruppen erfolgt dabei unter inhaltlichen Gesichtspunkten. Oft hilft auch die Überlegung, welche der Antwortmöglichkeiten das „Risiko“ – also die wirklich interessierende Eigenschaft – abbildet und welche als „kein Risiko“ betrachtet werden. Es empfiehlt sich dann eine entsprechende Gruppierung. Die Zusammenfassung von Kategorien erfolgt stets in einer neuen separaten Variablen, die Variable mit den Rohdaten wird nie überschrieben oder gelöscht!
Info | ||
---|---|---|
| ||
Beispiel aus GESIS - Leibniz-Institut für Sozialwissenschaften (2015): Allgemeine Bevölkerungsumfrage der Sozialwissenschaften ALLBUS 2014;Variable Report. GESIS Datenarchiv, Köln. ZA5240 Datenfile Version 2.1.0, doi:10.4232/1.12288. |
Fragebogengestaltung
Im Folgenden werden lediglich einige ausgewählte Tipps zur Fragebogengestaltung vorgestellt. Eine ausführliche Übersicht findet sich in der angehängten Exceltabelle bzw. auf dem Blog von INWT.
Das Layout spielt in der Fragebogenkonstruktion eine große Rolle. Achten Sie unter anderem darauf, die Schrift ausreichend groß sowie eine saubere Schriftart (auf Papier mit Serifen, am Bildschirm eher ohne Serifen) zu wählen und zwischen Fragen und Antworten genügend Platz zu lassen. Des Weiteren sollte der Fragebogen so kurz wie möglich sein. Dabei hilft es, eine geeignete Filterführung zu verwenden oder überflüssige Fragen und Antwortkategorien zusammenzufassen.
Es gilt prinzipiell: weniger ist mehr. Halten Sie den Fragebogen schlicht, verzichten Sie bspw. bei Onlinebefragungen auf blinkende Banner, zu viele fett und kursive Schriften oder den Einsatz zu vieler unterschiedlicher Farben. Dies alles kann zum einen ablenkend wirken, zum anderen könnte es bei geringen Auflösungen, älteren Browsern, restriktiven Sicherheitseinstellungen, etc. Probleme mit der Darstellung geben. Auf diese Weise können entsprechende Features die Befragung für einige Respondenten/Respondentinnen unmöglich machen und so zu einer verzerrten Stichprobe führen.
Verwenden Sie viel Sorgfalt auf die Auswahl der Formulierungen. Drücken Sie sich klar und konkret aus. Formulieren Sie Fragen wertfrei und stellen Sie keine Suggestivfragen. Die Forschung hat zahlreiche Beispiele dafür gefunden, wie bereits kleinere Variationen sowohl an der Formulierung als auch der Gruppierung oder Reihenfolge der Fragen/Antwortkategorien zu deutlichen Verschiebungen im Antwortverhalten führen können. Bei persönlichen oder telefonischen Interviews kann zudem der Interviewer/die Interviewerin einen indirekten Effekt auf das Antwortverhalten ausüben (werden dem Interviewer/der Interviewerin vom Respondenten/von der Respondentin bestimmte Eigenschaften/Einstellungen zugeschrieben, führt der Effekt der "sozialen Erwünschtheit" in der Tendenz zu verzerrten Antworten).
Wählen Sie die Fragen sorgfältig aus und stellen Sie keine "dummen" Fragen. In vielen Fällen macht es Sinn, bereits etablierte Itembatterien (eine Sammlung von Fragen zu einem bestimmten Thema; jede Frage stellt ein Item dar.) zu nutzen. Meist sind diese ausgiebig getestet worden und stellen die Vergleichbarkeit von Studien sicher. Behalten Sie stets auch die spätere Analyse im Auge und überlegen Sie, wie und ob Sie eine Frage für die Auswertung nutzen wollen.
Itembatterie
Image Added
Info | ||
---|---|---|
| ||
Beispielfrage entspricht Frage F018 aus GESIS - Leibniz-Institut für Sozialwissenschaften (2015): Allgemeine Bevölkerungsumfrage der Sozialwissenschaften ALLBUS 2014. GESIS Datenarchiv, Köln. ZA5240 Datenfile Version 2.1.0, doi:10.4232/1.12288. |
Info | ||
---|---|---|
| ||
Beispielfrage entspricht Frage F007C aus GESIS - Leibniz-Institut für Sozialwissenschaften (2015): Allgemeine Bevölkerungsumfrage der Sozialwissenschaften ALLBUS 2014. GESIS Datenarchiv, Köln. ZA5240 Datenfile Version 2.1.0, doi:10.4232/1.12288. |
Info | ||
---|---|---|
| ||
Beispielfrage angelehnt an Frage F007D aus GESIS - Leibniz-Institut für Sozialwissenschaften (2015): Allgemeine Bevölkerungsumfrage der Sozialwissenschaften ALLBUS 2014. GESIS Datenarchiv, Köln. ZA5240 Datenfile Version 2.1.0, doi:10.4232/1.12288. |
Info | ||
---|---|---|
| ||
Beispielfrage ein Teil von entspricht Frage F056 F096 aus GESIS - Leibniz-Institut für Sozialwissenschaften (2015): Allgemeine Bevölkerungsumfrage der Sozialwissenschaften ALLBUS 2014. GESIS Datenarchiv, Köln. ZA5240 Datenfile Version 2.1.0, doi:10.4232/1.12288 |
Bildergalerie
Galerie |
---|