In diesem Artikel finden Sie diverse Hinweise zur Erstellung von empirischen Arbeiten. Damit meinen wir in der Regel Abschlussarbeiten und Forschungsartikel, die eine statistische Auswertung bzw. Anwendung beinhalten. Zwei zentrale Fragen werden hier bearbeitet: Erstens, wie kommunizieren Sie ihre Ergebnisse gegenüber ihrer Leserschaft. Zweitens, wie gestalten Sie ihren eigenen Arbeitsablauf, um nach längerer Zeit ihre eigenen Ergebnisse reproduzieren zu können. Die Richtlinien aus denen sich alle unsere Empfehlungen ableiten lassen finden Sie im Abschnitt: 'Welche Ergebnisse gehören in ihre Arbeit?'.

Inhaltsverzeichnis

Richtlinien

Während Sie ihre Arbeit verfassen, treffen Sie diverse Entscheidungen darüber welche Ergebnisse Sie weitergeben. Im folgenden möchten wir einige Richtlinien präsentieren, um entscheiden zu können, über welche Ergebnisse Sie schreiben, und welche evtl. weniger wichtig sind.

Folgende Frage sollten Sie sich stellen, um das Minimum an Information zu ermitteln:

Stellen Sie sich vor Sie veröffentlichen ihre Daten und ihren Artikel; ist es möglich alleine mit dieser Information ihre Ergebnisse zu reproduzieren?

Das bedeutet alle relevanten Schritte ihrer Analyse und auch der Datenaufbereitung müssen transparent dargestellt werden. Sie sollten sich damit auf die eindeutige Benennung von statistischen Verfahren einerseits und auf die eindeutige Benennung von Schritten während der Datenaufbereitung andererseits konzentrieren. Dies beinhaltet nicht unbedingt Details der verwendeten Software, obwohl dies hilfreich sein kann, gerade bei spezielleren statistischen Verfahren. Bei den meisten Zeitschriften ist es möglich ihr Auswertungsskript und Daten als Zusatzmaterial zu veröffentlichen. Auch ohne dieses Auswertungsskript sollte es möglich sein ihre Datenanalyse nachzuvollziehen und zu reproduzieren. Sollten Sie während des Review-Prozesses oder nach der Veröffentlichung nach Details nach einem Auswertungsskript gefragt werden, sollten Sie dieses parat habe und auch weitergeben - alle gängigen Statistikprogramme verfügen über entsprechende Optionen.

Stellen Sie sicher, dass die Wahl und Präsentation von statistischen Methoden eindeutig sind und ihre Schlussfolgerungen nachvollziehbar.

Wenn Sie statistische Verfahren anwenden, müssen Sie diese eindeutig benennen. Geben Sie dazu die Quelle an, in der die Methode vorgestellt wurde oder aber die Quelle in der eine Methode in ihrer Forschungsdisziplin zum ersten Mal Anwendung gefunden hat. Wenn eine Methode unüblich in ihrer Disziplin ist, dann sollten Sie einige Zeit darauf verwenden diese einzuführen und verdeutlichen weshalb der existierende 'Goldstandard' innerhalb ihrer Disziplin nicht ausreichend ist. Viele statistische Verfahren sind mit diversen Annahmen verbunden und die Überprüfung dieser Annahmen kann viel Platz in Anspruch nehmen. Oft ist es ausreichend im Text über die Eignung einer Methode zu schreiben und das Ergebnis ihrer Überprüfung darzulegen. Gerade wenn Sie Probleme dabei feststellen kann es aber hilfreich sein im Anhang oder auch in der Arbeit selbst (je nach Fokus und Platz) zusätzliche Information zu liefern. Innerhalb dieser Diskussion sollte deutlich werden, dass Sie den Daten und der Fragestellung entsprechend ein geeignetes Verfahren gewählt haben.

Achten Sie darauf, dass ihre Ergebnisse eindeutig auf die Beantwortung ihrer Forschungsfragen abzielen.

Letztendlich bezieht sich diese Richtlinie auf die Situation in der Sie weiteres Analysepotential sehen, wenn Sie ihre Datenanalyse ausweiten würden. Ob sie eine konkrete Analyse durchführen oder nicht, sollte sich immer der Frage unterordnen, ob sie helfen kann ihre Forschungsfrage zu beantworten. Ergebnisse können dabei sowohl für ihre Forschungshypothese sprechen als auch dagegen. Oft ist es die Diskussion und Gegenüberstellung verschiedener Ergebnisse, die den größten Erkenntnisgewinn liefern. Behalten Sie dabei im Kopf, dass ihre Leserschaft nicht unbedingt direkten Zugriff auf ihre Daten haben, es ist also neben der 'finalen' Analyse (schließende Statistik) auch ihre Aufgabe ihre Daten zu beschreiben (deskriptive Statistik).

 

 

 

'Nicht signifikant' ist auch ein Ergebnis!

 

Aus Sicht der Forschungsdisziplin Statistik ist es weder hilfreich noch empfehlenswert sich an Konzepten wie statistischer Signifikanz festzuhalten. In der Forschungspraxis führt dieses zu einem Publikations-Bias. Das heißt es werden überwiegend signifikante Ergebnisse publiziert, nicht signifikante werden hingegen verschwiegen. Dadurch ergibt sich bei der Meta-Betrachtung von Forschungsfeldern oft ein verzerrtes Bild: Zu viele fälschlicherweise als signifikant erkannte Effekte. Sollten Sie sich also in der Situation wiederfinden, dass ihre Auswertung nicht in dem gewünschten Maße ihre Forschungshypothese unterstützt, versuchen Sie dennoch ihre Ergebnisse zu publizieren. Sie liefern damit einen Mehrwert für ihre Disziplin.

Zudem werden durch die Suche (vielleicht auch Jagd) nach statistisch signifikanten Resultaten statistische Tests zweckentfremdet. Statistische Tests können einen Mehrwert bei der Überprüfung von Hypothesen liefern. Sie sind nahezu unbrauchbar wenn sie dazu genutzt werden Theorien abzuleiten. Wenn Sie durch Zufall oder unerwartet Ergebnisse finden sollten, tun Sie nicht so als ob dies immer ihr Ziel gewesen sei. Stellen Sie dies klar. Sie können diese Ergebnisse dann publizieren und zeigen damit möglicherweise interessante Forschungsfragen für die Zukunft auf.

 

Beachten Sie folgende Beiträge zum Thema:

Trafimow, D. & M. Marks (2015): Editorial; in: Basic and Applied Social
Psychology, 37:1, 1-2, DOI:
10.1080/01973533.2015.1012991
Wasserstein R. L. & N. A. Lazar (2016): The ASA's statement on p-values: context, process, and purpose; in: The American Statistician; DOI: 10.1080/00031305.2016.1154108

Ziel und Inhalt einer empirischen Arbeit

 

Wenn Sie beginnen den empirischen Teil einer Arbeit zu schreiben, dann sollte der Forschungsprozess ansonsten abgeschlossen sein. Damit ist dieser Teil ein Bericht bzw. Zusammenfassung über den Forschungsprozess bzw. den Schritt der Datengewinnung und Analyse und dessen Ergebnisse.

Neben der Aufgabe einer Zusammenfassung sollten Sie dabei folgendes beachten: Eine empirische Arbeit besteht immer aus

  1. einem Methodenteil
  2. einer Beschreibung der Daten
  3. einem Ergebnisteil
  4. und ihren Schlussfolgerungen

Ihre Aufgabe ist es die verwendeten Methoden, Daten, und Ergebnisse (1-3) so darzustellen, dass ihre Schlussfolgerungen (4) nachvollziehbar sind. Je nachdem welche Schwerpunkte ihre Arbeit setzt können diese Punkte unterschiedlich aufwändig sein.

Methoden

Wenn Sie eine neue statistische Methode verwenden, oder ein Verfahren verwenden, welches in ihrer Disziplin noch keine Anwendung gefunden hat, dann ist es ihre Aufgabe diese Methode vorzustellen. Gängige statistische Verfahren - zum Beispiel deskriptive Statistik oder Testverfahren - werden oft nicht formal eingeführt. Was gängige Verfahren genau beinhaltet hängt dabei von ihrer Disziplin ab. Stellen Sie sicher, dass eine informierte Leserin ihrer Disziplin ihrer Auswertung folgen kann. Wenn es hilfreich für das Verständnis ist eine Methode vorzustellen (zum Beispiel weil sie wenig verwendet wird), dann sollten Sie dies tun. Benennen Sie die Quelle auf die das Verfahren zurückzuführen ist. Bei etablierten Methoden kann es ausreichen auf Grundlagenwerke zu verweisen.

Sollten Sie die Datenerhebung selbst durchführen, dann ist es auch angebracht bereits im Rahmen eines Methodenteils das Vorgehen zu beschreiben. Bei eigenen Umfragen, kann dies Details zum Fragebogen und Stichprobenziehung enthalten. Wenn Sie ein kontrolliertes Experiment durchführen, zum Beispiel im Rahmen einer Fall-Kontroll-Studie, dann sollten Sie den Versuchsaufbau und das Vorgehen entsprechend beschreiben. Dabei kann es für das Verständnis und Einordnung der Ergebnisse sehr hilfreich sein auf Probleme bei der Datengewinnung hinzuweisen.

 

Preece, D.A. (1987): Good Statistical Practice; in Journal of the Royal Statistical Society. Series D (The Statistician), 36:4, 397-408; Link

 

 

 

 

 

Beschreibung der Daten

 

Jede statistische Auswertung ist auch mit einer Beschreibung der zugrundelegenden Daten verbunden. Ihre Aufgabe besteht darin ihrer Leserschaft ausreichend Information bereit zu stellen, um die Datengrundlage bewerten zu können. Dies beinhaltet in jedem Falle die Anzahl der Messungen (Beobachtungen) und Merkmale (Variablen), die Sie interessieren bzw. die Sie untersucht haben. Der Detailgrad hängt dann, wie auch bei den Methoden, davon ab, wie geläufig ihre Datenquelle bzw. Datengewinnung innerhalb ihrer Disziplin ist. In diesem Rahmen ist es angebracht folgende Punkte zu diskutieren:

  1. Welche Probleme sind bei der Datengewinnung aufgetreten: Messfehler, Non-Response, Fehler im Fragebogen, etc.
  2. Spiegelt ihre Stichprobe ein realistisches Bild der Zielpopulation wieder? Viele Datenanbieter stellen zum Beispiel Gewichtungsfaktoren bereit sollte dies nicht der Fall sein. Verwenden Sie eigene Datenquellen ist es ihre Aufgabe ein realistisches Bild zu zeichnen und Einordnung zu geben. Dieser Punkt hat maßgeblichen Einfluss darauf, wie ihre Analyseergebnisse zu bewerten sind.
  3. Welche Schritte von den Rohdaten bis hin zum analysierten Datensatz haben Sie durchgeführt? Dies kann zum Beispiel die Einschränkung der ursprünglichen Stichprobe beinhalten, um sie nach (2) auf die interessierende Menge zu reduzieren; allerdings auch den Umgang mit Ausreißern und Messfehlern.

Wenn Sie sekundäre Datenquellen verwenden, dann werden ihnen zu Punkt (1) und (2) zum Teil  hilfreiche Informationen bereitgestellt. Sie sollten immer den Herausgeber der Daten zitieren. Wie dies geschehen soll, wird ihnen im Regelfall vom Datenanbieter mitgeteilt.

Wie können Daten zitiert werden:

Hinweise für das Soziooekonomische Panel (SOEP) bereitgestellt vom Deutschen Institut für Wirtschaftsforschung (DIW): FAQ 3.3

Hinweise der GESIS: Bibliographisches Zitieren von Forschungsdaten und Dokumenten einer Studie

Kommunikation von Ergebnissen

Tabellen

Grafiken

 

Hilfreiche Quellen zum Thema:

http://www.jstor.org/stable/2348838