Meinungsumfragen statistisch oft unzulänglich – auch renommierte Institute betroffen

Die Aufgabe von Meinungsumfragen ist es, zuverlässige Daten für die Prognose von Wahlen, für das Abbild der politischen Stimmung oder der öffentlichen Meinung zu liefern. Unter den Meinungs- und Marktforschungsinstituten dominieren etablierte Anbieter wie Allensbach, Infratest und Forsa. Auf ihre Daten stützen sich Wahlprognosen sowie Meinungsumfragen wie das ZDF Politbarometer mit der Sonntagsfrage.

Seit einigen Jahren wird die Qualität der Meinungsdaten jedoch zunehmend untergraben, weil viele Umfrageinstitute zu günstigeren, aber wissenschaftlich nicht fundierten, Methoden greifen. Zudem drängen immer mehr neue Unternehmen auf den Markt, die schnelle Umfragen – meist über das Internet – für kleines Geld versprechen.

Freiwillige Online-Nutzer repräsentieren nicht die Bevölkerung

Genau darin liegt ein Problem, das die ganze Branche – darunter auch die etablierten Marktführer – betrifft. Sie nutzen Online-Umfragen, für die sich die Teilnehmer selbst anmelden, oder sprechen Menschen über Banner-Anzeigen auf großen Nachrichtenseiten an.

So bekommen sie Antworten von Personen, die sich aktiv bereit erklären, an einer solchen Online-Umfrage teilzunehmen. Diese Gruppe kann jedoch nicht repräsentativ für die ganze Bevölkerung sein. Sie besteht stattdessen meist aus internetaffinen, politisch interessierten, gebildeten Menschen mittleren Alters.

Auch Annelies Blom, Professorin für Politikwissenschaft und Data Science an der Universität Mannheim, forschte an diesem Thema. Gemeinsam mit einem internationalen Forscherteam veröffentlichte sie ihre Forschungsergebnisse in einer Sonderausgabe der Zeitschrift Journal for Survey Statistics and Methodology.

Verzerrte Meinungsumfragen trotz Tausenden Befragten

In ihrem Artikel fassen die Autoren die Ergebnisse von 25 Vergleichsstudien zusammen, in denen die Repräsentativität dieser so genannten nicht-probabilistischen Umfragen untersucht wurde. Das Resultat: Die große Mehrheit der Meinungsumfragen liefert keine repräsentativen Ergebnisse.

„Auch wenn die Zahl der Befragten in die Tausende geht, sind die Ergebnisse verzerrt, weil sie die Bevölkerung nicht adäquat abbilden. Das Versprechen, von einer Stichprobe auf die Allgemeinheit schließen zu können, kann so nicht eingehalten werden“, so Blom.

„Seriöse Studien ziehen eine Zufallsstichprobe, die Menschen verschiedenster Hintergründe aus allen Regionen Deutschlands erfasst. Diese Genauigkeit können jedoch viele kommerzielle Panels, die auf Online-Befragtenpools beruhen, nicht gewährleisten“, erklärt Blom weiter. Verlässliche Daten ließen sich nun einmal nicht herbeizaubern.

Billige Umfragen, dubiose Ergebnisse

Ein Grund für die schlechte Datenqualität vieler Institute sei, dass die Branche unter enormem Kostendruck steht und die Daten an die Auftragsgeber immer schneller liefern muss. In diesen Markt drängen stets neue Institute, die für noch weniger Geld noch dubiosere Ergebnisse anbieten.

„Dass die Daten unzureichend sind, ist ein großes Problem. Auch manche Wissenschaftler […] nutzen solche Panels, um ihre Forschung durchzuführen“, erklärt die Datenwissenschaftlerin. Schlechte Datenqualität führe unter Umständen sogar zu Fehlschlüssen in der Wissenschaft und folgerichtig zu Fehlentscheidungen in der Wirtschaft oder in der Politik.

(Mit Material der Universität Mannheim)